信息论与编码基础教程

信息论是通信工程、电子信息工程、信息工程等电子信息类专业必备的学科基础知识，是信息科学中最成熟、最完整、最系统的组成部分，已经渗透到其他相关的自然科学领域甚至社会科学领域，包括生物医学、遗传工程、人工智能、量子信息论等。
本书主编多年从事“信息论与编码”课程教学，该课程是省级精品资源共享课，在广泛借鉴国内外相关教材内容的基础上，不求大而全等科普式的论述，力求以点带面，突出知识结构的系统性、核心概念阐述的准确性和必要理论证明的完整性; 教材编写坚持“是什么”的同时，还要说清楚“为什么”的理念，核心概念阐述结束后，尽量安排典型例题，帮助消化吸收抽象的理论知识。在突出理论讲解的同时，为达到强化工程实践的目的，部分章节增加实践环节; 对信道编码部分的处理，充分借鉴国外经典教材内容，在表述方式和知识结构体系安排上尽量不做大的改动，以使国内学生能够领略国外通信领域专家的思维方式和特点，拓宽学生视野。另外，本书在一流课程建设的基础上体现了两性一度：
1. 提升高阶性
教材内容体现知识、能力、素质有机融合，强调广度和深度，培养学生解决复杂问题的综合能力和高级思维。
2. 突出创新性
教材内容体现前沿性与时代性，及时将学术研究、科技发展前沿成果引入教材。
3. 增加挑战度
教材增设项目设计等实践内容，加大学生学习投入，科学“增负”，让学生体验“ 跳一跳才能够得着”的学习挑战。
本书内容总体包含信息论基础和编码理论基础两部分：
第一部分： 第1章~第5章介绍单维连续信源与信道，第6章介绍多维连续信源与信道。本部分主要阐述信源与信道的模型建立及其特性，以一维模型为基础，然后再扩展到多维模型，循序渐进，深入浅出，适合初学。
第二部分： 第7章介绍无失真信源编码，第8章介绍有噪信道编码，第9章介绍限失真信源编码。香农三大定理融合到对应章节中阐述。
香农简介、教学课件、习题、信源编码与信道编码的实验部分放到电子资源，供学习者参考选用。
为突出产教融合，体现以学生为中心、能力目标导向的教学理念，在本书的编写过程中得到沈阳飞机设计研究所高级工程师徐宏伟的悉心指导，同时其参与了部分章节的编写。
感谢信息领域前辈的精心耕耘、汗水和付出，使作者得以借鉴高水平的著作，完成教材的编写，希望本教材的编写是一次有益的开端和尝试; 感谢沈阳航空航天大学教务处规划教材立项和经费支持; 在此，也特别感谢研究生王茜、刘小祎和张雪冰的内容录入和校对工作。
由于时间仓促，加之作者水平有限，书中错漏之处在所难免，还望同仁不吝赐教。
作者
2022年7月
本书配套资源

香农简介

教学课件

实验

本书主要介绍信息与信源熵；信道与信道容量；香农三大定理；无失真信源编码；限失真信源编码；信道编码；工程实践；信息论在信息与通信工程领域的典型应用与发展。本书力求以点带面，突出知识结构的系统性、核心概念阐述的准确性和必要理论证明的完整性；突出实践性，强化工程案例和项目的训练，可供电子信息类高年级本科生及研究生使用。为突出产教融合，体现以学生为中心、能力目标导向的教学理念，本书编写过程中得到沈阳飞机设计研究所部分同志参与教材的编写。

李轩，1967年出生，博士学位，硕士生导师；沈阳航空航天大学，电子信息工程学院，副教授/教学院长，骨干教师，主要讲授本科生、留学生、研究生《信息论与编码》、《通信原理》等课程。研究领域为信息与通信工程。辽宁省精品资源共享课《信息论与编码》主讲教师。2017国家级留学生品牌课《电工学》负责人。参编教材2部。发表论文30余篇。主编教材《信息论基础与工程应用》一部，电子科技大学出版社。

第一部分信息论基础

第1章绪论

1．1信息的概念

1．1．1什么是信息

1．1．2如何度量信息

1．2信息传输系统

1．3信息论的研究内容

1．3．1狭义信息论(经典信息论)

1．3．2一般信息论(工程信息论)

1．3．3广义信息论

第2章单符号离散信源

2．1单符号离散信源的数学模型

2．2信源符号的自信息量

2．3信源的信息熵

2．4信息熵的性质

2．4．1联合熵与条件熵

2．4．2相对熵

2．4．3Jensen不等式及其结果

2．4．4信息熵的基本性质

本章要点

第3章单符号离散信道

3．1信道的数学模型

3．2信道的交互信息量

3．3条件互信息量

3．4平均交互信息量

3．5平均交互信息量的性质

3．6信道容量及其一般算法

3．6．1信道容量的定义

3．6．2信道容量的一般算法

3．7几种特殊结构的信道容量计算

3．7．1无噪无损信道

3．7．2有噪无损信道

3．7．3无噪有损信道

3．7．4对称离散信道的信道容量

3．7．5准对称信道的信道容量

3．8信道容量的迭代计算

3．9平均交互信息量的不增性

本章要点

第4章多符号离散信源与信道

4．1离散平稳信源的数学模型

4．1．1离散平稳信源的数学定义

4．1．2离散平稳信源的数学模型

4．2离散平稳无记忆信源的信息熵

4．3离散平稳有记忆信源的信息熵

4．3．1二维离散平稳信源的条件熵

4．3．2(m 1)维离散平稳信源

4．3．3二维离散平稳信源的平均符号熵

4．4离散平稳有记忆信源的极限熵

4．5马尔可夫信源的极限熵

4．5．1有限状态马尔可夫链

4．5．2马尔可夫信源

4．6信源的剩余度

4．7扩展信道及其数学模型

4．8无记忆扩展信道

4．9扩展信道的平均交互信息量

4．10无记忆扩展信道的信道容量

4．11独立并联信道的信道容量

本章要点

第5章单维连续信源与信道

5．1单维连续信源

5．1．1连续信源的相对熵

5．1．2几种连续信源的相对熵

5．1．3相对熵的数学特性

5．1．4最大相对熵定理

5．1．5熵功率与信息变差

5．1．6相对熵的变换

5．2单维连续信道

5．2．1连续信道与平均交互信息量

5．2．2平均交互信息量的不变性

5．2．3连续信道的信道容量

5．2．4高斯加性信道的信道容量

本章要点

第6章多维连续信源与信道

6．1多维连续信源

6．1．1随机过程的离散化

6．1．2多维连续信源的相对熵

6．1．3最大多维相对熵定理

6．1．4多维相对熵的变换

6．2多维连续信道

6．2．1无记忆信道的平均交互信息量

6．2．2高斯白噪声加性信道的信道容量

6．2．3香农公式讨论

本章要点

第二部分编码理论基础

第7章无失真信源编码

7．1信源编码器概述

7．1．1信源编码的基本概念

7．1．2信源编码的分类

7．1．3唯一可译码和即时码

7．1．4编码效率

7．2无失真信源编码定理

7．2．1无失真定长信源编码定理

7．2．2无失真变长信源编码定理

7．3常见的无失真信源编码方法

7．3．1香农编码

7．3．2霍夫曼编码

7．3．3费诺编码

7．4实用编码方法

7．4．1游程编码

7．4．2数字传真编码

7．4．3算术编码

7．4．4字典码

本章要点

第8章有噪信道编码

8．1错误概率和译码规则

8．1．1错误概率与编码方法

8．1．2错误概率和译码规则

8．2有噪信道编码定理

8．2．1香农第二定理

8．2．2联合信源信道编码定理

8．3线性分组码

8．3．1向量空间

8．3．2向量子空间

8．3．3(6,3)线性分组码举例

8．3．4生成矩阵

8．3．5系统线性分组码

8．3．6监督矩阵

8．3．7伴随式检验

8．3．8纠错

8．3．9译码器的实现

8．4检错和纠错能力

8．4．1二进制向量的重量和距离

8．4．2线性码的最小距离

8．4．3检错和纠错

8．4．46元组空间的视图

8．5标准阵的用途

8．5．1估码能力

8．5．2(n,k)码的一个例子

8．5．3(8,2)码的设计

8．5．4检错和纠错的权衡

8．5．5标准阵列的进一步说明

8．6信道编码的基本数学知识

8．6．1群、环和域的基本概念

8．6．2有限域上的多项式

8．6．3多项式同余类环

8．6．4有限域的结构

8．6．5线性空间

8．7循环码

8．7．1循环码的代数结构

8．7．2二进制循环码的特性

8．7．3系统形式的编码

8．7．4多项式除法电路

8．7．5(n-k)级移位寄存器的系统编码

8．7．6(n-k)级移位寄存器检错

8．8BCH码和RS码

8．8．1二元BCH码

8．8．2多元BCH码和RS码

8．9卷积码

8．9．1卷积码的一般性描述

8．9．2卷积编码器表示

8．9．3卷积译码公式

8．9．4卷积码的特性

8．10交织码

8．11级联码

8．12Turbo码

8．12．1Turbo编码

8．12．2Turbo译码

本章要点

第9章限失真信源编码

9．1失真测度

9．2信息率失真函数

9．2．1保真度准则下的信源压缩举例

9．2．2信息率失真函数的定义域

9．3限失真信源编码定理(香农第三定理)

9．4R(D)函数的计算

9．5数据压缩的一般概念

9．6现代静态图像编码技术

9．6．1编码原理

9．6．2编码效率

9．6．3一般框架

9．6．4EZW算法

9．6．5SPIHT算法

9．6．6图像压缩国际标准JPEG 2000

本章要点

参考文献

突出知识结构的系统性、核心概念阐述的准确性和必要理论证明的完整性；突出实践性，强化工程案例和项目的训练。配套PPT、习题解答。