信息论与编码理论（第2版）

第2版前言

自2010年本书第1版出版以来，受到广大教师和学生的欢迎，在此表示感谢。十年间，信息技术有了突飞猛进的发展，人工智能、移动通信、信息安全等领域的技术发展逐渐改变了人们的生产和生活方式。信息论的理论和方法在其中发挥了重要作用，也迫使编码技术有了进一步的发展。热心的老师和学生们也提出了不少合理化建议。因此，清华大学出版社和我们决定对第1版进行修订。
第2版在内容组织上没有发生大的变化，仅做了三处改动： 增加了2.3.6节交叉熵和相对熵，将原7.5.3节离散余弦变换替换为变换编码的广泛应用，增加了8.8节简要介绍移动通信中的新型信道编码，便于选用本教材的教师继续按照原有教学计划组织教学。第2版仍然提供电子教案、习题答案、试题库、实验系统等资源。
第2版的主要变化体现在对例题和习题的改动。删除了使用过时技术做例子的例题，如与串口通信、MP3等相关的例题已经删除。增加了更多以人工智能、机器学习、移动通信、信息安全等为背景的例题和习题。秉承第1版“通过读者身边看得见、摸得着的例子来解释”的原则，进一步加强工程背景，用学生熟知的例子引入知识点，逐步深入到理论背后的东西，增加学生的感性认识。避免单纯的公式形式化推导，重在讲明原理，重在对知识的灵活应用。此外，还进一步规范了文字描述，使得行文更加流畅。
第2版的修订得到了清华大学出版社一如既往的支持，在此表示感谢。第2版依然诚恳期望读者赐教和指正。
作者2021年3月

第1版前言

信息论和编码理论是20世纪40年代末期由美国数学家香农等创立的，经过几十年的发展，现已成为信息科学的基础理论。
信息论和编码理论是从工程实践中抽象概括出来的理论知识，既具有很强的理论性，又有广泛的工程实践背景。初学者往往由于缺乏这种实践背景，很难理解其中的理论知识。本书力图通过读者身边看得见、摸得着的例子来解释这些理论问题。讲解深入浅出，重点在于对理论知识含义的说明，而非枯燥的证明。
本书共分8章。第1章是绪论，介绍信息、通信系统模型、离散与连续等内容。第2章介绍信息的统计度量，也是信息论的基本概念，包括自信息量、互信息量、平均自信息(熵)、平均互信息等，这一章是后续章节的基础。第3章和第4章分别讨论离散信源和离散信道。第5章概要介绍连续信源和连续信道。第6章和第7章分别讨论无失真信源编码和限失真信源编码。第8章讨论了信道编码。
本书作者一直从事“信息论与编码理论”的教学工作，为了满足信息安全、计算机、通信工程等相关专业人才培养的教学需要，在已有教学经验的基础上编写了本书，并开发了一套“信息论与编码理论实验系统”。该系统能够直观演示信源、信道、信源编译码、信道编译码对数据的处理过程，便于学生建立感性认识，加深对理论知识的理解。本书中多次用到实验系统的输出结果来说明问题。
本书由姜楠、王健共同编写。苏桂莲、李川编写了书中用到的MATLAB程序，姜志云、田秀珍、黄海波、杨晓燕绘制了书中用到的部分插图，王树更、马玉英、蔡智文设计了书中部分例子，张明子、秦国玲、葛永德、杨红林帮助整理了习题和习题答案，姚雅欣、王勇、陈丹威、刘伟参与了试题库管理系统的编写工作。清华大学出版社的陈志辉、文怡编辑为本书的出版做了大量的工作。本书出版得到了北京工业大学重点课程(群)优秀教学团队建设项目的资助。
由于作者水平和时间所限，书中难免有不妥之处，诚恳期望读者赐教和指正。
作者2010年5月

本书系统讨论了香农信息理论中的基本概念和相关问题，介绍了信源、信道、信源编码、信道编码的一般原理和基本方法。全书内容分为8章，包括绪论、信息的统计度量、离散信源、离散信道、连续信源和连续信道、无失真信源编码、限失真信源编码、信道编码。 本书深入浅出，可作为信息工程、通信工程、信息安全、计算机应用等相关专业本科生和研究生的教材或教学参考书，也可作为从事信息理论、信息技术、通信系统、信息安全研究的科研和工程技术人员的参考用书。

本书系统讨论了香农信息理论中的基本概念和相关问题，介绍了信源、信道、信源编码、信道编码的一般原理和基本方法。全书内容分为8章，包括绪论、信息的统计度量、离散信源、离散信道、连续信源和连续信道、无失真信源编码、限失真信源编码、信道编码。 本书深入浅出，可作为信息工程、通信工程、信息安全、计算机应用等相关专业本科生和研究生的教材或教学参考书，也可作为从事信息理论、信息技术、通信系统、信息安全研究的科研和工程技术人员的参考用书。

姜楠，北京工业大学副教授。主要研究方向为信息安全和量子机器学习，主持教学项目3项，发表教学论文11篇，授权教学专利1项，主编教材1部，参编1部。获得青年教师教学基本功比赛理工组三等奖和教案奖，获得CIE2018中国IT教育博鳌论坛一等优秀论文。主持国家自然科学基金等项目，发表SCI论文30余篇。
王健，北京交通大学副教授、博士生导师，北京交通大学计算机与信息技术学院信息安全系副主任。主要研究领域为网络安全、大数据安全与分析、密码应用。近年主持国家科技重大专项子课题等课题十余项；参与完成国家发改委信息安全专项项目等课题二十多项。发表论文50多篇，其中SCI/EI论文30余篇，出版图书4部，授权专利2项，授权软件著作权4项。

第1章绪论

1.1信息

1.1.1信息的概念

1.1.2信息的性质

1.2通信系统模型

1.2.1信源和信宿

1.2.2编码器和译码器

1.2.3信道和噪声

1.3离散与连续

1.4信息论和编码理论的形成和发展

1.5本章小结

1.6习题

第2章信息的统计度量

2.1自信息和条件自信息

2.1.1自信息的定义与含义

2.1.2条件自信息的定义与含义

2.2互信息

2.2.1互信息的定义与含义

2.2.2互信息的性质

2.3平均自信息(熵)

2.3.1熵的定义与含义

2.3.2熵函数的数学性质

2.3.3条件熵

2.3.4联合熵

2.3.5各种熵之间的关系

2.3.6交叉熵和相对熵

2.4平均互信息

2.4.1平均互信息的定义与含义

2.4.2平均互信息的性质

2.4.3各种熵和平均互信息量之间的关系

2.5连续随机变量的互信息和微分熵

2.5.1连续随机变量的统计特性

2.5.2连续随机变量的互信息

2.5.3连续随机变量的微分熵

2.6本章小结

2.7习题

第3章离散信源

3.1离散信源的数学模型

3.2信源的分类

3.2.1无记忆信源

3.2.2有记忆信源

3.3离散无记忆信源

3.3.1离散无记忆信源及其熵

3.3.2离散无记忆信源的扩展信源及其熵

3.4马尔可夫信源(有限记忆信源)

3.4.1马尔可夫信源的定义

3.4.2有限状态马尔可夫链

3.4.3马尔可夫信源的马尔可夫链性质

3.4.4马尔可夫信源的熵

3.5离散平稳信源

3.5.1平稳信源的概念

3.5.2平稳信源的熵

3.6信源的相关性和剩余度

3.7本章小结

3.8习题

第4章离散信道

4.1离散信道的数学模型

4.2信道的分类

4.3离散无记忆信道

4.3.1离散无记忆信道的数学模型

4.3.2信道疑义度和噪声熵

4.3.3信道的平均互信息及其含义

4.4信道的组合

4.5信道容量

4.5.1信息传输率

4.5.2信道容量的定义及含义

4.5.3三种特殊信道的容量

4.5.4对称信道的容量

4.5.5一般信道的容量

4.5.6信源和信道的匹配

4.6本章小结

4.7习题

第5章连续信源和连续信道

5.1连续信源

5.1.1连续信源的数学模型

5.1.2连续信源的熵和互信息

5.2连续信道及其信道容量

5.2.1时间离散信道

5.2.2连续信道

5.3本章小结

5.4习题

第6章无失真信源编码

6.1编码的基本概念

6.1.1编码器和译码器

6.1.2码的分类

6.1.3N次扩展码

6.2“无失真”的本质

6.3定长码

6.4变长码

6.4.1变长码的概念

6.4.2变长码的衡量指标

6.4.3变长码的特点

6.4.4可译码和即时码的判别

6.4.5无失真信源编码定理(香农定理)

6.5霍夫曼码

6.5.1二元霍夫曼码

6.5.2多元霍夫曼码

6.6算术编码

6.6.1算术编码的基本原理

6.6.2算术编码方法

6.6.3算术译码方法

6.7LZW编码

6.7.1LZW基本原理

6.7.2LZW编码方法

6.8本章小结

6.9习题

第7章限失真信源编码

7.1失真的度量

7.1.1失真函数和失真矩阵

7.1.2序列失真

7.1.3平均失真和保真度准则

7.2信息率失真函数

7.2.1信息率失真函数的定义和含义

7.2.2信息率失真函数的定义域和性质

7.2.3信息率失真函数和信道容量的关系

7.2.4限失真信源编码定理(香农第三定理)

7.3量化编码

7.3.1量化编码的主要作用

7.3.2均匀量化

7.3.3量化

7.3.4矢量量化编码

7.4预测编码

7.4.1预测编码的基本原理和方法

7.4.2预测编码能够限失真压缩信源的原因

7.4.3DPCM编译码原理

7.5变换编码

7.5.1变换编码的基本原理

7.5.2变换编码能够限失真压缩信源的原因

7.5.3变换编码的广泛应用

7.6本章小结

7.7习题

第8章信道编码

8.1信道编码的基本概念

8.1.1编译码规则、检纠错能力

8.1.2平均错误译码概率

8.2译码规则

8.3有噪信道编码定理(香农第二定理)

8.4线性分组码

8.4.1基本概念

8.4.2线性分组码的性质

8.4.3线性分组码的两个重要参数——编码效率和小汉明距离

8.4.4生成矩阵和监督矩阵

8.4.5对偶码

8.4.6伴随式、伴随式的错误图样表示、根据伴随式译码

8.4.7汉明码

8.5循环码

8.5.1循环码的基本概念

8.5.2循环码的生成多项式和监督多项式

8.5.3循环码的译码

8.5.4BCH码

8.5.5RS码

8.6卷积码

8.6.1卷积码的基本概念和基本原理

8.6.2卷积码的编码

8.6.3卷积码的矩阵表述

8.7突发错误的纠正

8.7.1基本概念

8.7.2级连码

8.7.3交织码

8.7.4Turbo码

8.8移动通信中的新型信道编码

8.9本章小结

8.10习题

附录A凸函数与Jensen不等式

A.1一元函数的凸性

A.2函数凸性的判别

A.3Jensen不等式

A.4凸域和凸函数

A.5凸域中的Jensen不等式

附录BBCH编码表

参考文献

本书系统讨论了香农信息理论中的基本概念和相关问题，介绍了信源、信道、信源编码、信道编码的一般原理和基本方法。全书内容分为8章，包括绪论、信息的统计度量、离散信源、离散信道、连续信源和连续信道、无失真信源编码、限失真信源编码、信道编码。 本书深入浅出，可作为信息工程、通信工程、信息安全、计算机应用等相关专业本科生和研究生的教材或教学参考书，也可作为从事信息理论、信息技术、通信系统、信息安全研究的科研和工程技术人员的参考用书。

姜楠，北京工业大学副教授。主要研究方向为信息安全和量子机器学习，主持教学项目3项，发表教学论文11篇，授权教学专利1项，主编教材1部，参编1部。获得青年教师教学基本功比赛理工组三等奖和教案奖，获得CIE2018中国IT教育博鳌论坛一等优秀论文。主持国家自然科学基金等项目，发表SCI论文30余篇。
王健，北京交通大学副教授、博士生导师，北京交通大学计算机与信息技术学院信息安全系副主任。主要研究领域为网络安全、大数据安全与分析、密码应用。近年主持国家科技重大专项子课题等课题十余项；参与完成国家发改委信息安全专项项目等课题二十多项。发表论文50多篇，其中SCI/EI论文30余篇，出版图书4部，授权专利2项，授权软件著作权4项。