【假一罚四】信息论与编码/冯桂冯桂、周林

1948年，香农（C.E.Shannon）发表的开创性的文章《通信的数学理论》为信息论和编码技术奠定了坚实的理论基础。信息论是信息科学中成熟、完整、系统的一部分，它以活跃、新颖的思路和高效解决问题的方法显示出独特的魅力，在此基础上发展起来的数据通信和计算机技术，反过来又为信息编码技术的发展和应用创造了有利的环境。随着社会信息化的不断深入，信息论和编码技术已经渗透许多应用领域，展示出勃勃生机和巨大的发展前景。

信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助人们认识事物的本质。学完信息论之后，再重新审视周围的事物时，会产生许多新的看法和认识。用信息论的方法可以宏观地认识某些政治问题，也可以定量地解决某些经济问题，还可以分析、解释学习中存在的问题。总之，信息论是高层次信息技术人才所需掌握的、必不可少的基础知识，因而目前各高等院校的电子信息类专业的本科生、研究生都把信息论和编码技术作为一门重要的专业基础理论课。

由于信息论牵涉众多学科，需要广泛的数学基础，许多读者虽然认识到信息论和编码技术的重要性，但在繁杂的公式面前往往望而却步。针对这种情况，作者根据多年的教学经验，在编写过程中强调基本原理的理解，选材时充分考虑其实用性，把信息论涉及的数学知识限制在工科高等数学和工程数学的范畴内，尽量以通俗形象的语言描述定义、性质和结论的物理概念，叙述中重概念描述、少理论推导，在每章结尾还附有相应的思考题与习题以加深认识。因此，本书适于作为通信、信息工程类专业本科生、研究生的教材，也可作为其他专业学生及有关科技人员的参考书。

本书主要内容包括经典信息论的基本内容和主要结论、信息压缩编码的基本原理、提高通信可靠性的纠错编码理论和方法。全书共分8章，遵照由浅入深、循序渐进的教学规律，系统地组织教学内容。第1章绪论，介绍信息论与编码的基本概念、数字通信系统模型，以及信息论、信道编码和信源编码理论的主要发展历程和意义； 第2章信源及其熵，介绍信源的数学模型和分类、离散信源的信息熵及其性质、连续信源的信息熵、信源的冗余度等； 第3章信道及其容量，介绍信道的数学模型与分类、信道疑义度与平均互信息、离散信道的信道容量、连续信道的信道容量、信源与信道的匹配以及信道编码定理等； 第4章信道编码，介绍信道编码的基本概念和经典信道编码理论，主要包括线性分组码、循环码和卷积码的概念及编码、译码算法等； 第5章信源编码，介绍信源编码器及相关概念、无失真信源编码定理、变长编码和实用信源编码方法等； 第6章信息速率失真函数，介绍失真测度、信息率失真函数、等概率与对称失真信源的信息率失真计算和保真度准则下的信源编码定理等； 第7章现代信道编码技术，介绍近年来信道编码领域重要的两种新技术——Turbo码和LDPC码，分别介绍二者的概念、基本原理和编、译码算法等； 第8章MATLAB在信息论与编码分析中的应用，介绍MATLAB的使用基础、应用MATLAB分析离散信源和离散信道、信源和信道编码技术的MATLAB分析和仿真。本书第1、2、3、5章由冯桂编写，第4、6、7章由周林编写，第8章由冯桂、周林共同编写，全书由冯桂统稿。

本书获华侨大学教材建设基金资助。在编写过程获得了华侨大学通信工程系老师和研究生的支持与协助，在此表示感谢。

限于编者的水平，又加上时间比较仓促，书中难免有欠妥之处，殷切希望读者指正，将不胜感激。本书责编的Email： shengdl@tup.tsinghua.edu.cn。

编者2016年4月

冯桂  教授、博士、硕士生导师，华侨大学信息科学与工程学院副院长。负责福建省高等学校精品课程“信息论与编码技术”、福建省
“通信工程”本科高校专业综合改革试点项目、福建省教育厅“电子信息工程专业课程体系整体优化的研究”项目、华侨大学“信号与信息处理核心课程”教学团队、华侨大学 “图像编码与传输技术”
多媒体课件建设项目、华侨大学 “信号与系统”精品视频课程建设。主讲 “信息论与编码”、“信号与系统”、“矩阵理论”、“图像分析”、“数字图像处理”等多门本科生、研究生课程。主要研究方向为信号与信息处理，通信系统信息安全，多媒体通信，基于特征的自适应文本、图像、视频数字水印技术理论与应用，基于虹膜与指纹等生物特征的安全系统理论研究与实现，等等。主持、参与国家自然科学基金、省自然科学基金和横向科研合作开发等科研项目10余项，在IEEE、SPIE等国际、国内学术刊物及国内外学术会议发表学术论文 50 余篇，其中SCI、EI与ISTP收录近30篇。

第1章绪论

1.1基本概念

1.1.1信息的一般概念

1.1.2香农信息定义

1.1.3信息论与编码技术发展简史

1.2数字通信系统模型

1.3信息论与编码理论研究的主要内容和意义

1.3.1信息论研究的主要内容

1.3.2香农信息论对信道编码的指导意义

1.3.3香农信息论对信源编码的指导意义

思考题与习题

第2章信源及其熵

2.1信源的数学模型和分类

2.1.1信源的数学模型

2.1.2信源的分类

2.2离散信源的信息熵及其性质

2.2.1自信息

2.2.2信源的信息熵

2.2.3熵的基本性质

2.3离散无记忆信源的扩展信源

2.4离散平稳信源

2.4.1平稳信源的概念

2.4.2二维平稳信源

2.4.3一般离散平稳信源

2.5连续信源的信息熵

2.5.1单符号连续信源的熵

2.5.2波形信源的熵

2.5.3熵定理

2.6信源的冗余度

2.6.1信源效率

2.6.2信源冗余度

思考题与习题

第3章信道及其容量

3.1信道的数学模型与分类

3.1.1信道的分类

3.1.2信道的数学模型

3.1.3单符号离散信道

3.2信道疑义度与平均互信息

3.2.1信道疑义度

3.2.2平均互信息

3.2.3平均互信息的性质

3.3离散无记忆的扩展信道

3.4离散信道的信道容量

3.4.1信道容量的定义

3.4.2简单离散信道的信道容量

3.4.3对称离散信道的信道容量

3.4.4离散无记忆N次扩展信道的信道容量

3.5连续信道的信道容量

3.5.1连续单符号加性高斯噪声信道的信道容量

3.5.2多维无记忆加性连续信道的信道容量

3.5.3限频限时限功率的加性高斯白噪声信道的信道容量

3.6信源与信道的匹配

3.7信道编码定理(香农第二定理)

思考题与习题

第4章信道编码

4.1信道编码的概念

4.1.1信道编码的分类

4.1.2与纠错编码有关的基本概念

4.1.3检错与纠错原理

4.1.4检错与纠错方式和能力

4.2线性分组码

4.2.1线性分组码的基本概念

4.2.2生成矩阵和一致校验矩阵

4.2.3线性分组码的译码

4.2.4线性分组码的纠错能力

4.2.5汉明码

4.3循环码

4.3.1循环码的多项式描述

4.3.2循环码的生成矩阵

4.3.3系统循环码

4.3.4多项式运算电路

4.3.5循环码的编码电路

4.3.6循环码的译码电路

4.4常用的循环码

4.4.1循环冗余校验码

4.4.2BCH码*

4.4.3RS码*

4.5卷积码

4.5.1卷积码的编码

4.5.2卷积码的译码

思考题与习题

第5章信源编码

5.1信源编码器和无失真信源编码定理

5.1.1码的分类

5.1.2码树

5.1.3Kraft不等式

5.1.4无失真信源编码定理(香农定理)

5.2变长编码

5.2.1香农码

5.2.2费诺码

5.2.3霍夫曼码

5.3实用信源编码方法

5.3.1游程编码

5.3.2算术编码

5.3.3预测编码

5.3.4变换编码

思考题与习题

第6章信息率失真函数

6.1失真测度

6.1.1系统模型

6.1.2失真度和平均失真度

6.2信息率失真函数及其性质

6.2.1信息率失真函数的定义

6.2.2信息率失真函数的性质

6.3等概率、对称失真信源的信息速率失真函数

6.4保真度准则下的信源编码定理

6.5限失真信源编码（香农第三定理）

思考题与习题

第7章现代信道编码技术

7.1Turbo码

7.1.1Turbo码的提出

7.1.2Turbo码编码器

7.1.3Turbo码译码器

7.2LDPC码

7.2.1LDPC码的提出

7.2.2LDPC码基本概念

7.2.3规则LDPC码

7.2.4非规则LDPC码

7.2.5准循环LDPC码

7.2.6重复累积LDPC码

7.2.7LDPC码译码算法

思考题与习题

第8章MATLAB在信息论与编码分析中的应用

8.1MATLAB基础

8.1.1MATLAB语言特点

8.1.2MATLAB运行环境简介

8.1.3MATLAB基础

8.2MATLAB在信息理论分析中的应用

8.2.1离散信源的MATLAB分析

8.2.2离散信道的MATLAB分析

8.2.3应用MATLAB进行信息理论分析的实例

8.3MATLAB在编码技术分析中的应用

8.3.1信源编码技术的MATLAB分析

8.3.2信道编码技术的MATLAB仿真

8.3.3应用MATLAB进行编码技术分析的实例

思考题与习题

参考文献

冯桂  教授、博士、硕士生导师，华侨大学信息科学与工程学院副院长。负责福建省高等学校精品课程“信息论与编码技术”、福建省“通信工程”本科高校专业综合改革试点项目、福建省教育厅“电子信息工程专业课程体系整体优化的研究”项目、华侨大学“信号与信息处理核心课程”教学团队、华侨大学 “图像编码与传输技术”多媒体课件建设项目、华侨大学 “信号与系统”精品视频课程建设。主讲 “信息论与编码”、“信号与系统”、“矩阵理论”、“图像分析”、“数字图像处理”等多门本科生、研究生课程。主要研究方向为信号与信息处理，通信系统信息安全，多媒体通信，基于特征的自适应文本、图像、视频数字水印技术理论与应用，基于虹膜与指纹等生物特征的安全系统理论研究与实现，等等。主持、参与国家自然科学基金、省自然科学基金和横向科研合作开发等科研项目10余项，在IEEE、SPIE等国际、国内学术刊物及国内外学术会议发表学术论文 50 余篇，其中SCI、EI与ISTP收录近30篇。