【现货速发】信息论与编码

1． 本书特点

在信息技术飞速发展的今天，人们对信息理论与技术的学习以及信息素养的提高需求更加迫切。信息论与编码理论起源于香农的不朽名著——《通信的数学理论》，香农的信息论不仅推动了信息技术的发展，而且引发了许多学科的信息转向，信息论与编码的许多思想和方法已广泛渗透至各个领域，其研究成果也具有普遍的意义，在通信、计算机、物理学、生物学、经济学以及社会学中得到成功应用。因此，“信息论与编码”也成为国内外各高等院校电子信息类专业的学科基础或专业基础课程。

由于信息论与编码是一门“高冷而入世”的学问，其概念非常抽象(如熵和平均互信息等是看不见、摸不着的量)，要求的数理基础强(如涉及概率论、线性代数、近世代数等)，涉及的知识面广(如信息测度体系、编码系列定理、压缩编码方法与纠错编码方法等)，因此这方面的研究是小众的。但是，信息论与编码又是一门应用科学，它对信息技术相关学科的知识体系构建是至关重要的，它不仅从世界观角度帮助我们透过现象看本质，揭示信息的基本特征和通信的一般性规律，而且从方法论层面告诉我们如何高效、可靠、安全地传输信息。

本书秉承“传承经典，关注发展”的理念，融入作者多年学术研究和教学实践的体会，以简洁易懂的语言对信息论与编码的经典内容进行了全面介绍，兼顾科学性与严谨性； 以继承与创新的视角，紧跟科技前沿，凝练科研成果，充分呈现了当前的研究热点与新技术应用。鉴于信息论与编码最典型的应用背景是通信领域，本书在对概念、原理的解释以及案例的分析中特别突出了其在通信中的应用，并注意以信息论的观点分析通信技术发展的内涵。本书提供了丰富的扩展阅读文献、案例、代码资源，有助于读者学习理解和应用实践。

2． 如何使用本书

本书共6章，各章主要内容概括如下。

第1章为绪论，讨论信息的概念，介绍信息论与编码技术的发展，以及信息论与信息学科的密切联系。

第2章构建信源模型，讨论离散信源、连续信源的信息测度的表达式及性质，并介绍Kullback熵和Fano不等式。

第3章构建信道模型，讨论平均互信息的定义及性质，分析离散信道、连续信道的信道容量，并介绍香农公式及其指导意义。

第4章分析信源编码的基本概念，讨论香农的无失真信源编码定理和保真度准则下的信源编码定理，介绍预测编码、变换编码、统计编码、通用编码等常用的信源压缩编码方法，以及基于音频、静止图像、视频的压缩标准。

第5章分析信道编码的基本概念，讨论香农的有噪信道编码定理，介绍线性分组码、循环码、卷积码的基本概念、编译码方法及应用实现。

第6章介绍Turbo码、低密度校验码、无码率码、极化码，以及TCM、MLC、BICMID等编码调制技术的基本概念、编译码方法及应用。

由于各高校开设信息论与编码领域相关课程的学时不同，以上内容可以有选择地使用。第1~3章、4．1~4．3节、5．1~5．2节包含完整的信息论部分内容，可以作为“信息论”课程的主体内容； 第4~6章包含信源压缩编码、信道编码的内容，可以作为“编码技术”课程的主体内容； 全书则可以作为“信息论与编码”课程的教学内容，根据学时不同可有所取舍。

3． 致谢

在本书的编写过程中，作者受到了许多信息论与编码领域前辈的启发，并参阅了他们的教材和专著，其中包括傅祖芸、Shu Lin、Cover、沈连丰、王新梅、田宝玉、唐朝京、白宝明等。同时，作者还阅读了大量IEEE、ACM、IET、Elsevier、Springer、CNKI等数据库的文献。上述资料助力本书凝练理论精髓，拓展应用思考，体现了本书“经典融合前沿、理论联系实践”的特色。本书将上述引用源列于书后的参考文献中，在此谨向引用源的作者表示感谢。

同时，感谢国防科技大学唐朝京教授对本书的评审与指导，为完善本书提供了宝贵建议； 感谢赖恪、鲁信金、万泽涵、陈继林、舒冰心等硕士和博士研究生在丰富本书前沿性内容、文字格式编辑等方面的付出； 也感谢出版过程中清华大学出版社的大力支持。

最后，限于作者视野及学术水平，书中谬误疏漏之处难以避免，恳请读者批评指正。

作者
2023年11月

信息论与编码研究信息传输与处理的一般性规律、性能极限以及高效、可靠编码的理论和技术，是现代信息科学的理论基石。本书主要介绍香农信息理论、信源压缩编码、信道纠错编码，包含绪论、信源与熵、信道与容量、信源压缩编码、信道编码、先进纠错编码技术6章内容。其中：第1～3章介绍信息测度体系；第4章在系统介绍信源编码概念、无失真信源编码定理、保真度准则下的信源编码定理的基础上，进一步介绍各种常用的压缩编码方法及其应用；第5章在推导研究有噪信道编码定理后，对线性分组码和卷积码的概念、编译码原理进行阐述，并详细介绍循环码编译码方法及常用的BCH码和RS码；第6章介绍近年来纠错编码领域的新技术，如Turbo码、LDPC、无码率码、极化码以及编码调制技术等。 本书可作为电子信息类相关专业高年级本科生和研究生的教材，也可作为相关领域的工程人员和技术人员的参考书。

雷 菁，国防科技大学教授、博士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码”“通信技术综合设计”“通信工程专业设计”等课程。近5年发表SCI源刊论文近20篇。主持国家自然科学基金项目、湖南省自然科学基金项目、863项目等10余项。获全国、全军优秀教师称号，军队院校育才金奖、银奖获得者。主持国家级教学成果二等奖1项。出版信息论与编码方面的教材4部。
黄 英，国防科技大学副教授、硕士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码基础”“通信技术综合设计”等课程。近5年发表SCI源刊论文近10篇。主持国家自然科学基金、湖南省自然科学基金等项目2项。获湖南省优秀教师称号。出版教材1部。

第1章绪论

1．1信息的概念

1．1．1广义信息的定义

1．1．2香农信息的定义

1．2信息论与编码的发展

1．2．1信息理论的形成

1．2．2编码技术的发展及应用 

1．3信息论与信息科学

第2章信源与熵

2．1信源模型

2．2离散随机变量的熵

2．2．1自信息

2．2．2信息熵

2．2．3条件熵与联合熵

2．2．4熵的基本性质

2．2．5离散无记忆的扩展信源

2．2．6离散平稳信源的熵

2．2．7马尔可夫信源的熵

2．2．8信源的剩余度

2．3连续随机变量的微分熵

2．3．1微分熵

2．3．2微分熵的性质

2．4Kullback熵

2．4．1Kullback熵的定义

2．4．2Kullback熵的性质

2．4．3Kullback熵与热力学第二定律的关系

2．5Fano不等式

小结

习题

第3章信道与容量

3．1信道模型

3．2平均互信息

3．2．1信道疑义度

3．2．2平均互信息及其性质

3．2．3序列形式的平均互信息

3．3离散信道及其容量

3．3．1信道容量的定义

3．3．2简单离散信道的信道容量

3．3．3对称离散信道的信道容量

3．3．4一般离散信道的信道容量

3．3．5离散无记忆N次扩展信道的信道容量

3．3．6并联信道与串联信道的信道容量

3．4连续信道及其容量

3．4．1基本连续信道

3．4．2多维连续信道

3．5波形信道与香农公式

3．5．1带限高斯白噪声加性波形信道的信道容量

3．5．2香农公式的意义与启发

小结

习题

第4章信源压缩编码

4．1信源编码的基本概念

4．1．1信源编码器

4．1．2唯一可译码与即时码

4．1．3Kraft不等式

4．2无失真信源编码定理

4．2．1渐近等同分割性

4．2．2等长信源编码定理

4．2．3可变长信源编码定理

4．3保真度准则下的信源编码定理

4．3．1信息率失真函数的定义及性质

4．3．2保真度准则下的信源编码定理

4．4常用的信源压缩编码方法

4．4．1预测编码

4．4．2变换编码

4．4．3统计编码

4．4．4通用编码

4．5压缩编码应用综述

4．5．1音频压缩标准

4．5．2静止图像压缩标准

4．5．3视频压缩标准

小结

习题

第5章信道编码

5．1信道编码的基本概念

5．1．1信道编码的一般方法

5．1．2信道编码的基本参数

5．1．3信道译码规则

5．2有噪信道编码定理

5．2．1联合渐近等同分割性与联合典型序列

5．2．2香农第二定理(有噪信道编码定理)

5．3线性分组码

5．3．1线性分组码的基本概念

5．3．2线性分组码的译码方法

5．3．3线性分组码的纠错能力

5．3．4线性分组码的派生与组合

5．4循环码的基本原理

5．4．1基本概念

5．4．2循环码的编码及其实现

5．4．3循环码译码及其实现

5．4．4BCH码与RS码

5．5卷积码

5．5．1卷积码的定义

5．5．2卷积码的表示

5．5．3卷积码的译码

5．5．4卷积码的应用

小结

习题

第6章先进纠错编码技术

6．1Turbo码

6．1．1Turbo码的分类

6．1．2Turbo码的编码

6．1．3Turbo码的迭代译码

6．1．4Turbo码的性能分析与应用

6．2低密度校验码

6．2．1低密度校验码的概念及图模型

6．2．2低密度校验码的构造与编码方法

6．2．3低密度校验码的译码算法

6．2．4低密度校验码的应用

6．3无码率码

6．3．1LT码

6．3．2Raptor码

6．3．3Spinal码

6．4极化码

6．4．1信道极化现象

6．4．2信道极化定理

6．4．3Polar码构造原理

6．4．4Polar码编码原理

6．4．5Polar码译码方法

6．5编码调制技术

6．5．1TCM

6．5．2多级编码

6．5．3BICMID

小结

习题

参考文献

信息论与编码研究信息传输与处理的一般性规律、性能极限以及高效、可靠编码的理论和技术，是现代信息科学的理论基石。本书主要介绍香农信息理论、信源压缩编码、信道纠错编码，包含绪论、信源与熵、信道与容量、信源压缩编码、信道编码、先进纠错编码技术6章内容。其中：第1～3章介绍信息测度体系；第4章在系统介绍信源编码概念、无失真信源编码定理、保真度准则下的信源编码定理的基础上，进一步介绍各种常用的压缩编码方法及其应用；第5章在推导研究有噪信道编码定理后，对线性分组码和卷积码的概念、编译码原理进行阐述，并详细介绍循环码编译码方法及常用的BCH码和RS码；第6章介绍近年来纠错编码领域的新技术，如Turbo码、LDPC、无码率码、极化码以及编码调制技术等。 本书可作为电子信息类相关专业高年级本科生和研究生的教材，也可作为相关领域的工程人员和技术人员的参考书。

雷 菁，国防科技大学教授、博士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码”“通信技术综合设计”“通信工程专业设计”等课程。近5年发表SCI源刊论文近20篇。主持国家自然科学基金项目、湖南省自然科学基金项目、863项目等10余项。获全国、全军优秀教师称号，军队院校育才金奖、银奖获得者。主持国家级教学成果二等奖1项。出版信息论与编码方面的教材4部。
黄 英，国防科技大学副教授、硕士生导师。长期从事信息论与编码领域的教学和科研工作，讲授“信息论与编码基础”“通信技术综合设计”等课程。近5年发表SCI源刊论文近10篇。主持国家自然科学基金、湖南省自然科学基金等项目2项。获湖南省优秀教师称号。出版教材1部。