【假一罚四】信息论与编码/张小飞等张小飞 等

本书重点介绍由香农理论发展而来的信息论的基本理论，它主要应用概率论、随机过程和现代数理统计方法来研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性。本书分9章，以信息熵为基本概念，以香农理论的3个基本定理为核心，系统地讲述香农信息论的基本理论，主要内容包括离散信息和连续信息的度量、离散信道和连续信道的容量、无失真信源编码定理、有噪信道编码定理、信息率失真函数、信道编码和网络信息论。本书注重概念，采用通俗的文字，联系实际，用较多的例题阐述基本概念、基本理论及实现原理。在各章的*后还附有小结和大量习题，便于读者学习，加深对概念的理解。本书可作为高等院校电子、信息、通信、计算机、自动化及相关专业本科生和研究生的教材，也可供相关专业的科技人员参考。

张小飞，教授/博导。为中国通信学会青年工作委员会委员、中国电子学会教育工作委员会青年组委员、江苏省科技评估专家和通信工程研究所常务副所长。为20多家国际会议TPC成员，担任10多家刊物的编委；任国际刊物客座主编；受邀做会议主题报告10多次、主持国际会议一次。近年来发表SCI论文80多篇，ESI高被引论文2篇；出版著作5部，公开专利3项。主持国家自然科学基金2项，其他项目20多项。获得通信学会自然科学一等奖1项、国防科学技术进步奖2项、“333”人才计划、青蓝工程“中青年学术带头人”、“六大人才高峰”B类、江苏省航空航天学会“优秀科技工作者”；入选中国百篇影响国际学术论文。研究方向：移动通信、阵列信号处理、通信信号处理。

第1章 绪论 1
1.1 信息的概念和特性 1
1.2 熵的概念 2
1.3 信息论的基本问题和主要内容 3
1.3.1 信息论研究的基本问题 3
1.3.2 信息论的研究内容 4
1.4 香农简介 5
1.5 本书结构 6
1.6 本章小结 7
第2章 数学基础 8
2.1 概率论基础 8
2.1.1 概率空间 8
2.1.2 随机变量与分布函数 10
2.1.3 多维随机变量及其分布 12
2.1.4 数字特征 16
2.1.5 大数定律及中心极限定理 19
2.2 马尔可夫链 22
2.2.1 有限状态马氏链 22
2.2.2 状态转移概率 23
2.2.3 齐次马氏链 23
2.2.4 马氏链的平稳分布 25
2.3 凸函数 26
2.4 本章小结 28
习题 28
第3章 信息度量 30
3.1 自信息、条件自信息和联合自信息 30
3.1.1 自信息 30
3.1.2 条件自信息 32
3.1.3 联合自信息 33
3.2 互信息和信息散度 33
3.2.1 互信息的定义 33
3.2.2 互信息的性质 34
3.2.3 条件互信息 35
3.2.4 信息散度 35
3.3 离散集合的平均信息量（熵） 37
3.3.1 信息熵 37
3.3.2 条件熵 38
3.3.3 联合熵 38
3.3.4 熵的基本性质 39
3.3.5 各类熵的关系 42
3.3.6 熵函数的性 44
3.3.7 通信系统中熵的意义 44
3.4 平均互信息 46
3.4.1 平均互信息的定义 46
3.4.2 平均互信息与熵的关系 46
3.4.3 平均互信息的性质 48
3.4.4 多随机变量的互信息 53
3.5 本章小结 59
习题 61
第4章 信源和熵 64
4.1 信源的分类与数学模型 64
4.1.1 信源的分类 64
4.1.2 信源的数学模型 64
4.2 离散信源 65
4.2.1 离散无记忆信源和熵 65
4.2.2 离散平稳信源和熵 66
4.2.3 马尔可夫信源 69
4.2.4 信源的冗余度 73
4.3 连续信源 76
4.3.1 连续信源的熵与平均互信息 76
4.3.2 连续随机变量信息散度 79
4.3.3 几种特殊分布连续信源熵 80
4.3.4 连续信源熵定理 83
4.3.5 熵功率 84
4.3.6 符号持续时间不同的信源的熵 85
4.4 本章小结 86
习题 88
第5章 信道与信道容量 91
5.1 信道的特性及其分类 91
5.1.1 信道模型 91
5.1.2 信道分类 91
5.2 离散信道及其信道容量 92
5.2.1 离散信道数学模型 92
5.2.2 离散信道的信道容量 95
5.2.3 多符号离散信道的信道容量 104
5.3 连续信道及其信道容量 106
5.3.1 加性噪声信道及其信道容量 106
5.3.2 加性高斯信道和及其信道容量 108
5.3.3 加性非高斯信道及其信道容量 109
5.3.4 并联加性高斯信道 112
5.3.5 限频限功率高斯信道的信道容量 115
5.3.6 香农信道编码定理 118
5.4 本章小结 120
习题 121
第6章 无失真信源编码 124
6.1 信源编码简介 124
6.2 离散信源定长编码 126
6.2.1 典型序列与渐近均分特性 127
6.2.2 定长编码定理 129
6.2.3 定长码参数 130
6.3 离散信源变长编码 131
6.3.1 变长码的可译性 132
6.3.2 Kraft不等式 133
6.3.3 变长编码定理 134
6.3.4 变长码参数 136
6.4 变长编码方法 137
6.4.1 Huffman编码 137
6.4.2 实用的信源编码方法 141
6.5 本章小结 143
习题 144
第7章 限失真信源编码 147
7.1 系统模型和失真测度 148
7.1.1 系统模型 148
7.1.2 失真测度 148
7.1.3 失真函数举例说明 149
7.2 信息率失真函数 149
7.2.1 定义 149
7.2.2 信息率失真函数的性质 150
7.2.3 简单信源的信息率失真函数 153
7.3 离散信源R(D)计算 161
7.3.1 离散信源信息率失真函数的参量表示 161
7.3.2 离散信源R(D)求解矢量/矩阵表示 163
7.3.3 参量s的意义 164
7.4 连续信源的信息率失真函数 167
7.4.1 连续信源的平均失真函数 167
7.4.2 d(x,y)只与x?y有关的情况下率失真函数的求解 168
7.4.3 高斯信源的率失真函数 169
7.4.4 限带白色高斯信源的率失真函数 171
7.4.5 一般信源率失真函数的上限和下限 171
7.5 限失真信源编码定理 172
7.6 本章小结 173
习题 175
第8章 信道编码 178
8.1 引言 178
8.2 纠错编码 182
8.3 简单编码 186
8.4 线性分组码 189
8.5 其他信道编码方式 196
8.5.1 卷积码 196
8.5.2 Turbo码 199
8.5.3 LDPC码 203
8.6 本章小结 206
习题 206
第9章 网络信息论 208
9.1 信道模型 209
9.1.1 删除信道 209
9.1.2 无线信道 210
9.2 数字喷泉码的数学描述 210
9.2.1 数字喷泉码的定义 210
9.2.2 Tanner图 211
9.2.3 度分布函数 212
9.3 典型的数字喷泉码 213
9.3.1 LT码 213
9.3.2 Raptor码 214
9.4 数字喷泉码的译码算法 216
9.4.1 删除信道中的译码算法 216
9.4.2 无线信道中的译码算法 217
9.5 数字喷泉码的性能分析方法 219
9.5.1 删除信道中的密度演化 219
9.5.2 无线信道中的密度演化 222
9.6 数字喷泉码的应用 225
9.7 网络编码基础 226
9.7.1 引言 226
9.7.2 流小割定理 226
9.7.3 网络编码的数学描述 227
9.7.4 网络编码的分类及特点 228
9.8 网络编码实例：应用于蝶形网络 229
9.9 网络编码的研究现状 230
9.10 网络编码的应用 231
参考文献 232

本书重点介绍由香农理论发展而来的信息论的基本理论，它主要应用概率论、随机过程和现代数理统计方法来研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性。本书分9章，以信息熵为基本概念，以香农理论的3个基本定理为核心，系统地讲述香农信息论的基本理论，主要内容包括离散信息和连续信息的度量、离散信道和连续信道的容量、无失真信源编码定理、有噪信道编码定理、信息率失真函数、信道编码和网络信息论。本书注重概念，采用通俗的文字，联系实际，用较多的例题阐述基本概念、基本理论及实现原理。在各章的*后还附有小结和大量习题，便于读者学习，加深对概念的理解。本书可作为高等院校电子、信息、通信、计算机、自动化及相关专业本科生和研究生的教材，也可供相关专业的科技人员参考。

张小飞，教授/博导。为中国通信学会青年工作委员会委员、中国电子学会教育工作委员会青年组委员、江苏省科技评估专家和通信工程研究所常务副所长。为20多家国际会议TPC成员，担任10多家刊物的编委；任国际刊物客座主编；受邀做会议主题报告10多次、主持国际会议一次。近年来发表SCI论文80多篇，ESI高被引论文2篇；出版著作5部，公开专利3项。主持国家自然科学基金2项，其他项目20多项。获得通信学会自然科学一等奖1项、国防科学技术进步奖2项、“333”人才计划、青蓝工程“中青年学术带头人”、“六大人才高峰”B类、江苏省航空航天学会“优秀科技工作者”；入选中国百篇影响国际学术论文。研究方向：移动通信、阵列信号处理、通信信号处理。