信息论基础

图书标准信息

• 作者 [美]科尔曼（Kolman B.） 著；阮吉寿 译
• 出版社 机械工业出版社
• 出版时间 2005-05
• 版次 1
• ISBN 9787111162452
• 定价 56.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 435页
• 丛书 电子与电气工程丛书

【内容简介】

　　本书介绍信息论及其应用，内容丰富，涉及信息、统计，计算机科学等领域，系统和全面地介绍了香农信息论的基本理论与多类应用问题，其中包括作者的许多研究成果。本书包含大量的例题与背景说明，涉及信息处理与信息世界中的许多问题。本书是美国斯坦福大学、莱斯大学等使用的信息论教材，是学习信息论的主要参考书。
　　本书全面系统地介绍了香农信息论的基本理论以及多类应用问题，其中包括了作者的许多研究成果。本书阐述了熵、相对熵和互信息之间的基本代数关系，论述了渐近均分性（AEP）、随机过程和数据压缩的熵率、Kolmogorov复杂度、信道容量定理、微分熵以及网络信息理论等内容，并采用“使用不等式串、中间不加任何文字、最后直接加以解释”的创新表述方式，使读者学习了一定数量的证明后，在没有任何解释的情况下就能理解其中的大部分步骤，并给予必要的解释。本书适合作为通信理论、计算机科学和数学等专业学生学习信息论的教材。章后提供的习题便于老师的教学，以及增强学生对信息论的理解。

【作者简介】

　　ThomasM.cover是国际著名的信息论教授，1964年获美国斯坦福大学电子工程博士学位，1972年起任美国斯坦福大学电子工程与数理统计学教授，妆兼任IEEE、AAAS、IMS学会特别会员及多项重要学会理事。JoyA.Thomas，1990年获美国斯坦福大学电子工程博士学位，1984-1985年被授予IEEECharelesLeGeytFortescueFellowship，1987-1990年被授予IBMGraduateFellowship。

【目录】

译者序
前言
第1章绪论与概览
第2章熵、相对熵和互信息
2.1熵
2.2联合熵和条件熵
2.3相对熵和互信息
2.4熵与互信息的关系
2.5熵、相对熵和互信息的链式法则
2.6Jensen不等式及其结果
2.7对数和不等式及其应用
2.8数据处理不等式
2.9热力学第二定律
2.10充分统计量
2.11Fano不等式
要点
习题
历史回顾
第3章渐近均分性
3.1渐近均分性的定义
3.2AEP的结果应用：数据压缩
3.3高概率集与典型集
要点
习题
历史回顾
第4章随机过程的熵率
4.1马尔可夫链
4.2熵率
4.3例子：加权图上随机游动的熵率
4.4隐马尔可夫模型
要点
习题
历史回顾
第5章数据压缩
5.1有关编码的例子
5.2Kraft不等式
5.3最优码
5.4最优码长的界
5.5惟一可译码的Kraft不等式
5.6赫夫曼码
5.7有关赫夫曼码的评论
5.8赫夫曼码的最优性
5.9Shannon-Fano-Elias编码
5.10算术编码
5.11香农码的竞争最优性
5.12由均匀硬币投掷生成离散分布
要点
习题
历史回顾
第6章博弈与数据压缩
6.1马赛
6.2博弈与边信息
6.3相依的马赛及其熵率
6.4英文的熵
6.5数据压缩与博弈
6.6英文的熵的博弈估计
要点
习题
历史回顾
第7章Kolmogorov复杂度
7.1计算模型
7.2Kolmogorov复杂度：定义和例子
7.3Kolmogorov复杂度与熵
7.4整数的Kolmogorov复杂度
7.5算法随机序列与不可压缩序列
7.6普适概率
7.7停止问题和Kolmogorov复杂度的不可计算性
7.8Ω
7.9普适投注策略
7.10奥克姆剃刀
7.11Kolmogorov复杂度与普适概率
7.12Kolmogorov充分统计量
要点
习题
历史回顾
第8章信道容量
8.1信道容量的例子
8.2对称信道
8.3信道容量的性质
8.4信道编码定理预览
8.5定义
8.6联合典型序列
8.7信道编码定理
8.8零误差码
8.9Fano不等式与编码定理的逆定理
8.10信道编码定理的逆定理中的等式
8.11汉明码
8.12反馈容量
8.13联合信源信道编码定理
要点
习题
历史回顾
第9章微分熵
9.1定义
9.2连续随机变量的AEP
9.3微分熵与离散熵的关系
9.4联合微分熵和条件微分熵
9.5相对熵和互信息
9.6微分熵、相对熵以及互信息的性质
9.7离散熵的微分熵界
要点
习题
历史回顾
第10章高斯信道
10.1高斯信道的定义
10.2高斯信道编码定理的逆定理
10.3有限带宽信道
10.4并联高斯信道
10.5彩色高斯噪声信道
10.6带反馈的高斯信道
要点
习题
历史回顾
第11章最大熵与谱估计
11.1最大熵分布
11.2例子
11.3反常的最大熵问题
11.4谱估计
11.5高斯过程的熵率
11.6Burg最大熵定理
要点
习题
历史回顾
第12章信息论与统计学
12.1型方法
12.2大数定律
12.3通用信源编码
12.4大偏差理论
12.5Sanov定理的例子
12.6条件极限定理
12.7假设检验
12.8Stein引理
12.9Chernoff界
12.10Lempel-Ziv编码
12.11Fisher信息与Cram巖-Rao不等式
要点
习题
历史回顾
第13章率失真理论
13.1量化
13.2定义
13.3率失真函数的计算
13.4率失真定理的逆定理
13.5率失真函数的可达性
13.6强典型序列与率失真
13.7率失真函数的特征
13.8信道容量与率失真函数的计算
要点
习题
历史回顾
第14章网络信息论
14.1高斯多用户信道
14.2联合典型序列
14.3多接入信道
14.4相关信源的编码
14.5Slepian-Wolf编码与多接入信道之间的对偶性
14.6广播信道
14.7中继信道
14.8具有边信息的信源编码
14.9具有边信息的率失真
14.10一般多端网络
要点
习题
历史回顾
第15章信息论与股票市场
15.1股票市场：定义
15.2对数最优投资组合的Kuhn-Tucker特征
15.3对数最优投资组合的渐近最优性
15.4边信息与双倍率
15.5平稳市场中的投资
15.6对数最优投资组合的竞争最优性
15.7Shannon-McMillan-Breiman定理
要点
习题
历史回顾
第16章信息论的不等式
16.1信息论的基本不等式
16.2微分熵
16.3熵与相对熵的界
16.4型的不等式
16.5子集的熵率
16.6熵与Fisher信息
16.7熵幂不等式与Brunn-Minkowski不等式
16.8行列式的不等式
16.9行列式的比值的不等式
全书要点
习题
历史回顾
参考文献
索引