Shannon信息熵定理 9787560374888

香农（Shannon,1916-2001）香农，美国人，1916年4月30日生于海洛尔德，1936年毕业于密歇根大学。1940年前在马萨诸塞理工学院执教，同时从事中继和转换网络理论的研究。1940年获数学博士和电机工程技术硕士学位。1940年至1956年在贝尔公司数学实验室工作。同年回到马萨诸塞理工学院任教授。香农的研究成果为信息论奠定了基础，并在很大程度上决定了几乎一切可以纳入控制论概念的理论的发展。1972年香农获哈维奖。

第一篇初等篇

引言从天平称重问题谈起∥3

S0从一道高考试题谈起/3

S1假币问题

S2推广1

S3推广2

S4推广3

S5讨论

第一章信息论的历史

S1历史背景

2信息是什么∥55

3如何进行通信/∥57

第二篇基础篇

第二章初等概念/∥63

S1引言

S2信息

s3熵∥78

熵函数的数学性质∥83S4

S5熵和编码∥87

S6 Shannon-Fano编码 /∥88

S7 Shannon-Fano编码比最优编码差多少

8码的扩展/∥92

S9扩展的一个例子∥95

S10 Markov过程的熵 /∥99

S11Markov过程的一个实例

S12伴随系统 ∥104

S 13信息通道∥106

S 14小结∥108

第三章H（X）的基本性质/∥110

S1 引言 ∥110

2基本不等式∥111

83无干扰情况下的翻码定理∥119

第四章熵与交互信息/∥129

1熵与信息的度量∥129

S2熵的基本性质/∥133

第五章更多的概念∥139

1条件熵∥139

S2联合熵∥141

3各种熵的性质∥141

S4互信息∥146

S5李天岩谈熵∥157

第六章相对熵密度与任意二进信源的若干极限性质∥194

第七章一个随机变量序列熵率不存在的例子

第三篇基本定理篇

第八章信息量与熵∥225

S1信息量的数学表达式∥225

S2离散随机变数的熵的性质∥232

连续随机变数的熵的性质∥235

S3Shannon的基本定理 ∥240

第九章引言 /240S1

S2判决准则 ∥241

S3二元对称信道∥245