信息论基础

图书标准信息

• 作者 [美]科沃（Thomas M.Cover）、[美]托马斯（Joy A.Thomas） 著
• 出版社 清华大学出版社
• 出版时间 2003-11
• 版次 1
• ISBN 9787302072850
• 定价 65.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 545页
• 丛书 国际知名大学原版教材·信息技术学科与电气工程学科系列

【内容简介】

《信息论基础》系统介绍了信息论基本原理及其在通信理论、统计学、计算机科学、概率论以及投资理论等领域的应用。作者以循序渐进的方式，介绍了信息量的基本定义、相对熵、互信息以及他们如何自然地用来解决数据压缩、信道容量、信息率失真、统计假设、网络信息流等问题。除此以外，《信息论基础》还探讨了很多教材中从未涉及的问题，如：
热力学第二定律与马尔可夫链之间的联系
Huffman编码的最优性
数据压缩的对偶性
Lempelziv编码
Kolmogorov复杂性
PorfoII0理论
信息论不等式及其数学结论
《信息论基础》可作为通信、电子、计算机、自动控制、统计、经济等专业高年级本科生和研究生的教材或参考书，也可供相关领域的科研人员和专业技术人员参考。

【作者简介】

ThomasM.Cover斯坦福大学电气工程系、统计系教授。曾任IEEE信息论学会主席，现任数理统计研究所研究员、IEEE高级会员。1972年以论文“BroadcastChannels”荣获信息论优秀论文奖，1990年被选为“ShannonLecturer”，这是信息论领域的最高荣誉。最近20年，他致力于信息论和统计学之间的关系。

【目录】

ListofFigures
1IntroductionandPreview
1．1Previewofthebook
2EntropyRelativeEntropyandMutualInformation
2．1Entropy
2．2Jointentropyandconditionalentropy
2．3Relativeentropyandmutualinformation
2．4Relationshipbetweenentropyandmutualinformation
2．5Chainrulesforentropy，relativeentropyandmutualinformation
2．6Jensen'sinequalityanditsconsequences
2．7Thelogsuminequalityanditsapplications
2．8Dataprocessinginequality
2．9Thesecondlawofthermodynamics
2．10Sufficientstatistics
2．11Fano'sinequality
SummaryofChapter2
ProblemsforChapter2
Historicalnotes
3TheAsymptoticEquipartitionProperty
3．1TheAEP
3．2ConsequencesoftheAEP：datacompression
3．3Highprobabilitysetsandthetypicalset
SummaryofChapter3
ProblemsforChapter3
Historicalnotes
4EntropyRatesofaStochasticProcess
4．1Markovchains
4．2Entropyrate
4．3Example：Entropyrateofarandomwalkonaweightedgraph
4．4HiddenMarkovmodels
SummaryofChapter4
ProblemsforChapter4
Historicalnotes
5DataCompression
5．1Examplesofcodes
5．2Kraftinequality
5．3Optimalcodes
5．4Boundsontheoptimalcodelength
5．5Kraftinequalityforuniquelydecodablecodes
5．6Huffmancodes
5．7SomecommentsonHuffmancodes
5．8OptimalityofHuffmancodes
5．9Shannon-Fano-Eliascoding
5．10Arithmeticcoding
5．11CompetitiveoptimalityoftheShannoncode
5．12Generationofdiscretedistributionsfromfaircoins
SummaryofChapter5
ProblemsforChapter5
Historicalnotes
6GamblingandDataCompression
6．1Thehorserace
6．2Gamblingandsideinformation
6．3Dependenthorseracesandentropyrate
6．4TheentropyofEnglish
6．5Datacompressionandgambling
6．6GamblingestimateoftheentropyofEnglish
SummaryofChapter6
ProblemsforChapter6
Historicalnotes
7KolmogorovComplexity
7．1Modelsofcomputation
7．2Kolmogorovcomplexity：definitionsandexamples
7．3Kolmogorovcomplexityandentropy
7．4Kolmogorovcomplexityofintegers
7．5Algorithmicallyrandomandincompressiblesequences
7．6Universalprobability
7．7Thehaltingproblemandthenon·computabilityofKolmogorovcomplexity
7．8Q
7．9Universalgambling
7．10Occam'srazor
7．11Kolmogorovcomplexityanduniversalprobability
7．12TheKolmogorpySuffcientstatistic
SummaryofChapter7
ProblemsforChapter7
ProblemsforChapter8
Historicalnotes
8ChannelCapacity
8．1Examplesofchannelcapacity
8．2Symmetricchannels
8．3Propertiesofchannelcapacity
8．4Previewofthechannelcodingtheorem
8．5Definitions
8．6Jointlytypicalsequences
8．7Thechannelcodingtheorem
8．8Zero．errorcodes
8．9Fano'sinequalityandtheconversetothecodingtheorem
8．10Equalityintheconversetothechannelcodingtheorem
8．11Hammingcodes
8．12Feedbackcapacity
8.13Thejointsourcechannelcodingtheorem
SummaryofChapter8
ProblemsforChapter8
Historicalnotes
9DifferentialEntropy
9.1Definitions
9.2TheAEPforcontinuousrandomvariables
9.3Relationofdifferentialentropytodiscreteentropy
9.4Jointandconditionaldifferentialentropy
9.5Relativeentropyandmutualinformation
9.6Propertiesofdifferentialentropy,relativeentropyandmutualinformation
9.7Differentialentropyboundondiscreteentropy
SummaryofChapter9
ProblemsforChanter9
Historicalnotes
10TheGaussianChannel
10.1TheGaussianchannel:definitions
10.2ConversetothecodingtheoremforGaussianchannels
10.3Band-limitedchannels
10.4ParallelGaussianchannels
10.5ChannelswithcoloredGaussiannoise
10.6Gaussianchannelswithfeedback
SummaryofChapter10
ProblemsforChapter10
Historicalnotes
11MaximumEntropyandSpectralEstimation
11.1Maximumentropydistributions
11.2Examples
11.3Ananomalousmaximumentropyproblem
11.4Spectrumestimation
11.5EntropyratesofaGaussianprocess
11.6Burg'smaximumentropytheorem
SummaryofChapter11
ProblemsforChapter11
Historicalnotes
12InformationTheoryandStatistics
13RateDistortionTHeory
14NetworkInformationTheory
15InformationTheoryandtheStcokMarket
16InequalitiesinInformationTheory
Bibliography
ListofSymbols
Index