模式识别与机器学习

早系统地接触“模式识别与机器学习”是在2001年秋季清华大学开设的“模式识别”课堂上。从那时至今，我一直在模式识别与机器学习领域学习，并从事教学与科研工作。2007年参加工作后，我开始讲授研究生的“模式识别与机器学习”课程，后来也讲授高年级本科生的“模式识别与机器学习”课程。2009年在英国伦敦大学学院的访学进一步拓宽了我的知识面，也促使我萌发了关于该领域应该包含哪些核心内容的思考。在长期的教学与科研过程中，我一方面深感模式识别与机器学习领域发展之快，另一方面随着对该领域认识的加深，也逐渐有了撰写一本体现自己理解与认识的高质量教材的想法。2017年，与清华大学出版社协商后，开始着手具体写作工作。
在成书过程中，为力求做到每章内容丰富完整，两位编著者查阅了大量资料，也参考了所在的“模式识别与机器学习”实验室师生收集的素材，终完成了对本领域核心内容的系统梳理。全书以贝叶斯学习的思想为潜在主线，从基础理论到典型模型与算法，再到近似推理，循序渐进地呈现模式识别与机器学习的核心知识体系。全书共14章和4个附录，除第1章引言外，第2～14章可以分为三部分: 第2～6章为部分，主要介绍贝叶斯学习和概率图模型，包括贝叶斯学习基础、逻辑回归、概率图模型基础、隐马尔可夫模型和条件随机场；第7～11章为第二部分，主要介绍典型场景（如监督/非监督、回归/分类/降维等）下的模型与算法，包括支持向量机、人工神经网络与深度学习、高斯过程、聚类、主成分分析与相关的谱方法；第12～14章为第三部分，主要介绍近似推理和强化学习，包括确定性近似推理、随机近似推理和强化学习。附录包括传统模式识别与机器学习方法中的近邻法和决策树，以及向量微积分和随机变量的变换等与本学科强相关的知识点。
对于书中的知识点，我们都有相关的研究积累或应用经验，这为本书的质量提供了基本保障。但是由于我们的理论水平和实践经验尚有局限性，书中难免存在不足之处，敬请读者能提出宝贵建议，后续有机会再版时将加以改进。

孙仕亮
2020年4月于上海

模式识别与机器学习系统介绍了模式识别与机器学习的基础理论、模型与算法，同时兼顾了前沿知识的适当融入。本书以贝叶斯学习的思想贯穿始终，并适时与其他重要知识点（如支持向量机、深度学习）等进行交叉和关联，便于读者在形成良好知识体系的同时保持对整个领域知识的全面把握。 全书共14章和4个附录，循序渐进地对模式识别与机器学习领域进行剖析。首先介绍贝叶斯学习基础、逻辑回归、概率图模型基础、隐马尔可夫模型和条件随机场，接着介绍支持向量机、人工神经网络与深度学习、高斯过程、聚类、主成分分析与相关的谱方法，*后介绍确定性近似推理、随机近似推理和强化学习。附录包括传统的模式识别与机器学习方法近邻法和决策树，还有向量微积分和随机变量的变换等与本学科方向强相关的重要知识点。 本书内容深入浅出，生动有趣，力求反映这一领域的核心知识体系和新的发展趋势。每章内容都尽可能做到丰富完整，并附有思考与计算题，便于读者对知识的巩固和融会贯通。 本书适合作为本科生和研究生（硕/博）课程的教材，也可作为希望从事人工智能相关工作的科技工作者的自学参考书。

仕亮，清华大学博士，华东师范大学教授。在华东师范大学从事研究工作，主讲本科和研究生“模式识别与机器学习”“高级机器学习”等课程，并在英国伦敦大学学院、美国哥伦比亚大学从事访问合作研究。在模式识别与机器学习领域的国际著名期刊和会议发表学术论文100余篇，承担多项、省部级科研项目及国际知名企业的合作研究项目，研究成果多次获得省部级科学技术奖励。

赵静，华东师范大学博士，讲师。从事模式识别与机器学习领域的研究，包括概率模型、贝叶斯学习、近似推理与优化。主讲研究生“高级机器学习”和本科生“可信机器学习”等课程。入选上海市2016年度“扬帆计划”和2019年度“晨光计划”。发表论文近20篇，代表性成果发表于JMLR、T-CYB、IJCAI等国际期刊和会议。

第1章引言1
1.1基本概念1
1.1.1投票选举2
1.1.2三个小皮匠胜过诸葛亮3
1.1.3主动学习4
1.2典型的机器学习系统5
1.2.1医学图像诊断5
1.2.2时间序列识别6
1.2.3对话系统7
1.2.4异常检测8
1.3前沿研究方向举例9
1.3.1多视图机器学习9
1.3.2强化学习11
1.3.3可信人工智能11
1.4后续章节安排13
参考文献13
第2章贝叶斯学习基础15
2.1贝叶斯公式16
2.2贝叶斯决策18
2.2.1小错误率贝叶斯决策18
2.2.2小风险贝叶斯决策21
2.3分类器的相关概念23
2.3.1分类器、判别函数和决策面24
2.3.2分类器的错误率25
2.4基于高斯分布的贝叶斯分类器26
2.5朴素贝叶斯分类器32
2.6参数估计33
2.6.1似然估计33
2.6.2后验估计35
2.6.3期望化算法36
2.6.4贝叶斯参数估计37
思考与计算38
参考文献39
第3章逻辑回归40
3.1线性回归41
3.1.1小二乘与似然44
3.1.2正则化小二乘与后验47
3.2贝叶斯线性回归50
3.3逻辑回归52
3.3.1二类逻辑回归52
3.3.2多类逻辑回归55
3.4贝叶斯逻辑回归56
思考与计算60
参考文献60
第4章概率图模型基础61
4.1有向图模型63
4.1.1模型表示63
4.1.2条件独立性65
4.1.3常见的有向图模型71
4.2无向图模型73
4.2.1模型表示73
4.2.2条件独立性74
4.2.3常见的无向图模型81
4.3图模型中的推理82
4.3.1链式结构82
4.3.2树结构84
4.3.3因子图84
4.3.4和积算法85
4.3.5和算法92
思考与计算94
参考文献95
第5章隐马尔可夫模型96
5.1模型表示97
5.2模型推理100
5.2.1边缘似然的推理101
5.2.2隐状态序列的推理107
5.2.3隐状态边缘后验的推理108
5.3参数学习109
5.4模型扩展111
思考与计算115
参考文献116
第6章条件随机场117
6.1模型表示118
6.1.1线性链条件随机场120
6.1.2一般的条件随机场121
6.1.3条件随机场的特征函数122
6.2模型推理124
6.2.1前向—后向算法125
6.2.2维特比算法129
6.3参数学习130
6.4线性链条件随机场与隐马尔可夫模型132
6.5模型扩展133
思考与计算133
参考文献134
第7章支持向量机135
7.1大间隔原理136
7.2基本分类模型137
7.3拉格朗日对偶优化138
7.4线性不可分数据的分类140
7.4.1松弛变量140
7.4.2核方法142
7.5支持向量机回归144
7.6模型扩展146
思考与计算146
参考文献147
第8章人工神经网络与深度学习148
8.1感知机149
8.2多层神经网络151
8.2.1神经元151
8.2.2多层神经网络模型153
8.2.3反向传播算法155
8.3深度神经网络159
8.3.1浅层与深度神经网络159
8.3.2过拟合问题160
8.3.3局部极值问题162
8.3.4梯度消失问题163
8.4常用的深度神经网络166
8.4.1自编码网络166
8.4.2深度玻尔兹曼机168
8.4.3深度信念网络169
8.4.4卷积神经网络170
8.4.5循环神经网络174
8.4.6Transformer177
思考与计算180
参考文献181
第9章高斯过程183
9.1高斯过程的定义184
9.2高斯过程回归模型185
9.2.1权重空间185
9.2.2函数空间189
9.3高斯过程分类模型192
9.3.1模型表示193
9.3.2近似推理方法195
9.4高斯过程与支持向量机199
9.5高斯过程与人工神经网络200
9.6模型扩展201
思考与计算203
参考文献203
第10章聚类205
10.1K均值聚类206
10.1.1算法介绍206
10.1.2模糊K均值聚类209
10.2谱聚类210
10.3高斯混合模型聚类217
10.3.1模型表示217
10.3.2模型推理与参数估计218
10.3.3无限高斯混合模型219
思考与计算222
参考文献223
第11章主成分分析与相关的谱方法224
11.1主成分分析225
11.1.1化方差225
11.1.2小化误差227
11.1.3主成分分析与KL变换229
11.2概率PCA230
11.3核PCA232
11.4相关的谱方法234
11.4.1线性判别分析234
11.4.2典型相关分析237
思考与计算242
参考文献243
第12章确定性近似推理244
12.1近似推理的应用场景245
12.2拉普拉斯近似245
12.3变分平均场近似247
12.3.1基本理论247
12.3.2相关问题250
12.4期望传播近似253
12.4.1基本理论253
12.4.2相关问题256
思考与计算259
参考文献259
第13章随机近似推理260
13.1采样方法的评价标准261
13.2基本的采样方法262
13.2.1均匀采样变换263
13.2.2拒绝采样264
13.2.3重要性采样265
13.3马尔可夫链蒙特卡洛267
13.3.1MetropolisHastings采样267
13.3.2Gibbs采样269
13.3.3切片采样271
13.3.4哈密尔顿蒙特卡洛采样274
思考与计算277
参考文献278
第14章强化学习280
14.1基本概念与理论基础281
14.2规划: 有环境模型的预测与控制286
14.2.1策略迭代287
14.2.2值迭代288
14.3无环境模型的控制: 基于值函数290
14.3.1蒙特卡洛控制291
14.3.2时序差分控制: SARSA292
14.3.3基于Q学习的异策略控制293
14.3.4基于Q学习的深度Q网络控制295
14.4无环境模型的控制: 基于策略296
14.4.1蒙特卡洛策略梯度法和REINFORCE算法297
14.4.2行动者—评论者算法299
思考与计算300
参考文献301
附录A近邻法302
A.1近邻法302
A.2近邻法的错误率分析302
A.3k近邻法305
参考文献306
附录B决策树307
B.1基本原理307
B.2信息增益和信息增益比309
B.3代表性算法311
参考文献313
附录C向量微积分314
C.1向量微分314
C.1.1常用定义314
C.1.2求导规则316
C.2向量积分319
参考文献322
附录D随机变量的变换323
D.1概率密度中的变量变换323
D.2期望中的变量变换326
参考文献327

模式识别与机器学习系统介绍了模式识别与机器学习的基础理论、模型与算法，同时兼顾了前沿知识的适当融入。本书以贝叶斯学习的思想贯穿始终，并适时与其他重要知识点（如支持向量机、深度学习）等进行交叉和关联，便于读者在形成良好知识体系的同时保持对整个领域知识的全面把握。 全书共14章和4个附录，循序渐进地对模式识别与机器学习领域进行剖析。首先介绍贝叶斯学习基础、逻辑回归、概率图模型基础、隐马尔可夫模型和条件随机场，接着介绍支持向量机、人工神经网络与深度学习、高斯过程、聚类、主成分分析与相关的谱方法，*后介绍确定性近似推理、随机近似推理和强化学习。附录包括传统的模式识别与机器学习方法近邻法和决策树，还有向量微积分和随机变量的变换等与本学科方向强相关的重要知识点。 本书内容深入浅出，生动有趣，力求反映这一领域的核心知识体系和新的发展趋势。每章内容都尽可能做到丰富完整，并附有思考与计算题，便于读者对知识的巩固和融会贯通。 本书适合作为本科生和研究生（硕/博）课程的教材，也可作为希望从事人工智能相关工作的科技工作者的自学参考书。

仕亮，清华大学博士，华东师范大学教授。在华东师范大学从事研究工作，主讲本科和研究生“模式识别与机器学习”“高级机器学习”等课程，并在英国伦敦大学学院、美国哥伦比亚大学从事访问合作研究。在模式识别与机器学习领域的国际著名期刊和会议发表学术论文100余篇，承担多项、省部级科研项目及国际知名企业的合作研究项目，研究成果多次获得省部级科学技术奖励。

赵静，华东师范大学博士，讲师。从事模式识别与机器学习领域的研究，包括概率模型、贝叶斯学习、近似推理与优化。主讲研究生“高级机器学习”和本科生“可信机器学习”等课程。入选上海市2016年度“扬帆计划”和2019年度“晨光计划”。发表论文近20篇，代表性成果发表于JMLR、T-CYB、IJCAI等国际期刊和会议。