机器学习方法

2012年《统计学习方法 (第 1版)》出版，内容涵盖监督学习的主要方法， 2019年第 2版出版，增加了无监督学习的主要方法，都属于传统机器学习。在这段时间里，机器学习领域发生了巨大变化，深度学习在人工智能各个应用方向取得了巨大突破，成为机器学习的主流技术，彻底改变了机器学习的面貌。有些读者希望能看到与之前风格相同的讲解深度学习的书籍，这也触发了作者在原来《统计学习方法》的基础上增加深度学习内容的想法（计划今后再增加强化学习）。从 2018年开始，历时 3年左右，完成了深度学习的写作。
考虑到内容的变化，现将书名更改为《机器学习方法》。第 1篇监督学习和第 2篇无监督学习基本为原来的内容，增加第 3篇深度学习，希望对读者有所裨益。传统机器学习是深度学习的基础，所以将这些内容放在一本书里讲述也有其合理之处。虽然深度学习目前是大家关注的重点，但传统机器学习仍然有其不容忽视的地位。事实上，传统机器学习和深度学习各自有更适合的应用场景，比如，深度学习长于大数据、复杂问题的预测，特别是人工智能的应用；传统机器学习善于小数据、相对简单问题的预测。
本书的定位是讲解机器学习的基本内容，并不完全是入门书。介绍的内容都是基本的，在这种意义上适合初学者。但主旨是把重要的原理和方法做系统的总结，方便大家经常阅读和复习。在写第 3篇的时候也接受大家对第 1篇和第 2篇的反馈意见，在力求文字简练清晰的同时，也确保叙述的详尽明了，以方便读者理解。在各章方法的导入部分适当增加了背景和动机的介绍。
第 3篇中使用的数学符号与第 1篇和第 2篇有一定的对应关系，但由于深度学习的特点也有一些改变，也都能自成体系。将符号完全统一于一个框架内还需要做大量的工作，希望在增加第 4篇强化学习之后再做处理。
对第 3篇的原稿，郑诗源、张新松等帮助做了校阅，对一些章节的内容提出了宝贵的意见。责任编辑王倩也为本书的出版做了大量工作。在此对他们表示衷心的感谢。
李航 
2021年 5月 27日

机器学习是以概率论、统计学、信息论、**化理论、计算理论等为基础的计算机应用理论学科，也是人工智能、数据挖掘等领域的基础学科。《机器学习方法》全面系统地介绍了机器学习的主要方法，共分三篇。篇介绍监督学习的主要方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与**熵模型、支持向量机、Boosting、EM算法、隐马尔可夫模型、条件随机场等；第二篇介绍无监督学习的主要方法，包括聚类、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配、PageRank算法等。第三篇介绍深度学习的主要方法，包括前馈神经网络、卷积神经网络、循环神经网络、序列到序列模型、预训练语言模型、生成对抗网络等。书中每章介绍一两种机器学习方法，详细叙述各个方法的模型、策略和算法。从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。目的是使读者能学会和使用这些机器学习的基本技术。为满足读者进一步学习的需要，书中还对各个方法的要点进行了总结，给出了一些习题，并列出了主要参考文献。 《机器学习方法》是机器学习及相关课程的教学参考书，适合人工智能、数据挖掘等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

李航，字节跳动科技有限公司人工智能实验室总监， IEEE会士、ACL会士、ACM杰出科学家、CCF杰出会员。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。李航于1988年从日本京都大学电气工程系毕业，1998年获得日本东京大学计算机科学博士。他1990年至2001年就职于日本NEC公司中央研究所，任研究员；2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员；2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。李航一直活跃在相关学术领域，曽出版过四部学术专著，并在国际学术会议和国际学术期刊上发表过120多篇学术论文，包括SIGIR, WWW, WSDM, ACL, EMNLP, ICML, NIPS, SIGKDD, AAAI, IJCAI，以及NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST等。他和同事的论文获得了KDD2008应用论文奖，他指导的学生获得了SIGIR2008，ACL2012学生论文奖。李航参与了多项产品开发，包括Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012，拥有42项授权美国专利。李航还在国际学术会议和国际学术期刊担任许多重要工作，如大会程序委员会主席，资深委员，及委员，期刊编委，包括SIGIR, WWW, WSDM, ACL, NAACL, EMNLP, NIPS,SIGKDD, ICDM, ACML, IJCAI, IRJ, TIST, JASIST, JCST等。

第1篇 监 督 学 习

第1章   机器学习及监督学习概论 3 

11机器学习 3 

12机器学习的分类 5 

121基本分类 5 

122按模型分类  10 

123按算法分类  11 

124按技巧分类  12 

13机器学习方法三要素  13 

131模型  13 

132策略  14 

133算法  16 

14模型评估与模型选择  17 

141训练误差与测试误差  17 

142过拟合与模型选择  18 

15正则化与交叉验证  20 

151正则化  20 

152交叉验证  20 

16泛化能力  21 

161泛化误差  21 

162泛化误差上界  22 

17生成模型与判别模型  24 

18监督学习应用  24 

181分类问题  24 

182标注问题  26 

183回归问题  27
本章概要 28
继续阅读 29
习题 29
参考文献 29 

VIII机器学习方法
第 2章感知机 30 

21感知机模型  30 

22感知机学习策略  31 

221数据集的线性可分性  31 

222感知机学习策略  31 

23感知机学习算法  32 

231感知机学习算法的原始形式 33 

232算法的收敛性  35 

233感知机学习算法的对偶形式 37
本章概要 39
继续阅读 40
习题 40
参考文献 40

第 3章 k近邻法  41 

31 k近邻算法  41 

32 k近邻模型  42 

321模型  42 

322距离度量  42 

323 k值的选择  43 

324分类决策规则  44 

33 k近邻法的实现：kd树  44 

331构造 kd树  45 

332搜索 kd树  46
本章概要 48
继续阅读 48
习题 48
参考文献 49

第 4章朴素贝叶斯法 50 

41朴素贝叶斯法的学习与分类  50 

411基本方法  50 

412后验概率化的含义 51 

42朴素贝叶斯法的参数估计  52 

421极大似然估计  52 

422学习与分类算法  53 

423贝叶斯估计  54
本章概要 55
继续阅读 56 

目录 IX
习题 56
参考文献 56

第 5章决策树 57 

51决策树模型与学习  57 

511决策树模型  57 

512决策树与 if-then规则  58 

513决策树与条件概率分布 58 

514决策树学习  58 

52特征选择  60 

521特征选择问题  60 

522信息增益  61 

523信息增益比  64 

53决策树的生成  64 

531 ID3算法  65 

532 C45的生成算法  66 

54决策树的剪枝  66 

55 CART算法  68 

551 CART生成  69 

552 CART剪枝  72
本章概要 74
继续阅读 75
习题 75
参考文献 75

第 6章逻辑斯谛回归与熵模型 77 

61逻辑斯谛回归模型  77 

611逻辑斯谛分布  77 

612二项逻辑斯谛回归模型 78 

613模型参数估计  79 

614多项逻辑斯谛回归  79 

62熵模型  80 

621熵原理  80 

622熵模型的定义  82 

623熵模型的学习  83 

624极大似然估计  86 

63模型学习的化算法  87 

631改进的迭代尺度法  87 

632拟牛顿法  90 

机器学习方法
本章概要 91
继续阅读 92
习题 92
参考文献 93

第 7章支持向量机  94 

71线性可分支持向量机与硬间隔化 94 

711线性可分支持向量机  94 

712函数间隔和几何间隔  96 

713间隔化  97 

714学习的对偶算法  101 

72线性支持向量机与软间隔化  106 

721线性支持向量机  106 

722学习的对偶算法  107 

723支持向量  110 

724合页损失函数  111 

73非线性支持向量机与核函数  112 

731核技巧  112 

732正定核  115 

733常用核函数  118 

734非线性支持向量分类机  120 

74序列小化算法  121 

741两个变量二次规划的求解方法  122 

742变量的选择方法  124 

743 SMO算法  126
本章概要  127
继续阅读  129
习题  129
参考文献  129

第 8章 Boosting  131 

81 AdaBoost算法  131 

811 Boosting的基本思路  131 

812 AdaBoost算法  132 

813 AdaBoost的例子  134 

82 AdaBoost算法的训练误差分析  135 

83 AdaBoost算法的解释  137 

831前向分步算法  137 

832前向分步算法与 AdaBoost  138 

目录 XI 
84提升树  140 

841提升树模型  140 

842提升树算法  140 

843梯度提升  144
本章概要  145
继续阅读  146
习题  146
参考文献  146

第 9章 EM算法及其推广  148 

91 EM算法的引入  148 

911 EM算法  148 

912 EM算法的导出  151 

913 EM算法在无监督学习中的应用  153 

92 EM算法的收敛性  153 

93 EM算法在高斯混合模型学习中的应用  154 

931高斯混合模型  155 

932高斯混合模型参数估计的 EM算法  155 

94 EM算法的推广  158 

941 F函数的极大-极大算法  158 

942 GEM算法  160
本章概要  161
继续阅读  162
习题  162
参考文献  162

第 10章隐马尔可夫模型 163 

101隐马尔可夫模型的基本概念  163 

1011隐马尔可夫模型的定义  163 

1012观测序列的生成过程  166 

1013隐马尔可夫模型的 3个基本问题  166 

102概率计算算法  166 

1021直接计算法  166 

1022前向算法  167 

1023后向算法  169 

1024一些概率与期望值的计算  170 

103学习算法  172 

1031监督学习方法  172 

1032 Baum-Welch算法  172 

XII机器学习方法 
1033 Baum-Welch模型参数估计公式  174 

104预测算法  175 

1041近似算法  175 

1042维特比算法  176
本章概要  179
继续阅读  179
习题  180
参考文献  180

第 11章条件随机场  181 

111概率无向图模型  181 

1111模型定义  181 

1112概率无向图模型的因子分解  183 

112条件随机场的定义与形式  184 

1121条件随机场的定义  184 

1122条件随机场的参数化形式  185 

1123条件随机场的简化形式  186 

1124条件随机场的矩阵形式  187 

113条件随机场的概率计算问题  189 

1131前向-后向算法  189 

1132概率计算  189 

1133期望值的计算  190 

114条件随机场的学习算法  191 

1141改进的迭代尺度法  191 

1142拟牛顿法  194 

115条件随机场的预测算法  195
本章概要  197
继续阅读  198
习题  198
参考文献  199

第 12章监督学习方法总结  200

第 
2篇
无
监
督
学
习

无监学习
第 13章无监督学习概论 207 

131无监督学习基本原理  207 

132基本问题  208 

133机器学习三要素  210 

134无监督学习方法  210 

目录 XIII
本章概要  214
继续阅读  215
参考文献  215

第 14章聚类方法 216 

141聚类的基本概念  216 

1411相似度或距离  216 

1412类或簇  219 

1413类与类之间的距离  220 

142层次聚类  220 

143 k均值聚类  222 

1431模型  222 

1432策略  223 

1433算法  224 

1434算法特性  225
本章概要  226
继续阅读  227
习题  227
参考文献  227

第 15章奇异值分解  229&