机器学习

前言

这是一本面向中文读者的机器学习教科书,为了使尽可能多的读者通过本书对机器学习有所了解,
作者试图尽可能少地使用数学知识.然而，少量的概率、统计、代数、优化、逻辑知识似乎不可避免.
因此,本书更适合大学三年级以上的理工科本科生和研究生,以及具有类似背景的对机器学习感兴趣
的人士.为方便读者,本书附录给出了一些相关数学基础知识简介.

全书共16章,大体上可分为3个部分:第1部分包括第1~3章,介绍机器学习基础知识;第2部
分包括第4~10章,介绍- -些经 典而常用的机器学习方法;第3部分包括第11~16章,介绍- -些进阶知
识前3章之外的后续各章均相对独立,读者可根据自己的兴趣和时间情况选择使用.根据课时情况,
一个学期的本科生课程可考虑讲授前9章或前10章;研究生课程则不妨使用全书
。

书中除第1章外,每章都给出了十道习题.有的习题是帮助读者巩固本章学习,有的是为了引导读
者扩展相关知识。一学期的一般课程可使用这些习题，再辅以两到三个针对具体数据集的大作业.带
星号的习题则有相当难度，有些并无现成答案，谨供富有进取心的读者启发思考.

本书在内容上尽可能涵盖机器学习基础知识的各方面,但作为机器学习入门读物且因授课时间的
考虑，很多重要、前沿的材料未能覆盖,即便覆盖到的部分也仅是管中窥豹，更多的内容留待读者在
进阶课程中学习.为便于有兴趣的读者进一步钻研探索，本书每章均介绍了-些阅读材料,谨供读者
参考.

笔者以为,对学科相关的重要人物和事件有一-定 了解,将会增进读者对该学科的认识本书在每
章后都写了一个与该章内容相关的小故事,希望有助于读者增广见闻，并且在紧张的学习过程中稍
微放松调剂一下.

书中不可避免地涉及大量外国人名,若全部译为中文,则读者在日后进一-步阅读 文献时或许会对
不少人名产生陌生感,不利于进一步学习.因此,本书仅对- -般读者耳熟能详的名字如“图灵”等加
以直接使用，对故事中的一些主要人物给出了译名,其他则保持外文名.

机器学习发展极迅速，目前已成为一个广袤的学科,罕有人士能对其众多分支领域均有精深理解.
笔者自认才疏学浅，仅略知皮毛,更兼时间和精力所限，书中错谬之处在所难免,若蒙读者诸君不吝告
知,将不胜感激.

                                                                              周志华
                                                                             2015年6月

机器学习是计算机科学的重要分支领域. 本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面. 全书共 16 章，大致分为 3 个部分：第 1 部分（第 1～3 章）介绍机器学习的基础知识；第 2 部分（第 4～10 章）讨论一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第 3 部分（第 11～16 章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等. 每章都附有习题并介绍了相关阅读材料，以便有兴趣的读者进一步钻研探索. 
本书可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考.

机器学习是计算机科学的重要分支领域. 本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面. 全书共 16 章，大致分为 3 个部分：第 1 部分（第 1～3 章）介绍机器学习的基础知识；第 2 部分（第 4～10 章）讨论一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第 3 部分（第 11～16 章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等. 每章都附有习题并介绍了相关阅读材料，以便有兴趣的读者进一步钻研探索. 
本书可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考.

周志华 教授，南京大学计算机系主任、人工智能学院院长、校学术委员会委员。欧洲科学院外籍院士。人工智能相关五大主流国际学会ACM、AAAI、AAAS、IEEE、IAPR均入选Fellow的首位华人学者，中国计算机学会、中国人工智能学会会士。曾获IEEE计算机学会Edward J. McCluskey技术成就奖、CCF王选奖等。

目录

第1章绪论

1.1引言

1.2 基本术语
2

1.3 假设空间

1.4 归纳偏好
6

1.5发展历程
10

1.6 应用现状
13

1.7阅读材料
16
习题
19

参考文献
20

休息一会儿22

第2章模型评估与选择
23

2.1经验误差与过拟合23

2.2 评估方法
24

2.3 性能度量
28

2.4 比较检验
37

2.5偏差与方差
44

2.6 阅读材料
46

习题
48

参考文献
49

休息一会儿
51

第3章线性模型
53

3.1基本形式
53

3.2 线性回归
53

3.3对数几率回归
57

3.4线性判别分析
60

3.5多分类学习
63

3.6类别不平衡问题66

3.7阅读材料
67

习题6
9

参考文献
70

休息一会儿

第4章决策树
73

4.1 基本流程
73

4.2划分选择
75

4.3剪枝处理
79

4.4连续 与缺失值
83

4.5多变量决策树
88

4.6阅读材料
92

习题
93
参考文献
94
休息-会儿
95

第5章神经网络

5.1 神经元模型

5.2感知机与多层网络
98

5.3误差逆传播算法
101

5.4全局小与局部极小
106

5.5其他常见神经网络
l08

5.7阅读材料
115
习题
116

参考文献
117

休息一-会儿
120

第6章支持向量

6.1间隔与支持向量

1216.2对偶问题123

6.3核函数
126

6.4软间隔与正则化129
6.5支持向量回归133

6.6 核方法
137

6.7阅读材料
139

习题
141

参考文献142
休息一会儿
145

第7章贝叶斯分类器

7.1贝叶斯决策论
147

7.2 极大似然估计
149

7.3朴素贝叶斯分类器
150

7.4半朴素贝叶斯分类器
154

7.5贝叶斯网
156
7.6EM算法

7.7阅读材料
164

习题
166

参考文献
167

休息一会儿
169

第8章集成学习

8.1个体与集成171

8.2 Boosting
173

8.3 Bagging与随机森林

8.5多样性

8.6阅读材料190

习题
192

参考文献
193

休息一会儿
196

第9章聚类

9.1聚类任务

9.2性能度量
197

9.3距离计算
199

9.4原型聚类
202

9.5密度聚类

9.6层次聚类
214

9.7
阅读材料
217

习题
220

参考文献

休息一-会儿
224

第10章降维与度量学习
225

10.1 k近邻学习
10.2 低维嵌入
226

10.3
主成分分析
229

10.4核化线性降维
232

10.5流形学习
234

10.6 度量学习

10.7阅读材料
240

习题
242

参考文献
243

休息一会儿
246

第11章特征选择与稀疏学习
11.1子集搜索与评价
247

11.2
过滤式选择
249

11.3包裹式选择
250

11.4嵌入式选择与L正则化
252

11.5稀疏表示与字典学习

11.6压缩感知
257

11.7
阅读材料

习题
262

参考文献

休息一会儿

第12章计算学习理论

12.1
基础知识267

12.2 PAC学习
268

12.3有限假设空间270

12.4
VC维
273
12.5 Radenacher复杂度

12.6稳定性
279

12.7阅读材料
284

习题
287

参考文献
289

休息一会儿
290

第13章半监督学习.
13.1未标记样本
293

13.2生成式方法295
13.3半监督SVM2958
13.4
图半监督学习
300

13.5
基于分歧的方法304
13.6半监督聚类307
13.7阅读材料311
习题
313
参考文献
314

休息一会儿
317

第14章概率图模型.
14.1
隐马尔可夫模型
319

14.2马尔可夫随机场
322

14.3 条件随机场325
14.4学习与推断
328

14.5近似推断

14.6话题模型
3317
14.7阅读材料

习题
3341
参考文献
342
休息一会儿345

第15章
15.1基本概念
347

15.2序贯覆盖
349

15.3剪枝优化
352

15.4一阶规则学习354
15.5归纳逻辑程序设计
357

15.6阅读材料
363
习题
365
参考文献
366
休息一会儿
369

第16章强化学习

16.1
任务与奖赏

16.2 K描臂赌博机

16.3 有模型学习

16.4免模型学习

16.5值函数近似
16.6模仿学习

16.7阅读材料

习题

参考文献

休息一会儿

附录

A矩阵

B优化

C概率分布

后记
417

索引419

机器学习是计算机科学的重要分支领域. 本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面. 全书共 16 章，大致分为 3 个部分：第 1 部分（第 1～3 章）介绍机器学习的基础知识；第 2 部分（第 4～10 章）讨论一些经典而常用的机器学习方法（决策树、神经网络、支持向量机、贝叶斯分类器、集成学习、聚类、降维与度量学习）；第 3 部分（第 11～16 章）为进阶知识，内容涉及特征选择与稀疏学习、计算学习理论、半监督学习、概率图模型、规则学习以及强化学习等. 每章都附有习题并介绍了相关阅读材料，以便有兴趣的读者进一步钻研探索. 
本书可作为高等院校计算机、自动化及相关专业的本科生或研究生教材，也可供对机器学习感兴趣的研究人员和工程技术人员阅读参考.

周志华 教授，南京大学计算机系主任、人工智能学院院长、校学术委员会委员。欧洲科学院外籍院士。人工智能相关五大主流国际学会ACM、AAAI、AAAS、IEEE、IAPR均入选Fellow的首位华人学者，中国计算机学会、中国人工智能学会会士。曾获IEEE计算机学会Edward J. McCluskey技术成就奖、CCF王选奖等。