【现货速发】机器学习与智能感知

机器学习与智能感知是当前计算机与自动化领域的热门方向，也是未来的主要研究方向之一。各行各业都会应用机器学习方法解决问题。作者结合长期的科研经验完成本书。机器学习算法大多与线性代数和矩阵相关，在此认为读者已经掌握基础的数学知识。本书介绍了机器学习的主要原理和方法，以及最新进展，内容包括机器学习的发展史、决策树学习、PAC模型、贝叶斯学习、支持向量机、AdaBoost、压缩感知、子空间、神经网络与深度学习、调制压缩神经网络、批量白化技术、正交权重矩阵和强化学习。
本书在介绍其余书籍所涉及的基本知识的基础上，加入了许多前沿的算法和原理，希望读者不仅可以学习这些基础知识，更希望这些知识对读者的研究方向有所启发。基于此，我们在编写本书过程中做了两方面工作： 一方面，从易于读者学习的角度逐步讲解诸如决策树学习、贝叶斯学习、支持向量机、压缩感知以及深度学习等知识，本书重点强调实用性，在书中加入了大量的例子来实现算法，使得读者可以在学习示例的基础上学习算法和理论；另一方面，本书每章都是比较独立的一个整体，不仅包括传统的理论和方法，也融入了作者的一些算法和最近比较流行的机器学习理论，读者从中可以知道机器学习的新方向和新进展。
本书对最新的机器学习领域的成果进行了介绍，并对作者多年来的研究成果进行了总结。由于作者在分类器设计、人脸识别、视频理解、掌纹识别、工业场景图像检测方面进行了多年的研究并积累了丰富的经验，因此本书对该领域的研究人员具有一定的启发作用。
丁嵘撰写了随机森林部分，并对相关章节进行了修订。黄雷撰写了深度学习中的批量白化技术以及正交权重矩阵章节，并对其他部分章节进行了修订。王田修订了调制压缩神经网络部分，概述了神经网络模型压缩方法，对全书进行了修订。张宝昌撰写了其余章节内容，并负责统稿工作。感谢王润琪、李宏、刘旭辉、刘博钰、耿书鹏、段晓玥、鲍宇翔和杨予光等对本书后期整理所做的大量工作。
由于时间仓促和能力有限，书中难免有纰漏，希望广大读者批评指正。

作者2022年11月

本书旨在通过对机器学习主要原理和方法的介绍，并且结合作者多年来在智能感知方面的研究成果，对其他书籍未涉及的一些前沿研究进行补充阐述。通过对基础理论循序渐进、深入浅出的讲解，读者能够更快速地掌握机器学习的基本方法，在此基础上每章内容由易到难，读者可以根据自己的掌握程度以及兴趣，选择特定的方向进行更深入的学习。 本书可作为有一定数学基础的人工智能专业的本科生和研究生教材，也可作为有志于钻研人工智能相关领域（包括机器学习和智能感知等方向）的读者的参考书。

第1章机器学习的发展史1
引言1
1.1机器学习1
1.1.1机器学习的定义和研究意义1
1.1.2机器学习的发展史3
1.1.3机器学习系统的基本结构4
1.1.4机器学习的分类5
1.1.5目前研究领域9
1.2统计模式识别问题9
1.2.1机器学习问题的表示10
1.2.2经验风险最小化11
1.2.3复杂性与推广能力12
1.3统计机器学习理论的核心内容13
1.3.1学习过程一致性的条件13
1.3.2推广性的界13
1.3.3结构风险最小化15
1.4解耦因果学习16
1.4.1因果学习17
1.4.2相关工作18
1.4.3解耦因果学习方法与应用18
1.5总结21
课后习题21

第2章决策树学习22
引言22
2.1决策树学习概述22
2.1.1决策树23
2.1.2性质24
2.1.3应用24
2.1.4学习24
2.2决策树设计25
2.2.1决策树的特点25
2.2.2决策树的生成25
2.3总结30
课后习题30

第3章PAC模型31
引言31
3.1基本的PAC模型31
3.1.1PAC简介31
3.1.2基本概念31
3.1.3问题框架32
3.2PAC模型样本复杂度分析33
3.2.1有限空间样本复杂度33
3.2.2无限空间样本复杂度34
3.3VC维计算35
3.4总结36
课后习题36

第4章贝叶斯学习37
引言37
4.1贝叶斯学习37
4.1.1贝叶斯公式37
4.1.2最小误差决策38
4.1.3正态密度38
4.1.4最大似然估计39
4.2朴素贝叶斯原理及应用40
4.2.1贝叶斯最佳假设原理40
4.2.2基于朴素贝叶斯的文本分类器40
4.3HMM（隐马尔可夫模型）及应用43
4.3.1马尔可夫性43
4.3.2马尔可夫链44
4.3.3转移概率矩阵44
4.3.4HMM（隐马尔可夫模型）及应用44
4.4总结48
课后习题49

第5章支持向量机50
引言50
5.1支持向量机概述50
5.1.1margin最大化50
5.1.2支持向量机优化51
5.2支持向量机的实例55
5.3支持向量机的实现算法55
5.4多类支持向量机57
5.5总结58
课后习题58

第6章AdaBoost59
引言59
6.1AdaBoost与目标检测59
6.1.1AdaBoost算法59
6.1.2AdaBoost训练61
6.1.3AdaBoost实例62
6.2具有强鲁棒性的实时目标检测63
6.2.1Haarlike矩形特征选取63
6.2.2积分图63
6.2.3训练结果64
6.2.4级联64
6.3随机森林65
6.3.1原理阐述66
6.3.2算法详解66
6.3.3算法分析67
6.4总结67
课后习题68

第7章压缩感知69
引言69
7.1压缩感知理论框架69
7.2压缩感知的基本理论及核心问题70
7.2.1压缩感知的数学模型70
7.2.2信号的稀疏表示70
7.2.3信号的观测矩阵71
7.2.4信号的重构算法72
7.3压缩感知的应用72
7.3.1应用72
7.3.2人脸识别73
7.4总结74
课后习题75

第8章子空间76
引言76
8.1基于主成分分析的特征提取76
8.2数学模型78
8.3主成分的数学上的计算78
8.3.1两个线性代数的结论78
8.3.2基于协方差矩阵的特征值分解79
8.3.3主成分分析的步骤80
8.4主成分分析的性质80
8.5基于主成分分析的人脸识别方法81
8.6总结82
课后习题82

第9章神经网络与深度学习83
引言83
9.1神经网络及其主要算法83
9.1.1前馈神经网络83
9.1.2感知器83
9.1.3反向传播算法85
9.2深度学习87
9.2.1深度学习算法基础与网络模型87
9.2.2深度学习算法原理88
9.2.3卷积神经网络算法原理91
9.3深度学习网络模型94
9.3.1深度学习网络架构94
9.3.2网络模型优化95
9.3.3代表性的网络模型97
9.4总结102
课后习题102

第10章调制压缩神经网络103
引言103
10.1神经网络模型压缩概述103
10.1.1量化与二值化104
10.1.2剪枝与共享104
10.2调制压缩神经网络106
10.3损失函数107
10.4前向卷积108
10.4.1重构卷积核108
10.4.2调制网络的前向卷积过程109
10.5调制卷积神经网络模型的梯度反传110
10.6MCN网络的实验验证112
10.6.1模型收敛效率114
10.6.2模型时间分析114
10.6.3实验结果114
课后习题115

第11章批量白化技术116
引言116
11.1批量标准化技术116
11.2批量白化方法117
11.2.1随机坐标交换问题117
11.2.2ZCA白化119
11.3批量白化模块121
11.4分析和讨论123
11.4.1提高模型的条件情况123
11.4.2近似的动态等距性124
11.5总结124
课后习题125

第12章正交权重矩阵126
引言126
12.1多个依赖的Stiefel流优化126
12.2正交权重矩阵的特性127
12.2.1稳定激活值的分布127
12.2.2规整化神经网络127
12.3正交权重标准化技术128
12.3.1设计正交变换128
12.3.2反向传播129
12.3.3正交线性模块130
12.4实验与分析131
12.4.1求解多个依赖的Stiefel流优化问题方法比较131
12.4.2多层感知机实验133
12.4.3ImageNet 2012大规模图像数据分类实验134
12.5总结135
课后习题135

第13章强化学习136
引言136
13.1AlphaGo技术136
13.2强化学习概述139
13.3强化学习过程140
13.3.1马尔可夫性140
13.3.2奖励141
13.3.3估价函数141
13.3.4动态规划141
13.3.5蒙特卡罗方法142
13.3.6时序差分学习143
13.4Q学习算法144
13.4.1Q学习算法介绍144
13.4.2奖励145
13.4.3Q学习算法的改进147
13.5程序实现148
课后习题151

参考文献152

本书旨在通过对机器学习主要原理和方法的介绍，并且结合作者多年来在智能感知方面的研究成果，对其他书籍未涉及的一些前沿研究进行补充阐述。通过对基础理论循序渐进、深入浅出的讲解，读者能够更快速地掌握机器学习的基本方法，在此基础上每章内容由易到难，读者可以根据自己的掌握程度以及兴趣，选择特定的方向进行更深入的学习。 本书可作为有一定数学基础的人工智能专业的本科生和研究生教材，也可作为有志于钻研人工智能相关领域（包括机器学习和智能感知等方向）的读者的参考书。

本书强调基础知识与前沿研究的无缝衔接，从机器学习基础、深度学习理论与应用逐步深入，内容由易到难,循序渐进。  
本书强调理论与实践的有效结合，引入大量案例讲解算法，使读者可以在学习案例的基础上更好地学习算法和理论。 
本书整体逻辑严密，各章节又相对独立，不仅包括传统的理论和方法，也融入了一些新的算法和比较流行的机器学习理论，使读者了解机器学习的新方向和新发展。 
本书可以作为计算机科学与技术、人工智能、智能科学与技术等专业的教学用书，也可以作为对机器学习感兴趣的读者的参考书。 
本书配套教学课件，读者可从清华大学出版社网站下载使用。