人工智能的数学基础

人类区别于地球其他生物的显著特征是具有创造并使用工具的能力。这是人类智慧的象征，也是人类智能的体现。通常，人类对于自己拥有的智能习以为常，并将其称为本能或潜意识。除此之外，人类对于自己表现出的智能一无所知。我们无法解释人类智能是如何得来的，更无法讲清楚自己是如何处理日常生活及做出正确决策的。
但是，我们可以通过人类固有的创造工具、使用工具的智慧，改造机器，特别是计算机程序，使其针对某一特定问题尽可能地产生与人类智能决策相似的结果。在早期很长一段时间内，人工智能被定义为具有一定逻辑推理能力的计算机程序。我们将这一时期称为前人工智能时代。时至今日，我们将当前这一基于数据统计分析从历史数据中发现规律、规则、模式的时代称为弱人工智能时代。这一时代的智能可以归纳为以数据分析为基础的辅助人类决策的自动化程序。可以预见，在不久的将来，可将人类知识用于约束机器经验知识的学习过程，从而增强结果的可解释性，进入使计算机具有与人类大脑相匹配的逻辑分析能力的强人工智能时代。即便是强人工智能时代，机器的逻辑分析能力仍然建立在人类先验知识的指导下，是对人类大脑分析处理问题能力的近似模拟，这也正是人工智能中“人工”二字的真正含义。
正因如此，有研究认为，人工智能就是用于模仿人类思考、行为、感知、学习的计算程序。实际上，人工智能不只是计算机程序，还应该包括工业自动化控制、机器人学等。在不考虑伦理学束缚的情况下，只有多个学科通力合作，赋予机器更多的除计算分析以外的行为能力、情感能力，甚至于使其产生一定的自我意识，才能实现真正的机器智能。
作为基础学科，数学在人工智能领域，特别是智能算法领域，起着举足轻重的作用。这是因为，数学是人类智慧的精华，是人类表达自己思维方式的有效手段，是当前以统计与计算为基础的弱人工智能发展与进步的基石。人工智能领域的数学涵盖微积分、线性代数与矩阵分析、概率论与数理统计、泛函分析、化理论等多个数学分支。只有打好扎实的数学基础，才能深入理解智能算法的本质，正确运用已有的智能算法，发现其中可能存在的问题，并将自己的聪明才智引入其中，从而推动学科的发展。冯朝路副教授自2007年跟随我攻读硕士学位以来，一直在人工智能领域从事相关研究工作。众多门生中，他喜欢刨根问底，对问题的理解也深入。这一优秀品质使得他在相关领域取得了一系列代表性成果。本书基本上涵盖了人工智能领域涉及的数学知识，并结合实例对相关知识点进行了深入浅出的讲解。本书必将成为其在相关领域的又一代表性著作，也必将对人工智能相关专业的人才培养起到积极的推动作用。

教授于2022年2月8日〖3〗人工智能的数学基础

对于多数人来说，数学枯燥无味，却又不得不学。从小到大，总有人在耳边不断强调其重要性。回忆童年，除了对父母的声呼唤以外，我们被教授的个概念就是有与无，然后是对自然数的认知。上小学后，数学老师教我们加减乘除运算。背诵九九乘法口诀是每个人童年回忆中不可或缺的元素。读初中后，包括有理数、无理数、一元二次方程、平面几何在内的数学知识步入我们的学习生活。到了高中，三角函数、复数、不等式、数列、解析几何不知让多少学生为之抓狂。更有甚者，不少学生因数学成绩不好而影响高考择校。步入大学，包括高等数学、线性代数、概率论与数理统计在内，数学门类更多、知识点更宽更深，为大学生挂科率做出了突出“贡献”。直到毕业前，甚至于参加工作以后，很多人仍然迷茫“数学有用”是不是亲爱的老师们编织的“谎言”。
本书作者还是要继续强调数学的重要性。这是因为，数学是人类智慧的结晶，是人类智慧皇冠上璀璨的明珠，是人类科技进步的根基。数学基础理论的稳步发展或者某个数学难题的突破性进展往往会推动多个相关学科的飞跃式发展，人工智能也不例外。起源于20世纪50年代的人工智能技术，经历了两次高潮、两次低谷。次高潮以智力游戏为代表的逻辑推理智能为主。第二次高潮以机器翻译为代表的知识库智能为主。早在次高潮时期，就有“二十年内，机器将能完成人能做到的一切”的激进论断。但是，计算机计算性能的不足、人工智能算法的普适性不强、数据量不足是导致人工智能在前两次高潮后均遭遇低谷的重要原因。随着7nm晶体管的商业化，特别是通用可编程图形硬件的发展，计算机的计算能力得到飞跃式提升。另外，网络化、数字化的生活为数据的产生提供了温床。由此产生的数据包含大量有用但需要挖掘的信息。基于此，人工智能人工智能包括: 工业智能与智能算法。本书的人工智能均指的是智能算法。自21世纪个10年以来，正处于依模式识别为代表的基于经验数据的第三次高潮期。2019年，我国批35所高校获批“人工智能”本科专业，并开始招生。火热的高潮吸引着诸多科研工作者、程序员、学生的眼球，使他们心生向往。更有观点认为人工智能超过人类智能的时间点，又称奇点，为2045年。但接触过相关知识的初学者往往因其涉及较多数学门类、知识过于繁杂，望而却步。曾经的踌躇满志、信心满怀，被数学的现实打击得支离破碎。多数人半途而废，倒在探索的路上。坚持下来的人只能独立在多个数学门类中穿梭，结合人工智能算法涉及的知识点，重拾那些曾经让自己“魂牵梦萦”的数学原理。数学门类的多样性、知识点的发散性，大大阻碍了学习效果。书籍是知识传播的途径之一。基于此，本书着眼于人工智能核心算法涉及的数学知识，立足于为读者全面系统地进行梳理，提供深入浅出的讲解，希望起到抛砖引玉的作用，让数学的学习变得有针对性，使读者觉得学习数学是有趣的，而不是枯燥乏味的。
鉴于时间仓促且作者自识水平有限，本书内容难免存在疏漏与不足之处，若蒙读者不吝告知，甚是感激。相关内容请发电子邮件到fengchaolu@cse.neu.edu.cn，以便再版时修正或补充。
感谢我的母亲帮忙照顾我可爱的女儿，为我解决了生活的后顾之忧！感谢岳母的唠叨，给了我写作之外的生活的真实！计划编写本书时值我女儿百天之日。编写过程中，感谢我的妻子与女儿近五百个日日夜夜的陪伴。多少个夜晚想要放弃编写，她们安然熟睡的笑脸，给了我提起精神、继续写作的动力。谨以此书献给我的妻子和女儿。

副教授2022年2月8日

本书详细介绍了人工智能领域涉及的数学基础，对于每个问题尽可能给出足够详尽的证明过程，以帮助读者深入理解智能算法的原理。本书内容涉及线性代数、高等数学、概率论、**化等多个数学分支内的重要知识点。采用公式推导、图表示例、应用举例相结合的方式，以翔实的语言、全新的视角，帮助读者理解其中的关键知识点。 全书共分为10章: 第1章、第3章、第4章详细介绍与人工智能算法相关的向量与矩阵分析、函数与泛函分析、概率与数理统计的数学基础。第2章介绍可用于评定不同待观测样本相似程度的度量方法。第5章重点介绍人工智能领域涉及的信息论知识。第6章结合实例介绍线性分析与卷积的数学基础。第7章详细介绍与模型正则化及范数相关的数学基础知识。第8章介绍目标函数**化相关数学知识。第9章重点介绍核函数映射相关内容。第10章介绍数据驱动人工智能模型性能评价与度量相关知识。 本书适合人工智能专业的学生、对人工智能感兴趣的学者、正在从事人工智能应用开发的工程师，以及其他想深入了解智能算法行之有效原因的读者参考阅读。

第1章特征向量与矩阵分析1
1.1标量1
1.2特征向量与特征空间2
1.2.1特征空间的正交性3
1.2.2特征向量的大小与方向3
1.3向量转置4
1.4向量加法4
1.5向量乘法5
1.5.1向量数乘5
1.5.2向量内积6
1.5.3向量外积8
1.5.4分量乘法8
1.6向量的线性相关性9
1.7矩阵分析与人工智能9
1.8矩阵转置11
1.9矩阵加法12
1.10矩阵乘法13
1.10.1矩阵数乘13
1.10.2矩阵内积14
1.10.3矩阵内积的外积展开15
1.10.4元素乘法15
1.11矩阵的特征值与特征向量16
1.12矩阵的秩17
1.12.1初等变换18
1.12.2初等矩阵19
1.13矩阵的逆19
1.14矩阵的分块操作22
1.15矩阵的迹24
1.16矩阵分解26
1.16.1LU分解26
1.16.2特征分解27
1.16.3奇异值分解29
〖3〗人工智能的数学基础目录〖3〗1.17二次型与正定矩阵30
1.18张量32
小结32
习题33
参考文献34
第2章相似性度量35
2.1相似性度量的重要性35
2.2相似性度量的多样性36
2.3闵氏距离37
2.3.1曼哈顿距离38
2.3.2欧氏距离39
2.3.3切比雪夫距离39
2.3.4曼切转换39
2.4马氏距离40
2.4.1维度相关问题41
2.4.2独立化处理41
2.4.3与欧氏距离的关系42
2.5余弦距离43
2.5.1夹角余弦43
2.5.2距离度量44
2.6汉明距离44
2.6.1严格定义44
2.6.2松弛定义45
2.7杰卡德距离45
2.7.1严格定义45
2.7.2松弛定义45
2.8皮尔森距离46
2.8.1相关系数46
2.8.2距离度量47
2.8.3局限性47
2.9斯皮尔曼距离48
2.9.1相关系数48
2.9.2距离度量49
2.10肯德尔距离50
2.10.1相关系数50
2.10.2距离度量51
小结52
习题52
参考文献53
第3章函数与泛函分析55
3.1集合55
3.1.1定义与表示56
3.1.2元素特性56
3.1.3集合运算57
3.1.4凸集分离定理58
3.2区间60
3.2.1定义与表示60
3.2.2元素特性61
3.2.3区间算术61
3.3函数映射62
3.3.1自变量与因变量63
3.3.2多元函数63
3.3.3复合函数64
3.3.4连续性、单调性、奇偶性65
3.3.5函数凸性与极值66
3.3.6激活函数68
3.4导数69
3.4.1函数可导与泰勒展开69
3.4.2求导法则72
3.4.3偏导数与雅可比矩阵73
3.4.4方向导数与梯度76
3.4.5Hessian矩阵与函数凸性77
3.4.6凸函数成立条件78
3.4.7散度79
3.5微积分79
3.5.1微分79
3.5.2密切圆与曲率81
3.5.3不定积分81
3.5.4定积分82
3.6泛函数分析83
3.6.1基函数与函数内积84
3.6.2特征值与特征函数84
3.6.3线性空间与线性映射85
3.6.4对偶空间与对偶基85
3.6.5希尔伯特空间86
小结87
习题88
参考文献89
第4章条件概率与贝叶斯90
4.1事件与概率90
4.1.1随机试验90
4.1.2样本空间90
4.1.3随机事件91
4.1.4概率91
4.1.5条件概率92
4.1.6事件独立性92
4.1.7全概率93
4.2随机变量及其概率分布93
4.2.1随机变量93
4.2.2概率分布94
4.2.3独立同分布94
4.3样本统计量95
4.3.1均值95
4.3.2样本方差96
4.3.3期望96
4.3.4概率方差97
4.3.5协方差97
4.3.6协方差矩阵98
4.4常见的概率分布98
4.4.1二项分布98
4.4.2泊松分布99
4.4.3指数分布与伽马分布99
4.4.4贝塔分布100
4.4.5高斯分布及其变形100
4.4.6其他分布103
4.5贝叶斯决策103
4.5.1离散型贝叶斯公式103
4.5.2连续型贝叶斯公式104
4.5.3小错误率贝叶斯决策105
4.5.4小风险贝叶斯决策107
4.5.5朴素贝叶斯分类108
4.6参数估计109
4.6.1估计量与估计值109
4.6.2点估计与区间估计109
4.6.3置信区间与水平110
4.6.4估计量的评价110
4.6.5矩估计111
4.6.6小二乘估计112
4.6.7似然估计112
4.6.8后验概率估计114
4.6.9贝叶斯估计与共轭分布114
4.7假设检验116
4.7.1原假设与备择假设116
4.7.2弃真与取伪116
4.7.3显著性水平与pvalue117
4.7.4双侧检验与单侧检验118
4.7.5代表性检验统计量与方法118
小结118
习题119
参考文献120
第5章信息论与熵121
5.1人工智能与信息论121
5.2特征编码122
5.2.1直接编码122
5.2.2Onehot编码123
5.2.3Dummy编码123
5.3压缩编码124
5.3.1聚类124
5.3.2特征降维124
5.3.3特征选择125
5.3.4稀疏编码126
5.3.5压缩感知127
5.4决策编码127
5.4.1假设空间128
5.4.2版本空间128
5.4.3决策平面128
5.4.4纠错输出码128
5.5决策解码129
5.5.1聚类129
5.5.2线性分类130
5.5.3纠错输出码130
5.5.4特征降维130
5.6自编码130
5.6.1恒等变换130
5.6.2欠完备自编码131
5.6.3稀疏自编码131
5.6.4收缩自编码器131
5.7不确定性与熵132
5.7.1定义与性质132
5.7.2联合熵133
5.7.3条件熵134
5.7.4交叉熵与损失函数135
5.7.5相对熵与KL散度136
5.8互信息136
5.8.1定义与性质137
5.8.2点互信息138
5.8.3与熵的关系138
小结139
习题140
参考文献141
第6章线性分析与卷积142
6.1线性分析142
6.1.1线性运算142
6.1.2线性空间142
6.1.3线性空间基143
6.1.4线性映射与变换143
6.1.5线性映射的矩阵表达144
6.1.6坐标变换144
6.2线性判别145
6.2.1判别函数145
6.2.2判别分析146
6.2.3非线性问题147
6.3卷积148
6.3.1定义148
6.3.2两个例子150
6.3.3性质151
6.3.4边界填充152
6.3.5步长153
6.3.6与线性变换的关系154
6.3.7几种特殊应用154
6.4池化154
6.4.1定义155
6.4.2作用与意义155
6.4.3与卷积的关系155
6.5反卷积156
6.5.1作用与意义156
6.5.2与线性变换的关系156
6.5.3卷积表示157
小结158
习题158
参考文献159
第7章正则化与范数160
7.1过拟合问题与正则化160
7.1.1泛化能力161
7.1.2过拟合与欠拟合161
7.1.3假设空间与归纳偏好161
7.1.4无免费午餐定理162
7.2硬正则化164
7.2.1数据归一化、标准化164
7.2.2提前终止训练166
7.2.3权值共享166
7.2.4池化167
7.2.5随机失效167
7.2.6集成学习168
7.2.7支持向量机169
7.3软正则化170
7.3.1损失函数170
7.3.2期望风险171
7.3.3经验风险172
7.3.4置信风险173
7.3.5VC维与置信风险173
7.3.6目标函数与支持向量机174
7.4范数正则化175
7.4.1定义与性质175
7.4.2向量范数175
7.4.3矩阵范数176
7.4.4关联关系178
小结178
习题179
参考文献179
第8章化理论与方法180
8.1化的意义与重要性180
8.2直接法181
8.2.1极值、值与驻点181
8.2.2一元函数182
8.2.3二元函数182
8.2.4多元函数183
8.3无约束迭代法183
8.3.1一般迭代法183
8.3.2下降迭代法183
8.4梯度法184
8.4.1一阶泰勒展开184
8.4.2柯西施瓦茨不等式184
8.4.3学习率与梯度降184
8.4.4速下降法185
8.4.5批量下降法与随机下降法185
8.5牛顿法186
8.5.1二阶泰勒展开与Hessian矩阵186
8.5.2一维线性搜索186
8.6拟牛顿法187
8.6.1Hessian逆的秩1修正188
8.6.2Hessian逆的秩2修正189
8.6.3秩1修正的逆190
8.6.4Hessian矩阵的近似及其变形191
8.7共轭梯度法193
8.7.1共轭向量与共轭方向193
8.7.2共轭方向法194
8.7.3共轭方向与梯度的正交关系196
8.7.4基于梯度的共轭方向生成198
8.8次梯度法201
8.8.1次梯度定义201
8.8.2次梯度取值201
8.8.3次梯度优化条件202
8.9坐标下降法202
8.9.1基本原理202
8.9.2解的可靠性203
8.9.3与共轭方向法的关系204
8.10约束优化205
8.10.1拉格朗日乘数法206
8.10.2KKT条件207
8.10.3拉格朗日对偶207
8.10.4强对偶成立的条件209
8.10.5一个实例212
小结214
习题215
参考文献216
附录216
第9章核函数映射219
9.1线性不可分问题219
9.2Cover定理221
9.2.1普通位置向量集221
9.2.2维度与线性可分的关系221
9.3核函数224
9.3.1Mercer定理225
9.3.2可组合扩展性226
9.3.3有效核的构造228
9.4多项式核228
9.4.1核矩阵的半正定性228
9.4.2齐次有序单项式向量空间229
9.4.3有序单项式向量空间231
9.4.4齐次无序单项式向量空间232
9.4.5无序单项式向量空间233
9.4.6线性核234
9.4.7高阶非线性核234
9.5径向基核235
9.5.1径向基函数235
9.5.2高斯核236
9.5.3幂指数核238
9.5.4拉普拉斯核238
9.5.5核矩阵的半正定性239
9.6Sigmoid核239
9.6.1条件半正定240
9.6.2与径向基核的关系240
9.7艰难的抉择241
9.8一个实例241
小结242
习题243
参考文献243
第10章性能评价与度量244
10.1性能评价的意义与重要性244
10.2模型选择与交叉验证244
10.3错误率与精度246
10.4混淆矩阵247
10.5查准查全问题248
10.5.1查准率与查全率249
10.5.2PR曲线249
10.5.3F分数250
10.6真假阳性问题251
10.6.1真/假阳/阴性率251
10.6.2ROC曲线与AUC252
10.7多混淆矩阵问题256
10.7.1宏平均256
10.7.2微平均257
10.8代价敏感问题258
10.8.1代价敏感矩阵258
10.8.2代价曲线与预测错误总体代价259
10.9假设检验261
10.9.1单一模型261
10.9.2多模型262