人工智能数学基础

本书共分为七章。第一章主要介绍数学对应人工智能的重要性，以及代数学和分析学中的基础概念，是后面各章的基础。第二章和第三章分别介绍了微积分和线性代数核心内容，并将相关基础知识映射到人工智能领域，从这一视角理解数学基础知识的工程应用。第四章介绍了矩阵分解这一重要数学工具及其在人工智能领域的典型应用。第五章介绍了概率论基础知识及在人工智能领域的广泛应用。第六章介绍了最优化理论及算法，以及它们在机器学习和人工智能中的基础性应用。第七章主要介绍了信息论的基本概念和在人工智能中常见的应用。

廖盛斌，博士，教授，博士生导师。1989年毕业于湖北荆州师专数学教育专业，2000年获西安交通大学应用数学专业硕士学位，2008年获华中科技大学信息与通信工程专业博士学位。2012年1月英国埃塞克斯大学访问学者，2015年5月澳大利亚卧龙岗大学访问学者，2017年9月英国东英格利亚大学访问学者。一直从事数据驱动建模、机器学习与优化、大数据与智慧教育等方面的研究，主持国家自然科学基金面上项目2项，国家重点研发计划子课题1项，武汉市科技计划项目2项，获批国家发明专利5项，在IEEE、Elsevier、Springer、Wiley等组织和机构出版的国际杂志，以及各种国际和国内学术会议上发表论文50多篇，其中20多篇被SCI收录。

第1章　代数学和分析学的基础概念 1 
1.1　人工智能需要数学的原因 1 
1.2　向量与范数 1 
1.2.1　向量和线性空间 1 
1.2.2　向量的内积 2 
1.2.3　向量的外积 3 
1.2.4　向量的范数 4 
1.3　矩阵的定义及其基本运算 7 
1.3.1　矩阵的定义 7 
1.3.2　矩阵的基本运算 7 
1.3.3　逆矩阵 9 
1.3.4　深入理解矩阵因子的几何意义 10 
1.4　行列式 12 
1.4.1　行列式的定义 12 
1.4.2　行列式的性质 13 
1.4.3　行列式的几何意义 15 
1.5　函数的极限与连续性 16 
1.5.1　函数的极限 16 
1.5.2　函数的连续性 17 
本章参考文献 19 
第2章　微积分的基础概念 20 
2.1　导数 20 
2.1.1　导数、偏导数与方向导数 20 
2.1.2　梯度、雅可比矩阵和黑塞矩阵 25 
2.1.3　泰勒公式 27 
2.1.4　机器学习中常见函数的导数 28 
2.2　微分 30 
2.2.1　微分的概述 30 
2.2.2　微分中值定理 31 
2.3　积分 35 
2.3.1　不定积分 35 
2.3.2　定积分 37 
2.3.3　广义积分 42 
2.3.4　多重积分 47 
2.4　常微分方程 53 
2.4.1　常微分方程的概述 53 
2.4.2　一阶微分方程的概述 53 
本章参考文献 57 
第3章　矩阵与线性变换 58 
3.1　矩阵秩的概述 58 
3.1.1　矩阵的初等变换 58 
3.1.2　矩阵的秩 59 
3.2　向量组的线性相关性 60 
3.2.1　线性组合 60 
3.2.2　向量组的秩 61 
3.3　特征值与特征向量 62 
3.3.1　特征值与特征向量的定义 62 
3.3.2　特征值与特征向量的基本性质 63 
3.3.3　相似矩阵与相似对角化 64 
3.3.4　正交矩阵和对称矩阵的对角化 67 
3.4　线性空间 70 
3.4.1　线性空间的相关定义 70 
3.4.2　线性空间的基与维数 72 
3.5　线性变换 75 
3.5.1　基变换的定义 75 
3.5.2　坐标变换的定义 76 
3.5.3　线性变换的定义 76 
3.6　内积空间 79 
3.6.1　内积空间的定义 79 
3.6.2　施密特正交化方法 80 
3.6.3　标准正交基的常用性质 81 
本章参考文献 82 
第4章　矩阵分解 83 
4.1　矩阵的LU分解 83 
4.1.1　矩阵LU分解的定义及本质 83 
4.1.2　矩阵LU分解的条件 85 
4.1.3　矩阵LU分解的扩展形式 87 
4.1.4　利用矩阵的LU分解求解线性方程组Ax=b 88 
4.2　矩阵的QR分解 89 
4.2.1　矩阵QR分解的定义 89 
4.2.2　利用施密特正交化方法进行矩阵的QR分解 90 
4.3　矩阵的特征值分解 93 
4.3.1　矩阵特征值分解的定义 93 
4.3.2　矩阵特征值分解的本质 94 
4.3.3　矩阵特征值分解的应用 95 
4.4　矩阵的奇异值分解 97 
4.4.1　矩阵奇异值分解的定义 97 
4.4.2　矩阵奇异值分解的计算 98 
4.4.3　矩阵奇异值分解的意义及逼近 99 
4.4.4　矩阵奇异值分解的应用 100 
本章参考文献 106 
第5章　最优化理论与算法 107 
5.1　凸集与凸函数 107 
5.1.1　凸集 107 
5.1.2　凸函数 110 
5.1.3　凸函数的判定 113 
5.2　最优化问题与求解算法的一般形式 116 
5.2.1　最优化问题及解的定义 116 
5.2.2　优化算法的一般思路 117 
5.2.3　可行方向与下降方向 120 
5.3　最优性条件 121 
5.3.1　无约束问题的最优性条件 121 
5.3.2　约束问题的最优性条件 123 
5.3.3　KKT条件 126 
5.4　梯度下降法 129 
5.4.1　最速下降方向 129 
5.4.2　梯度下降算法 131 
5.4.3　随机梯度下降算法 132 
5.5　牛顿法 133 
5.5.1　牛顿法的定义 133 
5.5.2　拟牛顿法的定义 135 
5.6　优化算法在机器学习中的应用 141 
5.6.1　优化算法求解机器学习问题的一般模式 141 
5.6.2　支持向量机的动机与基本概念 142 
5.6.3　线性可分支持向量机 143 
5.6.4　软间隔最大化 146 
本章参考文献 151 
第6章　概率模型 153 
6.1　随机变量及其分布 153 
6.1.1　概率的基本概念 153 
6.1.2　随机变量 154 
6.1.3　离散型随机变量 156 
6.1.4　连续型随机变量 156 
6.1.5　随机变量的函数及其分布 159 
6.1.6　多维随机变量及其分布 161 
6.1.7　条件概率与条件分布 164 
6.2　随机变量的数字特征 168 
6.2.1　随机变量的数学期望 169 
6.2.2　方差 172 
6.2.3　协方差与相关系数 174 
6.2.4　方差和协方差在PCA中的应用举例 176 
6.3　极限理论 180 
6.3.1　随机变量的矩与切比雪夫不等式 180 
6.3.2　大数定律 182 
6.3.3　中心极限定理 186 
6.4　机器学习中的参数估计 188 
6.4.1　最大似然估计 189 
6.4.2　最大后验估计 191 
6.4.3　贝叶斯最优分类器 193 
6.4.4　贝叶斯估计 193 
本章参考文献 196 
第7章　信息论的基础概念 198 
7.1　熵 198 
7.1.1　熵的概念 198 
7.1.2　联合熵 200 
7.1.3　条件熵 202 
7.1.4　互信息 203 
7.1.5　熵的性质 205 
7.1.6　熵在机器学习中的应用 210 
7.2　交叉熵与损失函数 219 
7.2.1　交叉熵的定义 219 
7.2.2　交叉熵的性质 220 
7.2.3　概率分布推断 221 
7.2.4　交叉熵损失函数 222 
7.3　KL散度 224 
7.3.1　KL散度的定义 224 
7.3.2　从熵编码的角度理解KL散度 226 
7.3.3　KL散度的性质 227 
7.3.4　KL散度在机器学习中的应用 228 
本章参考文献 230

本书共分为七章。第一章主要介绍数学对应人工智能的重要性，以及代数学和分析学中的基础概念，是后面各章的基础。第二章和第三章分别介绍了微积分和线性代数核心内容，并将相关基础知识映射到人工智能领域，从这一视角理解数学基础知识的工程应用。第四章介绍了矩阵分解这一重要数学工具及其在人工智能领域的典型应用。第五章介绍了概率论基础知识及在人工智能领域的广泛应用。第六章介绍了最优化理论及算法，以及它们在机器学习和人工智能中的基础性应用。第七章主要介绍了信息论的基本概念和在人工智能中常见的应用。

廖盛斌，博士，教授，博士生导师。1989年毕业于湖北荆州师专数学教育专业，2000年获西安交通大学应用数学专业硕士学位，2008年获华中科技大学信息与通信工程专业博士学位。2012年1月英国埃塞克斯大学访问学者，2015年5月澳大利亚卧龙岗大学访问学者，2017年9月英国东英格利亚大学访问学者。一直从事数据驱动建模、机器学习与优化、大数据与智慧教育等方面的研究，主持国家自然科学基金面上项目2项，国家重点研发计划子课题1项，武汉市科技计划项目2项，获批国家发明专利5项，在IEEE、Elsevier、Springer、Wiley等组织和机构出版的国际杂志，以及各种国际和国内学术会议上发表论文50多篇，其中20多篇被SCI收录。