机器学习数学基础：概率论与数理统计

机器学习有什么前途

机器学习是当今科技行业非常流行的一个词语，同时也是未来很长一段时间科技界大热的 一个话题。无论是工业4.0、自动驾驶还是仿生机器人，以及其他所有想象得到的高科技元素，都离不开机器学习这一概念。

一提到机器学习，大家的印象可能是高端、深奥。因为和机器学习紧密结合的应用领域通常是医疗健康、机器人、通信服务、大数据分析、智能家庭、媒体社交等，这些领域往往要求开发者精通计算机、数学功底扎实、逻辑思维敏捷等。

如果因为上述原因让你对机器学习敬而远之，其实大可不必。因为机器学习不仅代表一种 技能，更体现了一种思想，即一种分类、归纳的分析思想。如果能掌握机器学习中涉及的思维方式，其对于人们的生活、学习和工作的帮助无疑是巨大的。而概率无疑是机器学习重要的思想内核，也是本书的重点内容。

阅读本书的感受

打开本书，呈现在你面前的不是晦涩枯燥的文字，也不是通篇让人摸不着头脑的公式，而是一幅幅搞笑的漫画，搭配深入浅出的知识讲解。本书给人直观的感受就是，原来数学也可以如此接地气、如此有趣。

变被动学习为主动学习，原来差的只是一本有意思的书。市面上讲授概率的书千千万，可是每每打开它们，看着满页的公式和专业名词，只会让人们想到一句话：我待概率如初恋，概率虐我千百遍。而本书会让你真切地感受到古人说出“蓦然回首，那人却在，灯火阑珊处”时的喜悦之情。

网上流行一句话：你要减肥的决心有多大，取决于你身边的她有多美。学习也是一样的道理，你坚持看书的习惯能持续多久，取决于这本书的可读性有多强。我相信这样一本构建在漫画之上的概率图书，一定是你学习的不二选择。

书是传递知识直接的载体，在人类文明的历史长河中，书的类型经历过甲骨文、竹板、丝绸、纸张，直至今日发展为种类繁多的电子书。然而，书的类型越来越多，看书（知识类书籍）的人却越来越少。曾经一篇报道中说道，中国人平均每人每年读书4.66本，不到犹太人的1/10（犹太人每人每年读书64本）。这固然和中国人的生活习惯有关，如工作太忙，闲暇时间只想放松娱乐等；但专业书籍的内容晦涩无趣，让人难以接受，也是一个不争的事实。

秉承着读书的前提是书能让人读得下去这一指导思想，本书尽量将晦涩的知识点转化为幽 默搞笑的图片，全书配有大量插图（插图部分由孙晶波完成），可以让读者像看漫画一样吸收知识。同时，每章都有一个和概率相关的小故事，整本书真正做到了寓教于乐。

阅读本书，让知识不再枯燥，让书本不再只是打卡工具。

作者介绍

李昂，江苏徐州人，机械设计及理论专业，博士。先后在江苏徐州工程机械研究院担任技术专家、在碧桂园公司担任高级项目经理，现任江苏省产业技术研究院集萃道路工程技术与装备研究所信息化部部长。

工作期间由于身份使然，需要接触大量的非自身专业领域的知识。在这个过程中，越发觉得有必要把自身打造成为一个承载知识的主板，以便无缝对接各个领域达人。奉行“活到老，学到老”这一理念，将学习这件事坚持了下来。其间困难重重，其中的阻碍就是专业知识太晦涩，很容易让人在学习过程中打退堂鼓。为了帮助后来者扫清一些小障碍，笔者决定竭尽所能，将枯燥无聊的知识体系打造成漫画加故事的形式讲给大家，于是就产生了本书。由于作者能力有限，书中如有不当之处，还请各位读者不吝赐教。

后，感谢我的妻子李贺老师对本书提出的宝贵意见。

本书读者对象

• 初入大学、想要提高概率成绩的学生；
• 对机器学习感兴趣的在校生、工程师；
• 终身学习实践者；
• 想要转型或者提高自身能力的IT从业者。

  《机器学习数学基础：概率论与数理统计》从基础的概率统计知识讲起，逐步深入到机器学习以及深度学习的分类算法，并在后配合深度学习的实战案例，介绍了softmax回归函数在手写体图像识别中的具体应用。通过手动编辑代码，让读者更深入地了解概率在人工智能领域的重大作用。全书分为16章，涵盖的内容主要有概率统计在人工智能发展过程中的重要影响；随机试验及概率的概念；随机变量的分布及多维随机变量的分布情况；贝叶斯算法；正态分布现象；随机变量的数字特征；机器学习中的损失函数；大数定律；样本及抽样分布的做法；参数估计的概念；马尔科夫链；过拟合与欠拟合问题及解决方法；Tensorflow概述及安装方法；卷积神经网络介绍；实验演练之手写体数字识别等。
《机器学习数学基础：概率论与数理统计》配有大量的插图，以身边的生活现象为基础，深入简出地介绍了什么是概率统计，特别适合数学基础薄弱、想学习概率统计又怕自己看不懂的初学者阅读。同时也适合机器学习、深度学习的人工智能爱好者阅读。

李昂，博士，机械设计专业，曾先后在工程机械行业的龙头企业徐工集团从事CAE仿真工作；在建筑机器人行业寡头碧桂园旗下的博智林机器人公司担任高级项目经理，从事建筑机器人的整体研发工作。目前在江苏集萃道路研究所任职信息化与智能控制部门副部长。CSDN资深博主，在CSDN上发表文章70余篇，内容涵盖深度学习、机器学习、定位导航等领域。

目 录
第1章 机器学习及概率 1 
1.1 机器学习概述 2 
1.2 机器学习的发展历史 8 
1.3 机器学习的研发进展 11
1.4 机器学习与概率的关系 14
第2章 随机试验及概率 21
2.1 概率及概率的特点 22
2.2 概率与频率 28
2.3 等可能概型（古典概型） 32
2.4 概率小故事——三门问题 36
第3章 随机变量及其分布 38
3.1 随机变量 39
3.2 离散型随机变量及其分布律 42
3.3 随机变量的分布函数 46
3.4 连续型随机变量及其概率密度 47
3.5 概率小故事——星期二男孩 51
第4章 多维随机变量及其分布 53
4.1 二维随机变量 54
4.2 边缘分布 61
4.3 概率小故事——彭尼的游戏 64
第5章 贝叶斯问题 69
5.1 由暗恋引发的思考 70
5.2 贝叶斯概率 71
5.3 贝叶斯算法原理 72
5.4 朴素贝叶斯算法原理 82
5.5 概率小故事——你打游戏能赢吗 86
第6章 正态分布 89
6.1 生活中的正态分布现象 90
6.2 正态分布 91
正态分布实验 91
6.3 为何机器学习经常用到正态分布 92
6.4 正态分布的计算 93
6.5 概率小故事——你的朋友都比你有人缘？ 99
第7章 随机变量的数字特征 104
7.1 数学期望 105
7.2 方差 109
7.3 协方差及相关系数 118
7.4 随机变量的矩与切比雪夫不等式 125
7.5 概率小故事——赌博默示录 130
第8章 机器学习中的损失函数 136
8.1 交叉熵损失函数 137
8.2 Sigmoid函数与Softmax回归问题 144
8.2.1 Softmax概述 144
8.3 概率小故事——同一天生日问题 148
第9章 大数定律 151
9.1 大数定律 152
9.2 中心极限定理 157
9.3 概率小故事——捉羊问题 160
第10章 样本及抽样分布 167
10.1 总体及样本 168
10.2 直方图和箱线图 173
10.3 抽样分布 183
10.4 概率小故事——布丰问题 194
第11章 参数估计 199
11.1 点估计 200
11.2 区间估计 207
11.3 概率小故事——你有病吗？ 212
第12章 马尔科夫链 214
12.1 马尔科夫链概述 215
12.2 隐马尔科夫链与打靶问题 225
12.3 概率小故事——伟大的数学家 231
第13章 过拟合与欠拟合问题 233
13.1 生活中的过拟合与欠拟合现象 234
13.2 过拟合与欠拟合概念 235
13.3 解决过拟合与欠拟合问题的“四大金刚” 236
13.4 概率小故事——路边的阴谋 248
第14章 安装TensorFlow 250
14.1 安装前准备工作 251
14.2 开始使用TensorFlow 258
14.3 概率小故事——范进中举是巧合吗？ 260
第15章 卷积神经网络 262
15.1 卷积神经网络的生物背景 263
15.2 计算机可以做什么 264
15.3 卷积神经网络的基本概念 264
15.4 卷积神经网络运算过程 268
15.4.1 卷积神经网络与前馈神经网络 268
15.4.2 卷积运算的原理 269
15.4.3 卷积运算形式 271
15.4.4 卷积网络工作方式 271
15.4.5 池化过程 274
15.5 反向传播 274
15.6 概率小故事——狼来了吗 282
第16章 手写体数字识别 284
16.1 LeNet-5模型介绍 285
16.2 手写体数字识别 292
16.3 概率小故事——测一测您有多大概率看完本书？ 299

  《机器学习数学基础：概率论与数理统计》从基础的概率统计知识讲起，逐步深入到机器学习以及深度学习的分类算法，并在后配合深度学习的实战案例，介绍了softmax回归函数在手写体图像识别中的具体应用。通过手动编辑代码，让读者更深入地了解概率在人工智能领域的重大作用。全书分为16章，涵盖的内容主要有概率统计在人工智能发展过程中的重要影响；随机试验及概率的概念；随机变量的分布及多维随机变量的分布情况；贝叶斯算法；正态分布现象；随机变量的数字特征；机器学习中的损失函数；大数定律；样本及抽样分布的做法；参数估计的概念；马尔科夫链；过拟合与欠拟合问题及解决方法；Tensorflow概述及安装方法；卷积神经网络介绍；实验演练之手写体数字识别等。
《机器学习数学基础：概率论与数理统计》配有大量的插图，以身边的生活现象为基础，深入简出地介绍了什么是概率统计，特别适合数学基础薄弱、想学习概率统计又怕自己看不懂的初学者阅读。同时也适合机器学习、深度学习的人工智能爱好者阅读。

李昂，博士，机械设计专业，曾先后在工程机械行业的龙头企业徐工集团从事CAE仿真工作；在建筑机器人行业寡头碧桂园旗下的博智林机器人公司担任高级项目经理，从事建筑机器人的整体研发工作。目前在江苏集萃道路研究所任职信息化与智能控制部门副部长。CSDN资深博主，在CSDN上发表文章70余篇，内容涵盖深度学习、机器学习、定位导航等领域。