人工智能极简入门

做一回“颜色不一样的烟火”

为什么写这么一本书
写这本书时，我正身处他国，独在异乡为异客。那时，国际风云变幻，山雨欲来风满楼。
无意间，读到坊间一篇好文——《反思华为，无“根”之痛》
鲁不逊. 反思华为，无“根”之痛. 量子学派，2020.5.。文章认为，中国受制于人，原因在于，我们缺少“根”技术。
“根”技术，是碳基文明的驱动引擎。例如，Android系统是安卓手机行业里的“根”，ARM架构是全球计算机芯片行业的“根”，Linux开源体系是很多软件服务的“根”，诸如此类。
中国缺少“根”技术的原因有很多，文章盘点十条以论之，言之凿凿，不可谓不深刻，但有两条能刺激我的神经。
第四条： 对形式逻辑毫不在意，理性思考至今是稀缺资源。
第八条： 视浅薄趣味为人生追求，对哲学思辨毫无感觉。
为什么是这两条触动我呢？倒不是因为它们特别独到，而是因为，或许能为之做点什么。
很早之前，我就有意写一本有关人工智能的科普书籍，但由于诸多原因，未能成行。趁这次和清华大学出版社结缘之际，心中潜伏已久的暗流喷涌而出——或许，我可以做一回“颜色不一样的烟火”——写一本不太一样的《人工智能》！
人工智能在中国非常火爆。君不见，AI企业，数不胜数。君不见，高校专业设置，蜂拥而至。
是的，掌握“人工智能”技术很有用，它能帮助公司获取更多客户，立于不败之地，挥斥市场方遒。学习“人工智能”技术很有用，它能帮你找到一份好工作，站稳职场，前途如花似锦。

人工智能极简入门

序做一回“颜色不一样的烟火”

但需要反思的是，“有用”的终极标准是什么？
很多年以来，我们常说，“师夷长技以制夷。”学习他人先进的技术，是有用的。
然而，站在当下，重新审视这句话，我们会发现，它可能是有问题的。
这是因为，“师夷长技”，很可能不“制夷”，反而“被夷制（抑制）”。
为何会这样？
无他，只因“根”不在我们这里。生产“根技”的思想，我们还不够熟稔。
然而，无名如我，在诸如国家、学科这样宏大的叙事面前，我，一名普通的高校教师，能做什么呢？
但我觉得，有一分热，发一分光，犹如萤火，即使微弱，也可在黑暗里发出一点光，不必等候炬火。
古人很早就告诫我们，“勿以善小而不为。”
是的，我尝试要写这本《人工智能极简入门》，添加一点点“小善”。
相比于其他同类图书，除了通俗易懂、图文并茂地介绍AI的前沿技术之外，这本书的“小善”还体现在，它融合了更多的“理性思考”和“哲学反思”。
特别是“哲学反思”，在很多人看起来，是无用的。但庄子很早就说了，“无用之用，方为大用。”
在人类历史发展的长河中，无数的事实警醒我们，很多当下“无用”之学，长远看来，都意义深远，流芳百世。
针对人工智能，哲学思辨有什么存在价值呢？我们知道，在人工智能发展过程中，势必会遇到各式各样的问题。哲学反思或许并不能解决问题，但它能突出问题的本质，并引导着我们继续探寻下去。一个好的问题，有时可能比答案更重要。追寻一个好问题，预启未来探索的方向。
在欧美文化圈内，诞生了一大批天才哲学家，例如亚里士多德、巴门尼德、莱布尼茨、休谟、维特根斯坦等。他们很多看似无用的哲学思想，犹如火种，在批判中接力与传承，熠熠生辉，潜移默化地指引着人工智能的发展。例如，目前的符号推理、知识图谱、自然语言处理等众多子领域，无不蕴含着他们的哲学理念。终，这些看似“无用”的哲学反思，成为人工智能的众“根”之一。
对于读者来说，如果能在了解AI前沿技术的同时，还能多培养一抹人文品位，多探究一些“无用”之学，长远来看，无疑是有益处的。
如果本书能在这方面起一丁点作用，那它就是有价值的。至少，我认为，这个尝试是值得的。
此外，我想说的是，王小波是我的偶像。他不仅是一个有趣的小说家，其实还是一个地道的理工男。在《沉默的大多数》里他写道： 
我对自己的要求很低： 我活在世上，无非想要明白些道理，做些有趣的事，倘能如我所愿，我的一生就算成功。
其实，这也属于我所认可的成功的定义。写作于我而言，算是一件有趣的事。而且，我还会尽量把《人工智能极简入门》这本书写得有趣，这就算我这个理工男的一点点情趣吧，简称“理趣”。是的，有理有趣，就是这本书的特色。
本书的定位与特色
本书以人工智能极简入门为首任，以介绍人工智能技术为底色，内容既包括经典算法（如k近邻、贝叶斯、决策树和神经网络等），又涵盖前沿技术（如深度学习、自然语言处理等），因考虑“入门”的定位，而没有“大而全”地把传统的机器推理、搜索策略、遗传算法、专家系统纳入其中，不是它们不重要，而是在当前的主流人工智能算法中，它们的荣光渐退，限于篇幅，暂无空间容纳它们。
在写作手法上，本书力图摆脱传统科技书籍的刻板印象，力图做到文笔流畅，可读性强，时有天马行空之处，内容涉及人工智能的历史、哲学、心理学和人文科学等领域。
“纸上得来终觉浅，绝知此事要躬行。”本书绝非只是务虚之谈，而是配备了很多感性的实战项目，帮助你在实践中理解抽象的原理。对于没有编程基础的读者，我们准备了简易上手的Excel版本实践（部分项目适用）；而对于有Python编程基础的读者，我们提供了Python版本的源代码。限于篇幅，实战项目的详细讲解，不在正文之列。
客观来说，人工智能博大精深，细分领域庞杂。因此，本书只负责“领进门”，“修行”要靠你个人。毕竟，高手都是自学出来的！
阅读准备
如果你对实战感兴趣，要想运行本书中的示例代码，需要提前安装如下系统及软件。
（1） 操作系统： Windows、Mac OS及Linux均可。
（2） Excel： Office 2010以上版本即可。
（3） Python环境： 建议使用Anaconda安装，确保版本为Python 3.x即可。
（4） sklearn： 建议使用Anaconda安装sklearn 0.22.1及以上版本。
（5） TensorFlow： 建议使用Anaconda安装TensorFlow 2.0及以上版本。

联系作者
自认才疏学浅，且限于时间与篇幅，书中难免出现理解偏差和错缪之处。若读者朋友们在阅读本书的过程中发现问题，希望能及时与我联系，我将在时间修正并对此不胜感激。
邮件地址： bailj@tup.tsinghua.edu.cn。
致谢
《人工智能极简入门》的部分内容，早在“七月在线”上做过讲座，口碑还不错。但与讲座不同的是，成书要严谨得多。从初的构思、查阅资料、撰写内容、绘制图片，到出版成书，历时两年有余。图书得以面市，自然得益于多方面的帮助和支持。在信息获取上，我学习并吸纳了很多精华知识，书中也尽可能地给出了文献出处，如有疏漏，望来信告知。在这里，我对这些高价值资料的提供者、生产者，表示深深的敬意和感谢。
很多人在这本书的出版过程中扮演了重要角色——清华大学出版社的白立军老师在选题策划和文字编辑上，河南工业大学的张开元、石岩松、陈伟楷和潘世泽等在文字校对上，均付出了辛勤的劳动，在此一并表示感谢。同时，感谢自然科学基金（项目编号：  61705061、61975053、U1904120）及河南工业大学思政课程教改基金（机器学习）等项目的支持。

张玉宏
2020年7月于美国卡梅尔

本书较为系统地介绍了人工智能的发展历史、经典算法和前沿技术，并对算法背后的思维方式进行了哲学思辨。内容既包括经典算法（如k近邻、贝叶斯、决策树和神经网络等），又涵盖前沿技术（如深度学习、自然语言处理等）。本书所有算法均配备对应的实战项目（包括Excel版本和/或Python版本），以帮助读者在实践中理解原理。 本书适合高等学校理工科或人文学科的“人工智能”通识课教学使用，也适合作为对人工智能有入门需求的研究生、工程师和研究人员的学习资料。

张玉宏，2012年博士毕业于电子科技大学，大数据分析师（高级），美国西北大学访问学者、IUPUI高级访问学者，现执教于河南工业大学，先后出版《深度学习之美》《品味大数据》等科技畅销书7部。

第1章光辉岁月： 人工智能的那些人和事1

1.1追问智能的本质1

1.2复杂机器与智能3

1.3远古人工智能发展简史4

1.3.1远古神器与机器4

1.3.2复杂机器与智能6

1.3.3计算自动化的发展脉络10

1.3.4机器与类人机器15

1.3.5思维逻辑化的演变19

1.4现代人工智能的诞生28

1.4.1简洁优雅的图灵测试28

1.4.2群星闪耀的达特茅斯会议32

1.5人工智能的三个流派35

1.5.1符号主义35

1.5.2联结主义38

1.5.3行为主义40

1.6人工智能的定义42

1.7人工智能的研究领域43

1.7.1认知建模43

1.7.2知识表示43

1.7.3机器感知44

1.7.4自动推理44

1.7.5机器学习45

1.7.6问题求解与博弈45

1.7.7自然语言处理46

1.7.8深度神经网络47

1.7.9智能信息检索47

1.8本章小结48

1.9思考与练习49

参考文献50

第2章机器学习： 各司其职的四大门派51

2.1人工智能的两种研究范式51

2.2从学习到机器学习53

2.2.1什么是学习53

2.2.2学习有何用54

2.2.3什么是机器学习56

2.2.4机器学习的本质57

2.2.5传统编程与机器学习的差别58

2.2.6为什么机器学习不容易59

2.3监督学习61

2.3.1感性认知监督学习61

2.3.2监督学习的工作流程62

2.3.3分类与回归的区分63

2.3.4监督学习中的损失函数64

2.4无监督学习66

2.4.1感性认知无监督学习66

2.4.2无监督学习的代表——K均值聚类67

2.5半监督学习71

2.6强化学习73

2.6.1感性认识强化学习73

2.6.2强化学习的形式描述75

2.7LeCun的蛋糕理论76

2.8从哲学视角审视机器学习78

2.8.1预测的本质78

2.8.2归纳法的不完备性80

2.8.3大卫·休谟问题： 事实归纳不出价值83

2.9本章小结84

2.10思考与练习85

参考文献86

第3章k近邻算法：近朱者赤、近墨者黑87

3.1“君君臣臣”传达的分类思想87

3.2k近邻算法的核心思想88

3.3k近邻算法的数学基础90

3.3.1特征向量与矩阵90

3.3.2特征向量的归一化96

3.4k近邻算法的三个要素98

3.4.1k值的选取98

3.4.2邻居距离的度量99

3.4.3分类决策的制订100

3.4.4苏格拉底之死与k近邻之弊101

3.4.5瑞·达里奥的“话份”102

3.5用Excel完成k近邻算法实战103

3.5.1分类任务与数据准备103

3.5.2可视化图展现104

3.5.3计算相似性105

3.5.4判定类别108

3.6机器学习利器——scikitlearn112

3.7k近邻回归115

3.7.1k近邻回归的核心思想115

3.7.2利用k近邻回归预测体重115

3.8本章小结117

3.9思考与练习117

参考文献118

第4章贝叶斯： 一种现代世界观的人生算法119

4.1贝叶斯的历史渊源119

4.2重温贝叶斯定理122

4.3贝叶斯的“问题”126

4.3.1案例分析： “汤姆断案”126

4.3.2江湖恩怨： 贝叶斯学派与频率学派129

4.4贝叶斯方法在机器学习中的应用132

4.4.1朴素贝叶斯132

4.4.2能否出去玩，贝叶斯说了算136

4.5基于贝叶斯的垃圾邮件过滤140

4.5.1垃圾邮件的来源141

4.5.2过滤垃圾邮件的贝叶斯原理142

4.5.3构建训练集143

4.5.4联合概率是如何计算的144

4.5.5朴素贝叶斯“朴素”在哪里146

4.5.6贝叶斯的不同类型146

4.5.7贝叶斯分类的一些工程优化147

4.6贝叶斯网络149

4.7本章小结151

4.8思考与练习152

参考文献153

第5章决策树： 一种高胜算的决策思维154

5.1感性认知决策树154

5.1.1生活中的决策树154

5.1.2决策树的智慧157

5.1.3决策树与熵158

5.2机器学习中的各种熵158

5.2.1熵是一种世界观158

5.2.2信息熵160

5.2.3互信息166

5.3如何构建决策树168

5.3.1信息增益与ID3168

5.3.2信息增益率与C4.5179

5.3.3基尼指数与CART182

5.3.4决策树的特点184

5.4本章小结185

5.5思考与练习186

参考文献186

第6章神经网络：道法自然的智慧187

6.1本能是学习吗？187

6.1.1关于“人性”的一则故事187

6.1.2故事背后的逻辑188

6.2神经网络中的“学习”本质190

6.2.1巴甫洛夫的“狗”190

6.2.2卡哈尔的“手”191

6.2.3美妙的赫布定律193

6.3人工神经网络的工作原理195

6.3.1为什么要用人工神经网络195

6.3.2人工神经网络的定义195

6.3.3“恒常连接”与联结主义196

6.3.4神经网络的性原理198

6.4人工神经网络的几个经典模型199

6.4.1MP神经元模型199

6.4.2罗森布拉特的感知机模型201

6.4.3来自马文·明斯基的攻击203

6.4.4多层感知机的表征能力205

6.4.5BP反向传播算法210

6.5不可忽视的激活函数213

6.6实战：手把手搭建一个简易神经网络215

6.6.1利用感知机识别“西瓜”与“香蕉”215

6.6.2利用感知机解决异或问题219

6.7走向更深的方向——神经网络的拓扑结构设计222

6.8本章小结223

6.9思考与练习224

参考文献224

第7章深度学习：一种数据重于算法的思维转换226

7.1深度学习所处的知识象限226

7.2深度学习的感性认知230

7.3深度学习中的方法论231

7.4深度学习发展简史233

7.4.1来自休伯尔的启发233

7.4.2福岛邦彦的神经认知机235

7.4.3LeCun提出的卷积神经网络236

7.4.4Hinton开启的深度学习革命237

7.4.5深度学习“层”的内涵240

7.5卷积神经网络的概念241

7.5.1卷积的数学定义241

7.5.2生活中的卷积242

7.5.3计算机“视界”中的图像242

7.5.4卷积运算243

7.5.5卷积在图像处理中的应用247

7.6卷积神经网络的结构249

7.6.1卷积层251

7.6.2池化层252

7.6.3全连接层254

7.6.4深度之“难”——过拟合与欠拟合256

7.6.5防止过拟合的Dropout机制258

7.7本章小结259

7.8思考与练习259

参考文献260

第8章自然语言处理：指月指非月的顿悟262

8.1为什么自然语言处理重要262

8.2自然语言处理的一个假设264

8.3词向量表示方法268

8.3.1独热编码表示268

8.3.2分布式表示270

8.3.3词嵌入表示273

8.4经典的自然语言处理统计模型275

8.4.1NGram模型275

8.4.2基于神经网络的语言模型276

8.5基于循环神经网络的语言模型281

8.5.1Vanilla递归神经网络281

8.5.2感性认知RNN的“记忆”功能282

8.5.3RNN的工作原理286

8.5.4长短期记忆网络288

8.5.5RNN语言模型292

8.6基于RNN的常见自然语言处理拓扑结构294

8.6.1onetoone295

8.6.2onetomany295

8.6.3manytoone296

8.6.4manytomany296

8.7EncoderDecoder与Seq2Seq298

8.7.1编码器与解码器298

8.7.2Seq2Seq299

8.8Attention机制300

8.9NLP常用工具与开发流程304

8.10本章小结305

8.11思考与练习306

参考文献306

本书较为