【假一罚四】机器学习入门 基于数学原理的Python实战戴璞微,潘斌

机器学习是一门涉及高等数学、线性代数、概率论、统计学和运筹学等领域的交叉学科。机器学习的基础就是数学，这也就要求学习者要有良好的数学基础。为了降低机器学习的学习门槛，本书深入浅出地对机器学习算法的数学原理进行了严谨的推导；并利用Python 3对各种机器学习算法进行复现，还利用介绍的算法在相应数据集上进行实战。本书主要内容包括机器学习及其数学基础；线性回归、局部加权线性回归两种回归算法；Logistic回归、Softmax回归和BP神经网络3种分类算法；模型评估与优化；K-Means聚类算法、高斯混合模型两种聚类算法和一种降维算法——主成分分析。
《机器学习入门：基于数学原理的Python实战》理论性与实用性兼备，既可作为初学者的入门书籍，也可作为求职者的面试宝典，更可作为职场人士转岗的实用手册。本书适合需要全面学习机器学习算法的初学者、希望掌握机器学习算法数学理论的程序员、想转行从事机器学习算法的专业人员、对机器学习算法兴趣浓厚的人员、专业培训机构学员和希望提高Python编程水平的程序员。

　　戴璞微，中国民航大学硕士，CSDN博客专家。曾获得全国大学生数学竞赛国家一等奖、北美数学建模二等奖，参与国家自然科学基金项目1项。对计算机视觉、机器学习和深度学习有深入研究。
　　潘斌，浙江大学应用数学系博士，现任辽宁石油化工大学理学院副院长。2018年入选辽宁省“兴辽英才计划”青年拔尖人才，2016年主持国家自然科学基金青年基金项目1项；2015年主持辽宁省自然科学基金项目1项；2016年主持浙江大学CAD&CG国家重点实验室开放课题2项。近年来，指导本科生获全国大学生数学建模竞赛国家一等奖。

第1章　机器学习及其数学基础
1.1 机器学习与人工智能简述 2
1.2 高等数学 4
1.3 线性代数 7
1.4 概率论与数理统计 14
1.5 Jensen不等式 25
1.6 本章小结 27
第2章　线性回归
2.1 线性回归模型 29
2.2 梯度下降算法 30
2.3 再看线性回归 32
2.4 正则方程 34
2.5 概率解释 35
2.6 线性回归的Python实现 36
2.7 案例：利用线性回归预测波士顿房价 43
2.8 本章小结 54
第3章　局部加权线性回归
3.1 欠拟合与过拟合 56
3.2 局部加权线性回归模型 57
3.3 局部加权线性回归的Python实现 61
3.4 案例：再看预测波士顿房价 64
3.5 案例：利用局部加权线性回归预测鲍鱼年龄 71
3.6 本章小结 77
第4章?Logistic回归与Softmax回归
4.1 监督学习 80
4.2 Logistic回归 80
4.3 广义线性模型 84
4.4 Softmax回归 86
4.5 Logistic回归的Python实现 90
4.6 案例：利用Logistic回归对乳腺癌数据集进行分类 96
4.7 Softmax回归的Python实现 107
4.8 案例：利用Softmax回归对语音信号数据集进行分类 116
4.9 本章小结 127
第5章　模型评估与优化
5.1 模型性能度量 130
5.2 偏差-方差平衡 134
5.3 正则化 135
5.4 交叉验证 144
5.5 Ridge回归的Python实现 145
5.6 案例：再看预测鲍鱼年龄 153
5.7 带L2正则化的Softmax回归的Python实现 156
5.8 案例：再看语音信号数据集分类 161
5.9 本章小结 165
第6章　BP神经网络
6.1 神经网络模型 168
6.2 BP算法与梯度下降算法 171
6.3 BP神经网络的相关改进 175
6.4 BP神经网络的Python实现 185
6.5 案例：利用BP神经网络对语音信号数据集进行分类 197
6.6 本章小结 215
第7章　K-Means聚类算法
7.1 无监督学习与聚类 218
7.2 K-Means聚类算法 219
7.3 K-Means聚类的Python实现 222
7.4 案例：利用K-Means算法对Iris数据集进行聚类 225
7.5 本章小结 229
第8章　高斯混合模型
8.1 EM算法 231
8.2 高斯混合模型 233
8.3 GMM与K-Means的区别与联系 238
8.4 聚类性能评价指标 240
8.5 GMM的Python实现 242
8.6 案例：利用GMM对葡萄酒数据集进行聚类 248
8.7 本章小结 255
第9章　主成分分析
9.1 降维技术 258
9.2 主成分分析 258
9.3 核函数 263
9.4 核主成分分析 265
9.5 PCA的Python实现 268
9.6 案例：利用PCA对葡萄酒质量数据集进行降维 271
9.7 本章小结 280

机器学习是一门涉及高等数学、线性代数、概率论、统计学和运筹学等领域的交叉学科。机器学习的基础就是数学，这也就要求学习者要有良好的数学基础。为了降低机器学习的学习门槛，本书深入浅出地对机器学习算法的数学原理进行了严谨的推导；并利用Python 3对各种机器学习算法进行复现，还利用介绍的算法在相应数据集上进行实战。本书主要内容包括机器学习及其数学基础；线性回归、局部加权线性回归两种回归算法；Logistic回归、Softmax回归和BP神经网络3种分类算法；模型评估与优化；K-Means聚类算法、高斯混合模型两种聚类算法和一种降维算法——主成分分析。
《机器学习入门：基于数学原理的Python实战》理论性与实用性兼备，既可作为初学者的入门书籍，也可作为求职者的面试宝典，更可作为职场人士转岗的实用手册。本书适合需要全面学习机器学习算法的初学者、希望掌握机器学习算法数学理论的程序员、想转行从事机器学习算法的专业人员、对机器学习算法兴趣浓厚的人员、专业培训机构学员和希望提高Python编程水平的程序员。

　　戴璞微，中国民航大学硕士，CSDN博客专家。曾获得全国大学生数学竞赛国家一等奖、北美数学建模二等奖，参与国家自然科学基金项目1项。对计算机视觉、机器学习和深度学习有深入研究。
　　潘斌，浙江大学应用数学系博士，现任辽宁石油化工大学理学院副院长。2018年入选辽宁省“兴辽英才计划”青年拔尖人才，2016年主持国家自然科学基金青年基金项目1项；2015年主持辽宁省自然科学基金项目1项；2016年主持浙江大学CAD&CG国家重点实验室开放课题2项。近年来，指导本科生获全国大学生数学建模竞赛国家一等奖。

第1章 机器学习及其数学基础
机器学习是一个多领域交叉学科，涉及计算机、数学、统计学、脑神经科学和社会科学等学科。同时在计算机视觉(Computer Vision, CV)、自动语音识别(Automatic Speech Recognition, ASR)和自然语言处理(Natural Language Processing, NLP)等领域有着广泛的应用。
作为机器学习领域内的经典算法，神经网络算法及其相关优化理论成为深度学习的奠基石，并且在上述的三大领域展示出优于传统机器学习算法的性能。机器学习是以强大的数学理论为基础的新型学科，因此，本章必须对相关数学理论进行简要的回顾。

本章主要涉及的内容
机器学习与人工智能简述
高等数学
线性代数
概率论与数理统计
Jensen不等式

1.1 机器学习与人工智能简述
自20世纪50年代提出人工智能的概念至今，人工智能的发展极其曲折。在这60多年间，人工智能经历了三起两落。人工智能的发展主要经历了“推理时期—知识工程时期—数据驱动时期”这3个阶段。本节首先详细介绍人工智能的发展简史，然后叙述人工智能、机器学习和深度学习之间的关系。
1.1.1?人工智能的发展简史
人工智能的本质就是让计算机学会像人一样思考，让计算机像人一样做智能的工作。人工智能也可以说成是一个让计算机获取知识、表达知识及使用知识的交叉学科。
具体而言，1950年，马文·明斯基(Marvin Minsky)及其同学邓恩·埃德蒙(Dnne Edmund)一起建造了世界上**台神经网络计算机，这被视为人工智能的起点。后来马文·明斯基被称为人工智能之父。同年，计算机之父艾伦·图灵(Allen Turing)提出了图灵测试。
图灵测试认为，如果一台机器能够与人类开展对话而不能被辨别出机器身份，那么这台机器就具有智能。1956年达特茅斯会议上，计算机学者约翰·麦卡锡(John McCarthy)提出了人工智能的概念，这标志着人工智能的正式诞生。
达特茅斯会议对人工智能的定义进行了深入探讨，在这次会议后引起了许多学者的深入研究，从此人工智能进入了高速发展阶段，也进入**个高潮时期。欧美各大高校都很快建立了人工智能项目及实验室，同时他们获得来自美国国防部高级研究计划署(APRA)等政府机构提供的大量研发资金，进而深入开展相关的研究。
20世纪50年代至20世纪70年代这段时期属于人工智能的“推理时期”。这一时期，一般认为只要机器被赋予逻辑推理能力就可以实现人工智能。不过此后人们发现，机器只是具备了逻辑推理能力，还远远达不到智能化的水平。这一时期取得了很多成果，如神经元模型与多层感知机等。但是受限于当时的计算机硬件条件和计算水平，当时的人工智能只能解决特定的简单问题。
20世纪80年代至20世纪90年代，人工智能迎来了第二次发展高潮。20世纪70年代，关系型数据库的提出极大地促进了计算机数据库的发展，这也使数据管理变得越来越高效，解决了人工智能之前数据量严重缺失的问题。因此在20世纪80年代，人工智能进入了“知识工程时期”。
在2016年，Google在图形处理器(GPU)与深度学习的基础上开发的AlphaGo以4∶1战胜韩国围棋高手李世石后，机器学习、深度学习和人工智能在学术界与工业界引发了广泛讨论，至此世界上各大科技公司也开始在人工智能领域迅速布局，拉开了该领域的军备竞赛。同时在中国，人工智能、大数据等词在近几年多次被写入政府工作报告，提出了人工智能战略并写入“十三五”规划，将中国的人工智能行业发展提升至国家战略高度，提供相应的政策支持。可以说，人工智能的第三次高潮正处于上升期，前途一片光明。

近几年，人工智能很火，但是*近人工智能不论在学术上还是在应用上出现了反思的声音。这其实是一个不断迭代、返璞归真的过程。戴璞微的这本书不像市面上某些东抄西摘的“泡沫”书籍，更像是一本教科书，包含了机器学习理论中数学公式的推导。其实真正想学好人工智能的工程师、研究人员，都必须过这些基础数学关。同时这本书又不是只讲理论，每个章节都有实际的例子，把理论与实际很好地结合在了一起。总而言之，这本书是很好的机器学习入门书籍，每个想入门机器学习的朋友都应该人手一本！
——黎茂 电子科技大学计算数学硕士，原Adobe AD Cloud Social & RTB成都研发负责人，新潮传媒程序化广告负责人

当前人工智能在学术界和工业界的发展方兴未艾，同时机器学习和深度学习是当前解决人工智能难题的主要手段。掌握机器学习的理论与应用也是学习深度学习的基础。该书选取了经典机器学习算法，并对其进行详细的数学推导。讲解完算法的数学推导之后，并在无框架的基础上利用Python实现算法，*后给出了相应实战例子。总之是一本极其细致的机器学习入门书籍，值得初学者认真阅读。
——温春水 中国人民大学硕士，原三点一刻大数据首席架构师，《从零开始学Hadoop大数据分析》作者

当前市场上机器学习相关书籍主要分为两种：学术界大咖编写的机器学习概括性书籍和各种实战类书籍。前者对于初学者生涩难懂，后者未对算法数学推导进行详细讲解。算法的详细数学推导和细致的Python实战构成了戴璞微这本书的主要内容，非常适合初学者作为机器学习的入门书籍。对于想在机器学习甚至深度学习有所建树的初学者，这本书是极佳的启蒙书。
——张雨萌 畅销书《机器学习线性代数基础：Python语言描述》作者