机器学习基础

近年来人工智能技术蓬勃发展，人工智能正在改变我们的生活。为了让读者在不需要掌握太多数学

和计算机科学知识的情况下，能够快速上手，使用 Python 语言实现常用的机器学习算法，并解决一些实际的问题，我们策划并出版本书。

本书共 14 章，内容涵盖基本的机器学习概念和环境搭建，目前各个领域中的热门算法，以及数据预处理、模型评估和文本数据分析等。希望本书可以让读者轻松入门，在动手实践的过程中找到乐趣。

本书可以作为各大院校人工智能相关专业的教材，也可以作为培训机构的教材，还适合人工智能技术爱好者自学使用。

肖睿，课工场创始人，北京大学教育学博士，北京大学软件学院特约讲师，北京大学学习科学实验室特约顾问。作为北大青鸟 Aptech 的联合创始人，历任学术总监、研究院院长、公司副总裁等核心岗位，拥有20多年的IT职业教育产品管理和企业管理经验。于2015年创办课工场，兼任总经理，旨在为大学生提供更可靠的 IT 就业教育及服务。

第 1 章 机器学习概述 21

技能目标.　21

本章任务.　21

任务　1.1：了解机器学习的基本概念　22

1.1.1　什么是机器学习　22

1.1.2　机器学习的起源与发展　23

任务　1.2：了解机器学习的应用场景　25

1.2.1　机器学习技术在日常生活中的应用　25

1.2.2　机器学习技术在不同行业中的应用　28

任务　1.3：了解机器学习的学习路径　30

1.3.1　学习机器学习的先决条件.　30

1.3.2　开启你的“海绵模式”　32

1.3.3　开始动手实践 .　33

任务　1.4：掌握机器学习的先导知识概念　34

本章小结.　36

本章习题

第　2 章 机器学习工具安装与使用 .　38

技能目标.　38

本章任务.　38

任务　2.1：Anaconda 的安装与使用　39

2.1.1　下载安装 Anaconda.　39

2.1.2　Jupyter Notebook 的使用　41

任务　2.2：pandas 和可视化工具的基本使用　45

2.2.1　pandas 的基本使用　45

2.2.2　数据可视化工具的基本使用.　48

任务　2.3：掌握 scikit-learn 的基本操作　51

2.3.1．使用　scikit-learn 加载并检查数据　51

2.3.2．使用　scikit-learn 训练模型并评估　54

2.3.3．保存和载入训练好的模型文件　.　56

本章小结.　57

本章习题

第　3 章 线性模型　59

技能目标.　59

本章任务.　59

任务　3.1：掌握线性模型的基本概念和线性回归的使用　60

3.1.1　线性模型的基本概念　60

3.1.2　线性回归模型的使用　62

任务　3.2： 掌握岭回归的原理及使用　66

3.2.1　岭回归的原理 .　67

3.2.2　岭回归的使用 .　69

任务　3.3：掌握套索回归的原理及使用　73

3.3.1　套索回归的原理　73

3.3.2　套索回归的参数调节　74

任务　3.4： 了解逻辑回归与线性支持向量机.　76

3.4.1　逻辑回归与线性支持向量机简介 .　77

3.4.2　训练逻辑回归模型并预测.　77

3.4.3　训练线性支持向量机模型并预测 .　79

本章小结.　80

本章习题

第　4 章 决策树和随机森林.　81

技能目标.　81

本章任务.　81

任务　4.1： 初步掌握决策树算法 .　82

4.1.1　什么是决策树算法　82

4.1.2　决策树的基本使用方法　83

4.1.3　决策树中的 max_depth 参数 .　85

4.1.4　决策树的模型展现.　91

4.1.5　决策树的优势与不足　92

任务　4.2： 初步掌握随机森林算法　93

4.2.1　什么是随机森林算法　93

4.2.2　随机森林算法中的参数解释　94

4.2.3　随机森林与决策树模型的差异　95

4.2.4　随机森林的优势与不足 .　96

任务　4.3：使用决策树与随机森林实战练习.　97

4.3.1　下载数据集并载入　97

4.3.2　了解数据集的特征　98

4.3.3　使用数据集训练决策树与随机森林　99

本章小结.　102

本章习题

第　5 章 支持向量机　103

技能目标.　103

本章任务.　103

任务　5.1： 理解支持向量机的基本原理　104

5.1.1　“线性不可分”的数据集　104

5.1.2　将数据投射到高维空间　105

5.1.3　“不线性”的支持向量机.　106

任务　5.2：理解支持向量机的核函数和 gamma 参数 .　108

5.2.1　支持向量机的 RBF 内核　108

5.2.2　不同内核的支持向量机对比.　110

5.2.3　gamma 参数对模型的影响.　112

5.2.4　支持向量机中的 C 参数　114

5.2.5　支持向量机的优势与不足.　116

任务　5.3：使用支持向量机算法进行实战练习.　116

5.3.1　数据集准备与初步了解　116

5.3.2　探索性数据分析　119

5.3.3　初步训练支持向量机模型.　121

5.3.4　对数据进行预处理并重新训练模型　123

本章小结.　127

本章习题

第　6 章 朴素贝叶斯　128

技能目标.　128

本章任务.　128

任务　6.1: 了解朴素贝叶斯的基本原理和使用　128

6.1.1　朴素贝叶斯算法的基本原理.　129

6.1.2　朴素贝叶斯用法示例　130

任务　6.2: 了解不同朴素贝叶斯变体的差异 .　131

6.2.1　伯努利朴素贝叶斯的不足.　132

6.2.2　用高斯朴素贝叶斯替代伯努利朴素贝叶斯　133

6.2.3　多项式朴素贝叶斯简介　134

任务　6.3: 掌握朴素贝叶斯的实际应用.　135

6.3.1　获取数据集并检查　135

6.3.2　数据预处理与模型训练 .　136

6.3.3　样本数量对朴素贝叶斯模型的影响　138

本章小结.　140

本章习题

第　7 章 K 近邻算法.　141

技能目标.　141

本章任务.　141

任务　7.1：了解 K 近邻算法.　142

7.1.1　K 近邻算法的简介及原理.　142

任务　7.2：掌握 K 近邻算法在分类任务中的应用.　144

7.2.1　K 近邻算法在二元分类任务中的应用　145

7.2.2　K 近邻算法处理多元分类任务 .　148

任务　7.3：掌握 K 近邻算法在回归分析中的应用.　151

7.3.1　掌握 K 近邻算法在回归分析中的应用.　151

任务　7.4：使用 K 近邻算法实战练习　155

7.4.1　对数据集进行分析　155

7.4.2　生成训练集和验证集　158

7.4.3　使用 K 近邻算法进行建模并调优　160

7.4.4　使用模型对新样本进行预测.　164

本章小结.　166

本章习题

第　8 章 神经网络　167

技能目标.　167

本章任务.　167

任务　8.1：了解神经网络的起源与发展　168

8.1.1　了解神经网络的起源.　169

8.1.2　了解神经网络的发展.　170

任务　8.2：掌握神经网络的原理.　172

8.2.1　了解神经网络的原理　172

任务　8.3：掌握神经网络中的激活函数　175

8.3.1　了解激活函数　175

8.3.2　使用激活函数　176

任务　8.4：掌握神经网络中的参数调节　178

8.4.1　分析数据集并展现.　178

8.4.2　参数调节　182

任务　8.5：使用神经网络解决实际问题　187

8.5.1　分析 fashion-mnist 数据集　187

8.5.2　训练 MLP 神经网络.　190

8.5.3　使用模型进行图片识别　190

本章小结.　192

本章习题

第　9 章 聚类.　194

技能目标.　194

本章任务.　194

任务　9.1：了解聚类算法的原理与用途　195

9.1.1　了解聚类算法的原理.　195

9.1.2　了解聚类算法的用途.　197

17　/ 305任务 9.2：掌握 K 均值算法的原理和使用　198

9.2.1　了解 K 均值算法的原理　199

9.2.2　使用 K 均值算法进行简单聚类分析　200

任务　9.3：掌握 DBSCAN 算法的原理和使用.　203

9.3.1　了解 DBSCAN 算法的原理　203

9.3.2　使用 DBSCAN 算法进行简单聚类分析 .　205

任务　9.4：使用聚类算法解决实际问题　211

9.4.1　对数据集进行分析　212

9.4.2　使用 K 均值算法进行聚类分析.　214

本章小结.　221

本章习题

第　10 章 数据降维、特征提取与流形学习　222

技能目标.　222

本章任务.　222

任务　10.1: 使用 PCA 主成分分析进行数据降维.　223

10.1.1　PCA 主成分分析介绍　223

10.1.2　使用 PCA 降维以便进行可视化　226

10.1.3　PCA 主成分与原始特征的关系.　227

任务　10.2: 使用 PCA 中的数据白化功能进行特征提取　229

10.2.1　使用人脸识别数据集进行实验　229

10.2.2　使用 PCA 进行特征提取　232

10.2.3　特征提取对于模型准确率的影响　234

任务　10.3: 使用 t-SNE 对数据降维并进行可视化.　235

10.3.1　t-SNE 简介　235

10.3.2　使用 PCA 降维作为 Baseline　236

10.3.3　使用 t-SNE 降维并进行可视化　239

本章小结.　241

本章习题

第　11 章 模型选择、优化及评估.　242

技能目标.　242

本章任务.　242

任务　11.1：掌握交叉验证方法对模型进行评估.　243

11.1.1　交叉验证法简介.　243

11.1.2　K-折叠交叉验证法　243

11.1.3　随机拆分和留一交叉验证法　246

任务　11.2：掌握网格搜索法寻找模型的参数.　248

11.2.1　了解及使用简单网格搜索　248

11.2.2　与交叉验证结合的网格搜索　250

任务　11.3：掌握模型的不同评价标准　253

11.3.1　分类模型的评价标准　253

11.3.2　使用 R 平方分数评估回归模型.　255

本章小结.　258

本章习题

第　12 章 数据预处理与特征选择.　259

技能目标.　259

本章任务.　259

任务　12.1：掌握常用的数据标准化方法　260

12.1.1　使用 StandardScaler 进行数据预处理　260

12.1.2　使用 MinMaxScaler 进行数据标准化处理　262

12.1.3　使用 Normalizer 进行数据标准化处理.　264

12.1.4　使用 RobustScaler 进行数据标准化处理　265

任务　12.2：掌握常用的数据表达方法　267

12.2.1　虚拟变量.　267

12.2.2　数据分箱.　269

任务　12.3：掌握常用的特征选择方法　274

12.3.1　单变量统计 .　274

12.3.2　基于模型的特征选择　278

12.3.3　迭代特征选择　279

本章小结.　280

本章习题

第　13 章 处理文本数据　282

技能目标.　282

本章任务.　282

任务　13.1：掌握文本数据的特征提取、汉语分词和词包模型　283

13.1.1　基于计数向量器的文本特征提取.　283

13.1.2　对汉语文本进行分词处理　285

13.1.3　使用词包模型将文本转换为数组.　286

任务　13.2：文本数据的进一步优化处理　287

13.2.1　默认参数下词包模型的问题.　287

13.2.2　调整 n_Gram 参数重新建立模型 .　288

任务　13.3：使用真实数据进行实战练习　290

13.3.1　载入数据集并查看特征　290

13.3.2　文本数据预处理.　291

13.3.3　使用“朴素贝叶斯”算法训练模型.　294

13.3.4　使用模型判断消费者评论　295

本章小结.　296

本章习题

第　14 章 未来职业发展前景与方向 .　298

技能目标.　298

本章任务.　298

任务：了解数据科学家的职业发展　298

14.1.1　数据科学家的养成　298

14.1.2　在实践中提高技能　301

14.1.3　未来的学习方向　303

本章小结.　305

本章习题

1.以操作实践为学习的切入点，而不是直接切入理论讲解。

2.以任务为驱动，贯穿知识内容。

3.充分考虑学习者的认知曲线，由浅入深，边讲边练边切入理论知识。

4.通过项目实训训练技能的综合使用能力。