机器学习入门——基于Sklearn

零基础学习者掌握机器学习基础知识的路线可以从代码开始，参加Kaggle数据挖掘比赛，体会使用每个模型的效果，对机器学习涵盖的内容有大致了解后，再深入地对理论知识进行完善。本书面向零基础的学习者，以Python编程语言为基础，使用Sklearn平台，在不涉及大量数学模型与复杂编程知识的前提下，逐步带领学习者熟悉和掌握传统的机器学习算法。
机器学习的重要学习方法就是实践，本书的所有程序都是在Anaconda上调试和运行的。本书包括人工智能概述、Python科学计算、数据清洗与特征预处理、数据划分与特征提取、特征降维与特征选择、模型评估与选择、KNN算法、决策树、线性模型、朴素贝叶斯算法、支持向量机和k均值聚类算法，附录介绍了课程教学大纲和Sklearn数据集。
本书具有如下特点: 
（1） 代码完整，注释详细。大部分机器学习教材重理论轻代码，往往只是给出伪代码;而本书采用基于Python语言的Sklearn平台实现，便于学生更快地掌握机器学习的基本思想。
（2） 突出实用性，针对每个机器学习算法都有相关案例。
本书配有教学大纲、电子课件、源码等资料。在编写过程中，陕西省网络数据分析与智能处理重点实验室李晓戈和西安邮电大学贾阳、王红玉、高巍然、孔韦韦、张庆生等阅读了部分手稿，提出了很多宝贵的意见。本书在写作过程中参阅了大量中外专著、教材、论文、报告及网上的资料，在此一并表示敬意和衷心的感谢。
本书内容精练，文字简洁，结构合理，实训题目经典实用、综合性强，明确定位面向初、中级读者，由入门起步，侧重提高。特别适合作为高等院校本科或研究生相关专业机器学习入门课程的教材和教学参考书，也可以供从事计算机应用开发的技术人员参考。
由于作者水平有限，时间紧迫，书中难免有疏漏之处，恳请广大读者批评指正。

 作者2021年7月

本书以Python为基础，使用Sklearn平台，逐步带领读者熟悉并掌握机器学习的经典算法。全书共12章，主要内容包括人工智能概述、Python科学计算、数据清洗与特征预处理、数据划分与特征提取、特征降维与特征选择、模型评估与选择、KNN算法、决策树、线性模型、朴素贝叶斯算法、支持向量机和k均值聚类算法，附录介绍了课程教学大纲和Sklearn数据集。 本书内容精练，文字简洁，结构合理，案例经典且实用，综合性强，面向机器学习入门读者，侧重提高。 本书适合作为高等院校相关专业机器学习入门课程教材或教学参考书，也可以供从事机器学习应用开发的技术人员参考。

周元哲,参与国家自然科学基金“基于多阶段可用性的Web 服务组合管理关键技术、参与陕西省教育厅 “协同agent进化聚类算法研究”，参与西安市科学技术计划项目“基于windows的软件测试平台的开发”，获得2011年西安市科学技术二等奖。

第1章人工智能概述1
1.1相关概念1
1.1.1人工智能1
1.1.2机器学习2
1.1.3深度学习2
1.1.4三者关系2
1.2机器学习三要素3
1.2.1数据3
1.2.2算法4
1.2.3模型6
1.3机器学习开发流程6
1.3.1数据采集6
1.3.2数据预处理7
1.3.3特征工程7
1.3.4模型构建和训练7
1.3.5模型优化和评估8
1.4Sklearn框架8
1.4.1Sklearn简介9
1.4.2Sklearn的安装过程10
1.4.3基于Sklearn的机器学习流程10
1.5Anaconda13
1.5.1Anaconda简介13
1.5.2Anaconda的安装过程13
1.5.3Anaconda的运行方式15
1.5.4Jupyter Notebook17
1.6学习建议与方法20
1.6.1学习建议20
1.6.2学习方法21
1.6.3Kaggle竞赛平台21第2章Python科学计算22
2.1走进科学计算22
2.2NumPy23
2.2.1NumPy简介23
2.2.2创建数组25
2.2.3查看数组26
2.2.4索引和切片27
2.2.5矩阵运算28
2.2.6主要方法29
2.3Matplotlib30
2.3.1Matplotlib简介30
2.3.2图表要素31
2.3.3线图31
2.3.4散点图32
2.3.5饼状图33
2.3.6条形图34
2.3.7直方图34
2.4SciPy35
2.4.1SciPy简介35
2.4.2稀疏矩阵36
2.4.3泊松分布37
2.4.4二项分布37
2.4.5正态分布38
2.4.6均匀分布39
2.4.7指数分布40
2.5Pandas41
2.5.1Pandas简介41
2.5.2Series42
2.5.3DataFrame46
2.5.4Index52
2.5.5plot53第3章数据清洗与特征预处理56
3.1数据清洗56
3.1.1数据清洗简介56
3.1.2评价标准56
3.2清洗方法56
3.2.1缺失值56
3.2.2异常值58
3.2.3重复值60
3.2.4Pandas数据清洗函数60
3.3特征预处理67
3.3.1归一化68
3.3.2标准化69
3.3.3鲁棒化70
3.3.4正则化70
3.3.5学生数据清洗示例71
3.4missingno76
3.4.1missingno简介76
3.4.2图示功能76
3.4.3数据可视化示例79
3.5wordcloud80
3.5.1wordcloud简介80
3.5.2wordcloud示例80第4章数据划分与特征提取83
4.1数据划分83
4.1.1留出法83
4.1.2交叉验证法84
4.1.3自助法87
4.2独热编码88
4.2.1独热编码简介88
4.2.2独热编码示例88
4.3初识特征提取90
4.4字典特征提取91
4.4.1字典特征提取简介91
4.4.2DictVectorizer91
4.5文本特征提取92
4.5.1CountVectorizer93
4.5.2TfidfVectorizer94
4.6中文分词95
4.6.1简介95
4.6.2jieba分词库96
4.6.3停用词表103第5章特征降维与特征选择107
5.1初识特征降维107
5.2线性判别分析107
5.2.1线性判别分析简介107
5.2.2线性判别分析示例108
5.3主成分分析109
5.3.1主成分分析简介109
5.3.2components参数110
5.4特征选择112
5.4.1简介112
5.4.23种方法112
5.5包装法113
5.5.1递归特征消除113
5.5.2交叉验证递归特性消除114
5.6过滤法116
5.6.1移除低方差特征116
5.6.2单变量特征选择117
5.7皮尔森相关系数118
5.7.1皮尔森相关系数简介118
5.7.2皮尔森相关系数应用示例119
5.8嵌入法121
5.8.1基于惩罚项的特征选择121
5.8.2基于树模型的特征选择121第6章模型评估与选择123
6.1欠拟合和过拟合123
6.1.1欠拟合123
6.1.2过拟合124
6.1.3正则化124
6.2模型调参125
6.2.1网格搜索125
6.2.2随机搜索126
6.3分类评价指标127
6.3.1混淆矩阵127
6.3.2准确率129
6.3.3精确率130
6.3.4召回率131
6.3.5F1分数132
6.3.6ROC曲线133
6.3.7AUC134
6.3.8分类评估报告135
6.4损失函数136
6.5回归损失136
6.5.1MAE136
6.5.2MSE137
6.5.3RMSE138
6.5.4R2分数138
6.5.5Huber损失139
6.6分类损失141
6.6.1平方损失函数141
6.6.2误差损失函数141
6.6.301损失函数141
6.6.4对数损失函数142
6.6.5铰链损失函数143第7章KNN算法144
7.1初识KNN算法144
7.1.1算法描述144
7.1.2三要素146
7.2分类问题147
7.2.1分类问题简介147
7.2.2分类问题示例147
7.3回归问题150
7.3.1回归问题简介150
7.3.2回归问题示例151
7.4案例152
7.4.1电影类型152
7.4.2鸢尾花153
7.4.3波士顿房价154
7.4.4印第安人的糖尿病156第8章决策树161
8.1初识决策树161
8.1.1决策树简介161
8.1.2决策树相关概念162
8.2决策树算法164
8.2.1ID3算法164
8.2.2C4.5算法165
8.2.3CART算法165
8.3分类与回归166
8.3.1分类问题166
8.3.2回归问题166
8.3.3max_depth参数调优166
8.4集成分类模型169
8.4.1随机森林170
8.4.2梯度提升决策树171
8.5Graphviz与DOT175
8.5.1Graphviz175
8.5.2DOT177
8.6案例178
8.6.1决定是否赖床178
8.6.2波士顿房价180第9章线性模型182
9.1线性回归182
9.1.1线性回归简介182
9.1.2简单线性回归实现182
9.2小二乘法185
9.2.1小二乘法简介185
9.2.2比萨价格185
9.3逻辑回归186
9.3.1逻辑回归简介186
9.3.2乳腺癌187
9.4优化方法189
9.4.1正规方程189
9.4.2梯度下降190
9.5岭回归192
9.5.1岭回归简介192
9.5.2alpha参数194
9.6案例195
9.6.1糖尿病195
9.6.2波士顿房价196
9.6.3鸢尾花198第10章朴素贝叶斯算法201
10.1初识朴素贝叶斯算法201
10.2贝叶斯定理201
10.3朴素贝叶斯分类方法202
10.3.1GaussianNB函数202
10.3.2MultinomialNB函数203
10.3.3BernoulliNB函数205
10.4案例207
10.4.1鸢尾花207
10.4.2新闻文本分类208第11章支持向量机210
11.1初识支持向量机210
11.1.1支持向量机简介210
11.1.2支持向量机算法库211
11.2核函数211
11.2.1径向基核函数211
11.2.2线性核函数212
11.2.3多项式核函数213
11.3参数调优215
11.3.1gamma参数215
11.3.2惩罚系数C217
11.4回归问题218
11.5案例219
11.5.1鸢尾花219
11.5.2波士顿房价222第12章k均值聚类算法224
12.1初识k均值聚类算法224
12.1.1k均值聚类算法简介224
12.1.2k均值聚类算法步骤224
12.1.3k均值聚类算法相关问题227
12.1.4k均值聚类算法和KNN关系228
12.2k均值聚类算法评估指标229
12.2.1ARI229
12.2.2轮廓系数230
12.3案例234
12.3.1鸢尾花数据集234
12.3.2标记聚类中心235附录A课程教学大纲237
A.1课程简介237
A.2课程内容及要求237
A.3教学安排及学时分配241
A.4考核方式242
A.5教材及参考文献242附录BSklearn数据集243
B.1初识Sklearn数据集243
B.2小数据集243
B.2.1小数据集简介243
B.2.2鸢尾花数据集244
B.2.3葡萄酒数据集245
B.2.4波士顿房价数据集245
B.2.5手写数字数据集245
B.2.6乳腺癌数据集245
B.2.7糖尿病数据集245
B.2.8体能训练数据集246
B.3大数据集246
B.3.1大数据集简介246
B.3.2新闻分类数据集246
B.4生成数据集247
B.4.1生成数据集简介247
B.4.2make_regression函数247
B.4.3make_blobs函数248
B.4.4make_classification函数249
B.4.5make_gaussian_quantiles函数250
B.4.6make_circles函数251参考文献253

Python和机器学习是当今信息领域的热门领域，众多高校开设Python学习。本书以Python为基础，使用sklearn平台，封装了众多机器学习算法，回避了烦琐的数学理论知识 ，对于初学者而言，易于上手实践，能尽快对机器学习有初步认识，提早入门。本书具有如下特点：1、代码详解：区别于市场上众多机器学习教材“重理论轻代码”，往往只是给出伪代码，而本书的代码都是采用Python实现，使用sklearn平台使得机器学习算法具有实践性，从而便于学生更快地掌握机器学习的思想，加速学生入门的过程。2、突出实用性。针对每个机器学习算法都有相关案例。