机器学习基础与实践

这是一本遵循OBE(产出为导向的教育模式)理念，注重PBL（项目式教学）方法的机器学习教科书，为了使大部分读者通过本书掌握机器学习的实践方法，作者试图较少地讲述数学知识，而用大量篇幅分析实现机器学习的代码思路及编程技巧。因此，本书比较适合大学三年级以上理工科本科生，以及具有编程基础且对机器学习感兴趣的人士。本书基于Python编程，为促进读者学习，本书附录A给出了一些关于Python编程常见问题介绍。
全书共分10章，大体上可以分为4部分： 第1～2章为第1部分，主要介绍机器学习的基础知识；第3～8章为第2部分，主要介绍有监督学习场景的经典且常用的机器学习算法及实践方法；第9章和第10章分别为第3部分和第4部分，分别介绍无监督学习场景常用算法和神经网络方法。前2章是读者必须要掌握的基础知识，之后的章节相对独立，读者可根据自己的兴趣选择学习。根据课时的分配，本科的课程可讲授前8章的知识，后2章可作为课外扩展知识让学生自行学习。书中每章都给出了5道习题，大部分习题是为了帮助读者巩固该章节的学习，少部分习题属于开放型习题，以供读者启发思考。
本书在内容上尽可能涵盖机器学习技术常见应用场景，但作为机器学习入门教材且因授课时间安排的考虑，书中涉及的案例未能覆盖很多重要且有难度的工业场景，更多的知识和编程方法留待读者在实际应用中探索学习。
作者以为，从项目中学习是一种较好的实践教学方法，本书除了第1章外，后续每章都包含2个典型应用案例，建议读者在阅读的同时能辅以代码实操，相信不管是老师还是学生，都可以获得丰富的学习收益。
机器学习是一门多领域交叉学科，涉及多门复杂学科知识，鲜有人士能精通其全领域。笔者自认才疏学浅，了解甚少，若能起到抛砖引玉的作用，于心甚慰。由于时间和精力有限，书中难免有错谬之处，望读者不吝告知，将不胜感激。

杨金坤2021年1月

本课程从实践角度考虑，结合部分数学统计学知识讲解*经典的机器学习算法，主要内容是机器学习思想在具体项目上的示例和代码实现、如何做算法的参数调试和分析各种算法的选择等。本课程重视项目实践如工业实践、算法竞赛实践等，重视落地，使学生在实践中思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。本课程实践项目涉及信用卡欺诈、公共自行车租赁、波士顿房价、地铁人流量预测、广告点击率、O2O电商优惠券核销、美国人口普查及收入预测等18个实践案例。

山西大学认知科学哲学方向硕士。主要从事人工智能算法方向的研究工作，具有丰富的人工智能教育类项目管理经验和高校授课经验。在CSSCI中文核心期刊《科学技术哲学研究》发表《对笛卡尔预设批判与重建》一文。

第1章机器学习概览1
1.1人工智能技术发展史和机器学习定义1
1.2必要的基础概念3
1.3机器学习项目工作流程5
1.4机器学习任务场景6
小结与讨论8
习题8第2章特征工程方法9
2.1特征类型9
2.2特征处理10
2.3特征选择11
2.4案例1： 北京房价数据特征工程12
2.4.1案例介绍12
2.4.2案例目标13
2.4.3案例拆解13
2.5案例2: 泰坦尼克号乘客逃生数据特征工程16
2.5.1案例介绍16
2.5.2案例目标17
2.5.3案例拆解17
小结与讨论20
习题20第3章决策树21
3.1决策树实现过程21
3.2决策树的目标函数24
3.3案例1: 鸢尾花分类26
3.3.1案例介绍26
3.3.2案例目标26
3.3.3案例拆解26
3.4案例2: 信用卡欺诈预测31
3.4.1案例介绍31
3.4.2案例目标31
3.4.3案例拆解31
小结与讨论41
习题42第4章K*近邻43
4.1K*近邻实现43
4.2距离度量45
4.3案例1: O2O优惠券使用日期预测46
4.3.1案例介绍46
4.3.2案例目标46
4.3.3案例拆解47
4.4案例2: 葡萄酒原产地预测52
4.4.1案例介绍52
4.4.2案例目标52
4.4.3案例拆解52
小结与讨论61
习题61第5章支持向量机62
5.1SVM建模思路62
5.2核技巧64
5.3案例1: 手写数字识别69
5.3.1案例介绍69
5.3.2案例目标70
5.3.3案例拆解70
5.4案例2: 地铁人流量预测71
5.4.1案例介绍71
5.4.2案例目标71
5.4.3案例拆解71
小结与讨论77
习题78第6章朴素贝叶斯79
6.1贝叶斯基础和*后验概率79
6.2朴素贝叶斯的实现81
6.3案例1： 糖尿病病情预测85
6.3.1案例介绍85
6.3.2案例目标85
6.3.3案例拆解85
6.4案例2: 亚马逊消费者投诉分析91
6.4.1案例介绍91
6.4.2案例目标91
6.4.3案例拆解92
小结与讨论98
习题98第7章线性回归与逻辑回归99
7.1线性回归的实现99
7.2逻辑回归的实现100
7.3案例1： 广告点击率预测101
7.3.1案例介绍101
7.3.2案例目标101
7.3.3案例拆解101
7.4案例2: 波士顿房价预测105
7.4.1案例介绍105
7.4.2案例目标105
7.4.3案例拆解105
小结与讨论110
习题110第8章集成思想 111
8.1随机森林111
8.2梯度提升决策树112
8.3案例1： 美国居民收入预测112
8.3.1案例介绍112
8.3.2案例目标112
8.3.3案例拆解112
8.4案例2: 公共自行车租赁预测120
8.4.1案例介绍120
8.4.2案例目标120
8.4.3案例拆解120
小结与讨论125
习题125第9章聚类与降维126
9.1聚类概述126
9.2KMeans算法的实现过程129
9.3案例1： 蘑菇数据聚类131
9.3.1案例介绍131
9.3.2案例目标131
9.3.3案例拆解131
9.4案例2: 图像数据压缩136
9.4.1案例介绍136
9.4.2案例目标136
9.4.3案例拆解136
小结与讨论138
习题138第10章神经网络方法 139
10.1神经网络方法基础原理139
10.2全连接神经网络的组成139
10.3案例1: 时装图像分类140
10.3.1案例介绍140
10.3.2案例目标140
10.3.3案例拆解140
10.4案例2: 人脸图像识别143
10.4.1案例介绍143
10.4.2案例目标143
10.4.3案例拆解143
小结与讨论147
习题148
附录A环境问题QA149

本课程从实践角度考虑，结合部分数学统计学知识讲解*经典的机器学习算法，主要内容是机器学习思想在具体项目上的示例和代码实现、如何做算法的参数调试和分析各种算法的选择等。本课程重视项目实践如工业实践、算法竞赛实践等，重视落地，使学生在实践中思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。本课程实践项目涉及信用卡欺诈、公共自行车租赁、波士顿房价、地铁人流量预测、广告点击率、O2O电商优惠券核销、美国人口普查及收入预测等18个实践案例。