Python与机器学习

以云计算、物联网、区块链、大数据和人工智能为代表的新一代信息技术蓬勃发展，先进计算、高速互联、智能感知等技术领域创新方兴未艾，类脑计算、计算机视觉、虚拟现实、智能制造、智慧医疗等技术及应用层出不穷。人们对以机器学习为基础的人工智能、数据分析技术的兴趣与日倶增，结合开源的Python语言掀起了一股学习相关技术的热潮。目前，不仅许多专业的研究生开设了机器学习、数据分析、人工智能的课程，而且很多本科生，特别是计算机、自动化、电气等专业的本科生，也都开设了相关课程。2017年以来，高职院校也逐步开始增设大数据技术与应用专业，或者以设置人工智能方向、特长班、订单班的形式开展大数据、人工智能教学，并不断设计与改进适合高职学生、应用型本科学生学习的课程，包括“Python语言”“数据采集与预处理”和“数据统计与分析”等。
面对庞杂和迅速发展的机器学习理论与方法，作者深感需要编写一本内容实用、可读性强、适合讲授、契合高职和应用型本科学生特点和教学目标的相关教材。本书作者团队结合近几年相关内容的课堂教学、特长班培养和大数据竞赛、人工智能竞赛的指导，以及社会服务培训经验，于2016年开始编写本书。根据学生的特点和兴趣点及培养目标，不断探索、改良相关的知识和学生需要掌握的技能，其目的是使学生学习和掌握数据统计与分析的过程，掌握常用的机器学习方法在数据分析、人工智能中的应用，同时培养学生各方面的素养，为今后在相关领域从事相应的开发与服务工作奠定基础，并终形成本书的具体内容。同时，为使语言更加准确、讲解更加清楚，本书结合Python 3.7实现了对应的案例实训题。
本书的特色如下。
（1）案例简单、图文并茂，可读性好。本书尽量使用简化后的案例，引入知识点，逐步深入讲解与引导，使读者能够快速理解本书内容，领略机器学习、数据分析的思想与基本方法。
（2）内容实用，注重应用。基于机器学习的数据分析、人工智能应用正处于快速发展期。特别是Python语言的火热程度及各类第三方包的不断开发与开源应用，有效推进了机器学习的应用。本书结合岗位技能需求，选用经典及实用案例数据，应用Python相关机器学习包解决各类问题。
（3）应用引导，有利于学习。本书以应用为出发点，展开引入相关知识点，读者可边学边练。书中做到了理论联系实际，从实践中总结知识点，引导学生在学习应用技能的同时，掌握一定的理论深度及解决工程问题的方法。学生在掌握本书相关内容，对机器学习有了基本的认识之后，可以阅读其他书籍，掌握更广、更深的内容。
（4）精选实训，引导学生动手。本书精选了练习题和实训题，有助于学生加深理解相关方法的应用。同时，在电子配套材料中给出了实训题的答案和详细的解答，弥补了许多理论教材缺少实训与解答的缺陷。
（5）提供源码、课件，供读者参考。为了配合本书的教与学，作者制作了高质量教学课件以及配套实训项目与题解，供读者和教师使用。在后期，还会不断更新应用案例，并提供免费在线学习平台。
本书的编写得到温州职业技术学院“十三五”教育教改重点项目立项支持（项目编号：WZYzd201922）、浙江省高等教育“十三五”批教学改革研究项目立项支持（项目编号：jg20180585），在此表示衷心的感谢。
本书由陈清华、翁正秋担任主编，由田启明、陈贤、王志梅、陈力琼担任副主编，葛罗棋、施郁文、计伟建、陈驰、龚大丰、曾岸林、邵剑集、池万乐等参与编写。其中，项目1、项目2和项目12由田启明、陈贤编写，项目3、项目4由王志梅、陈力琼编写，项目5、项目7～9由陈清华、翁正秋编写，项目6由龚大丰、计伟建编写，项目10由葛罗棋、施郁文编写，项目11由陈驰、邵剑集编写，全书由陈清华统稿，曾岸林、池万乐等参与修订与审核。同时，也要特别感谢温州职业技术学院信息17级大数据方向学生的课堂参与、课后反馈，他们的意见与建议对于本书的形成提供了很好的参考；还要特别感谢在2017—2019年参加浙江省高职高专“大数据技术与应用”竞赛、2019年浙江省“人工智能”竞赛的参赛学生，他们对竞赛相关知识与技术的深刻理解，为本书的部分内容提供了修订意见。后，感谢屠宇磊、阙瑞哲、王乐康等在本书的编排和校对及代码验证工作中提供的支持。
由于本书是黑白印刷，涉及的颜色无法在书中呈现，请读者结合软件界面进行辨识。为了方便教师教学，本书配有电子教学课件及相关资源，请有此需要的教师登录华信教育资源网（www.hxedu.com.cn）免费注册后进行下载，如有问题可在网站留言板留言或与电子工业出版社联系（E-mail：hxedu@phei.com.cn），还可与本书作者联系（E-mail：kegully@qq.com）。
教材建设是一项系统工程，需要在实践中不断加以完善及改进。同时，由于时间仓促、编者水平有限，书中难免存在疏漏和不足之处，敬请同行专家和广大读者给予批评和指正。

                                                                      编  者

使用机器学习技术的产品或服务在我们的生活当中不断普及，被应用于大数据分析、智能驾驶、计算机视觉等领域，并迅速改变生活。本书以掌握一定的Python语言基础为前提，从具体的十一个精简案例切入，由浅入深、循序渐近展开学习机器学习在不同业务领域中的应用，内容上注重实用性和可操作性。具体涵盖了机器学习流程、有监督学习、无监督学习、数据分析与人工智能应用等需要掌握的基本知识和相应技能。

陈清华，女，1983年生，硕士上海交通大学计算机软件与理论硕士毕业，浙江工业大学物联网方向博士在读，温州职业技术学院计算机系大数据专业专任教师。

项目1 电影数据统计 1 
1.1 数据获取 1 
1.2 数据解析 4 
1.3 数据分析 8 
1.4 数据可视化 10 
1.5 课堂实训：工资数据统计 16 
1.6 练习题 19 
项目2 电影数据分析（回归） 21 
2.1 背景知识 21 
2.2 使用一元线性回归分析电影票房数据 22 
2.2.1 一元线性回归 22 
2.2.2 范围缩放 25 
2.2.3 数据集的切分 26 
2.3 使用多项式回归分析电影票房数据 29 
2.4 使用多元线性回归分析电影票房数据 31 
2.5 理解回归分析方法 34 
2.6 课堂实训：工龄与工资相关性分析 36 
2.7 练习题 39 
项目3 数据的爬取 41 
3.1 背景知识 41 
3.2 电影数据的爬取 42 
3.2.1 网络数据一次爬取 42 
3.2.2 网络数据定时爬取 48 
3.2.3 正则表达式 49 
3.3 房屋租赁数据的爬取 51 
3.4 房屋租赁数据的统计 54 
3.5 课堂实训：二手房数据的爬取与统计 58 
3.6 练习题 59 
项目4 房屋租赁数据的分析与可视化 62 
4.1 背景知识 62 
4.2 使用箱形图可视化租赁价格分布特征 63 
4.3 使用散点图可视化房屋面积与租赁价格的关系 65 
4.4 使用饼图可视化不同行政区的可租赁房源占比 69 
4.5 使用折线图可视化房间数与租赁价格的关系 71 
4.6 使用热力图可视化地理位置与租赁价格的关系 72 
4.7 课堂实训：二手房数据的分析与可视化 75 
4.8 练习题 78 
项目5 身高与体重数据分析（分类器） 80 
5.1 背景知识 80 
5.1.1 机器学习 80 
5.1.2 监督学习 80 
5.1.3 分类器 82 
5.2 使用分类方法进行性别分类 82 
5.2.1 逻辑回归 82 
5.2.2 朴素贝叶斯 88 
5.2.3 决策树 91 
5.2.4 支持向量机 95 
5.3 使用支持向量机进行肥胖程度分类 97 
5.4 课堂实训：肥胖分析1 101 
5.5 练习题 102 
项目6 鸢尾花分类 104 
6.1 背景知识 104 
6.2 使用K近邻对鸢尾花进行分类 105 
6.3 使用随机森林对鸢尾花进行分类 108 
6.4 使用神经网络对鸢尾花进行分类 111 
6.5 课堂实训：肥胖分析2 114 
6.6 练习题 115 
项目7 电影评分数据分析（聚类） 117 
7.1 背景知识 117 
7.1.1 无监督学习 117 
7.1.2 聚类 118 
7.1.3 K-Means 119 
7.2 使用DBSCAN确定质心个数 119 
7.3 使用K-Means对观影用户进行聚类 123 
7.4 课堂实训：根据身高、体重和性别对用户进行分类 127 
7.5 练习题 130 

项目8 人脸检测与人脸识别 132 
8.1 背景知识 132 
8.1.1 人工智能 132 
8.1.2 计算机视觉 133 
8.1.3 OpenCV计算机视觉包 134 
8.2 图像中的人脸检测 135 
8.3 视频中的人脸检测 137 
8.4 图像中的人脸识别 140 
8.5 视频中的人脸识别 143 
8.6 课堂实训：眼睛与笑脸检测 145 
8.7 练习题 146 
项目9 手写数字识别应用 148 
9.1 背景知识 148 
9.2 图像数据集准备 149 
9.2.1 MNIST数据集格式 149 
9.2.2 获取MNIST数据集中的图像 150 
9.3 使用支持向量机识别手写数字 150 
9.4 使用神经网络识别手写数字 154 
9.5 课堂实训：使用不同的方法识别手写数字 155 
9.6 练习题 156 
项目10 深度学习在行为识别中的应用 157 
10.1 背景知识 157 
10.1.1 卷积神经网络（CNN） 157 
10.1.2 循环神经网络（RNN） 159 
10.1.3 深度学习的应用 160 
10.2 使用卷积神经网络识别行为 161 
10.2.1 环境准备 161 
10.2.2 数据的获取与解析 161 
10.2.3 数据集分析 162 
10.2.4 卷积神经网络的应用 162 
10.3 使用循环神经网络识别行为 164 
10.4 课堂实训：电影评论数据分析 166 
10.5 练习题 168 
项目11 TensorFlow与神经网络 169 
11.1 背景知识 169 
11.2 设计单层神经网络预测花瓣宽度 171 
11.3 设计多层神经网络实现鸢尾花分类 174 
11.4 课堂实训：卷积神经网络的实现与应用 177 
11.5 练习题 178 
项目12 项目综合实训 180 
12.1 确定数据采集目标 181 
12.2 数据采集与预处理 182 
12.3 数据统计与分析 183 
12.3.1 票房分析 183 
12.3.2 上座率分析 185 
12.3.3 票价分布情况分析 186 
12.3.4 评分数据分析 186 
12.4 数据分析与预测 187 
12.4.1 总场次与票房之间的关系分析 187 
12.4.2 评分相关因素分析与预测 187 
12.5 数据分类应用 188 
12.6 课外拓展实训：二手车数据的获取与市场分析 189 
附录A 环境准备 191 
附录B 本书使用的工具包 194 
参考文献 195

使用机器学习技术的产品或服务在我们的生活当中不断普及，被应用于大数据分析、智能驾驶、计算机视觉等领域，并迅速改变生活。本书以掌握一定的Python语言基础为前提，从具体的十一个精简案例切入，由浅入深、循序渐近展开学习机器学习在不同业务领域中的应用，内容上注重实用性和可操作性。具体涵盖了机器学习流程、有监督学习、无监督学习、数据分析与人工智能应用等需要掌握的基本知识和相应技能。

陈清华，女，1983年生，硕士上海交通大学计算机软件与理论硕士毕业，浙江工业大学物联网方向博士在读，温州职业技术学院计算机系大数据专业专任教师。