PYTHON数据分析与挖掘（微课视频版）

数据分析与数据挖掘是综合性非常强的学科领域，从事相关工作的人员既要掌握线性代数、统计学、机器学习等理论知识，又要熟悉编程语言及相关软件的使用。在众多的编程语言中，Python语言非常适合数据分析和数据挖掘，其具有简洁的语法、强大的功能、丰富的扩展库以及开源免费、易学易用等特点，因此成为众多领域不可替代的编程语言。本书从Python语言的基础技术入手，以实际数据分析与挖掘项目为主线，重点讲解Python语言在数据获取、数据分析与挖掘中的应用。
本书是一本既有理论性又具有实践性的数据分析与挖掘教材，具有以下特色。
（1） 采用层进式思路组织课程内容。以项目案例为载体，采用“提出问题—分析问题—解决问题”的思路，逐步引导读者使用编程语言解决实际问题。
（2） 以综合项目贯穿课程实践。本书设置一个综合实战项目“房屋租金数据的获取、分析与挖掘”贯穿教学内容，每学习完一章，即可综合运用本章知识点解决或改进本项目的某些功能，循序渐进，逐步实现数据的获取、处理、分析、可视化及知识的挖掘，提高分析问题、解决问题的能力。
（3） 教学与科研有机融合。书中部分案例来自国家自然科学基金项目(11903008)，同时也是山东省本科高校教学改革研究项目面上项目(M2021156)的成果。教学与科研的结合有助于培养读者的创新能力和计算思维。
（4） 理论知识讲解细致。本书增加了相关理论内容，讲解数据挖掘和深度学习的基础理论，以帮助读者理解数据挖掘和深度学习案例的算法原理。
（5）融入思政元素。本书深度挖掘思政素材，将课程思政有机融入课程教学中。通过数据分析案例理解“差之毫厘，谬以千里”，培养读者严谨细致、精益求精的工匠精神。
（6）校际合作、校企合作。本书的编者团队由德州学院、枣庄学院、青软创新科技集团股份有限公司的一线优秀教师和实践技能熟练的工程师组成，保证本书案例来自于真实的项目，具有一定的实用性和可操作性。
全书共分9章，章节安排以综合实战项目的实现为主线展开。首先介绍Python语言概述和编程基础，其次介绍Python爬虫技术，以及三个重要的扩展库： 科学计算库（Numpy）、数据分析处理库（Pandas）和数据展示库（Matplotlib），然后介绍数据挖掘基础知识以及使用Scikitlearn库进行数据挖掘实战，后介绍深度学习的理论知识以及深度学习在星系图像分类中的应用案例。内容讲解由浅入深，层次清晰，通俗易懂。
本书提供了配套教学大纲、教学日历、电子教案、教学课件、程序源码、教学视频及课后习题的参考答案，读者可以登录清华大学出版社官方网站下载使用。
本书由王丽丽、戎丽霞担任主编，于学斗、郑文艳、蒋勇、裴霞担任副主编，参与编写的还有扈钰、赵丽丽，硕士研究生王海超、孟荣伟参与了本书的校对工作。本书在出版过程中得到了清华大学出版社张玥编辑的大力支持，在此表示诚挚的感谢。
由于编者水平有限，书中难免会有不足之处，欢迎专家和读者朋友给予批评和指正。

编者2023年1月

本书在介绍Python语言基本知识的基础上，着重介绍了Python语言在数据获取、数据分析与数据挖掘等方面的应用。本书设置一个实战项目贯穿全书内容，每章引导读者综合运用本章知识点解决或改进本项目的某些任务，从数据的获取、处理、分析、可视化到知识的挖掘，逐步完成一个数据分析与挖掘项目。这是一本适应新工科、应用型人才培养的数据分析与挖掘的案例式图书。 本书共9章，包括Python语言概述、Python编程基础、Python爬虫技术、科学计算库（Numpy）、数据分析处理库（Pandas）、数据展示库（Matplotlib）、数据挖掘基础、Scikitlearn数据挖掘实战、初识深度学习等内容。本书体系完整，重点突出，资源丰富。 本书适合计算机科学与技术、数据科学与大数据技术、人工智能以及相关理工专业的本科生、研究生使用，也适合从事数据咨询、研究或分析等人士参考使用。

第1章Python语言概述1
1.1Python简介1
1.1.1Python语言的特点2
1.1.2Python语言的应用2
1.2Python开发工具3
1.2.1Python代码编辑器3
1.2.2Python集成开发环境3
1.3Python编程规范4
1.4使用Spyder创建 Python 程序5
1.4.1Anaconda5
1.4.2标准库、扩展库的安装和升级7
1.4.3标准库、扩展库对象的导入7
1.4.4编写个Python程序8
1.5综合实战项目介绍10
1.6本章知识要点11
1.7习题11
第2章Python编程基础12
2.1变量及数据类型14
2.1.1数字14
2.1.2字符串14
2.1.3列表、元组、字典、集合15
2.2运算符、表达式和内置函数16
2.3列表20
2.3.1列表的创建20
2.3.2列表的基本操作21
2.3.3切片操作24
2.3.4列表推导式24
2.4元组26
2.4.1元组的创建26
2.4.2元组的基本操作26
2.4.3序列解包27
2.4.4生成器表达式27
2.5字典28
2.5.1字典的创建28
2.5.2字典的基本操作28
2.5.3字典推导式30
2.6集合31
2.6.1集合的创建31
2.6.2集合的基本操作31
2.6.3集合的运算32
2.6.4集合推导式33
2.7字符串34
2.7.1字符串的格式化34
2.7.2字符串的常用方法36
2.8选择结构、循环结构39
2.8.1选择结构39
2.8.2循环结构41
2.9函数43
2.9.1函数的定义与调用44
2.9.2函数的参数传递45
2.9.3lambda表达式47
2.10本章知识要点48
2.11习题48
第3章Python爬虫技术50
3.1案例导入51
3.2认识爬虫51
3.2.1爬虫的基本概念51
3.2.2爬虫的工作流程53
3.2.3爬虫的合法性与robots协议53
3.3网页下载器54
3.3.1HTTP的请求信息54
3.3.2Requests库的安装56
3.3.3Requests库的请求和响应56
3.4网页解析器59
3.4.1lxml库的安装59
3.4.2XPath常用语法60
3.4.3lxml库应用实例62
3.5案例实现63
3.6多线程数据获取70
3.7本章知识要点72
3.8习题73
第4章科学计算库（Numpy）74
4.1数组对象ndarray75
4.1.1数组的创建75
4.1.2数组的属性77
4.1.3索引与切片77
4.2ndarray数组的操作78
4.2.1数组元素的修改78
4.2.2数组形状的修改79
4.2.3数组的排序80
4.2.4数组的合并与分割81
4.3ndarray数组的运算82
4.3.1数组与标量的运算82
4.3.2数组与数组的运算83
4.3.3统计函数84
4.3.4布尔运算85
4.3.5分段函数85
4.3.6数组的集合运算86
4.4矩阵的常用操作87
4.4.1矩阵的生成87
4.4.2矩阵的统计方法87
4.4.3矩阵的转置88
4.4.4计算逆矩阵89
4.4.5计算方差、协方差及相关系数矩阵89
4.5Numpy应用案例90
4.5.1案例说明90
4.5.2案例分析91
4.5.3线性插值91
4.5.4实现代码91
4.6本章知识要点93
4.7习题93
第5章数据分析处理库（Pandas）95
5.1案例导入97
5.2Pandas常用数据类型97
5.2.1Series类型97
5.2.2DataFrame类型101
5.3读写外部数据102
5.3.1CSV文件的读取102
5.3.2CSV文件的写入104
5.4数据查看与筛选105
5.5统计分析109
5.6数据预处理111
5.6.1重复值处理112
5.6.2缺失值处理113
5.6.3异常值处理117
5.6.4类型转换120
5.6.5标准化数据121
5.6.6数据合并与连接122
5.7排序与分组125
5.7.1排序125
5.7.2分组与汇总127
5.8透视表与交叉表129
5.8.1透视表129
5.8.2交叉表130
5.9案例实现131
5.10本章知识要点136
5.11习题136
第6章数据展示库（Matplotlib）138
6.1案例导入139
6.2Matplotlib简介140
6.3使用Matplotlib库绘制各种图形140
6.3.1绘制折线图140
6.3.2绘制柱状图142
6.3.3绘制散点图143
6.3.4绘制饼图144
6.3.5绘制箱线图146
6.3.6绘制六边形分箱图148
6.4切分绘图区域149
6.5设置图例样式151
6.6保存绘图结果153
6.7词云图154
6.8案例实现156
6.9本章知识要点158
6.10习题159
第7章数据挖掘基础160
7.1数据挖掘的基本概念161
7.1.1数据挖掘的常用术语162
7.1.2数据挖掘的流程164
7.2Scikitlearn简介165
7.2.1Scikitlearn常用方法165
7.2.2Scikitlearn常用数据集170
7.3本章知识要点172
7.4习题173
第8章Scikitlearn数据挖掘实战174
8.1构建并评估回归模型175
8.1.1案例导入——房屋租金回归分析175
8.1.2线性回归算法原理176
8.1.3线性回归算法评估177
8.1.4Scikitlearn实现线性回归177
8.1.5案例实现180
8.2构建并评估分类模型186
8.2.1案例导入——鸢尾花分类186
8.2.2KNN算法原理187
8.2.3决策树算法原理188
8.2.4分类算法评估190
8.2.5Scikitlearn实现KNN和决策树分类191
8.2.6案例实现194
8.3构建并评估聚类模型198
8.3.1案例导入——客户聚类198
8.3.2Kmeans聚类算法原理199
8.3.3DBSCAN算法原理200
8.3.4聚类算法评估201
8.3.5Scikitlearn实现Kmeans和DBSCAN聚类201
8.3.6案例实现207
8.4构建并评估关联规则模型212
8.4.1案例导入——超市购物篮分析212
8.4.2Apriori算法原理213
8.4.3关联规则的评价指标215
8.4.4案例实现216
8.5本章知识要点222
8.6习题223
第9章初识深度学习225
9.1案例导入226
9.2卷积神经网络228
9.2.1人工神经网络228
9.2.2卷积230
9.2.3池化231
9.2.4激活函数231
9.2.5损失函数233
9.3经典卷积神经网络模型234
9.3.1LeNet234
9.3.2AlexNet235
9.3.3VGGNet235
9.3.4GoogLeNet236
9.3.5ResNet237
9.3.6DenseNet239
9.4Keras框架及其应用示例240
9.4.1TensorFlow的安装240
9.4.2Keras的安装243
9.4.3Keras常用模块及应用示例244
9.5案例实现250
9.6本章知识要点256
9.7习题257
附录A常用Python标准库和扩展库及其方法258
附录B综合实训项目参考265
参考文献267

1.本书由浅入深地讲解Python编程知识，理论与实践结合，由浅入深。 
2.以综合实战项目贯穿课程始终，使读者真抓实干，提高分析解决问题的能力。 
3.在科学计算库和深度学习中又设置了具体案例，激发学生的学习兴趣。 
4.编写了10个精彩案例和100个微课视频，帮助学生资助学习。 
5.可作为计算机科学与技术、人工智能、数据科学与大数据技术、软件工程专业的学习用书