数据科学与大数据技术导论

前 言信息化时代的到来使得人类的生活达到了历史上前所未有的高度，数据资源的重要性越发突显出来。大数据和人工智能的结合，更是将数据的发掘与利用推向了新的高潮。全球范围内数据人才奇缺，*和各大高校也意识到这一问题，更是将数据科学人才培养与学科建设提上日程。从 2013 年起，在国内教育领域掀起了利用大数据来促进教育改革和创新发展相关研究的热潮，大数据的教育应用研究迅速发展起来，直接表现为研究论文数量和质量倍增。2014 年 3 月，*办公厅印发的《2014 年教育信息化工作要点》中指出：加强对动态监测、决策应用、教育预测等相关数据资源的整合与集成，为教育决策提供及时和准确的数据支持，推动教育基础数据在全国的共享。近年来，*积极采取措施，加强大数据人才培养，支撑大数据技术产业发展。自 2014 年起，为贯彻落实教育规划纲要，创新产学合作协同育人机制，*组织有关企业和高校实施产学合作协同育人项目。在相关专业设置方面，2015 年本科专业特设新专业——数据科学与大数据技术，布点3个；同年10月，*公布了新修订的《普通高等学校职业教育（专科）专业目录（2015 年）》，主动适应大数据时代发展需要，新设了云计算技术与应用、电子商务技术专业，增设了网络数据分析应用专业方向。随着我国教育信息化进程的不断推进，必将加快大数据与教育领域的深度融合，这是当前时代教育事业发展的必然趋势。2016年2月，北京大学、对外经济贸易大学、中南大学首次成功申请到“数据科学与大数据技术”本科新专业。2017年3月，第二批32所高校获批。2018年*新公布的高校新增专业名单中有248所学校获批，是过去两次审批通过额度近8倍。2019年3月28日，*公布了2018年度普通高等学校本科专业备案和审批结果，共有196个高校新增备案大数据本科专业。除了数据科学与大数据专业外，*在其官网的公告上还宣布35所高校新增人工智能本科学业。本书的缘起近年来，国内出版的关于数据处理、数据分析等书籍层出不穷，但观其内容，不同的专家和学者从不同的角度提出了他们对于大数据的理解和认识。其中，有的专家侧重在“数据分析”上，重点讨论了统计学、机器学习等相关内容；有的专家侧重在“数据处理”上，重点讨论了数据挖掘、数据库管理等相关内容；有的专家侧重在“数据平台”上，重点讨论了各种计算平台和硬件设备等相关内容。多样化的观点支撑了多样化的教材，特别是当编者团队在面向一线教学的工作中发现，一本涉猎广泛、由浅入深、适合入门者研习和一线教师使用的教材亟待出现。2018年，华中科技大学出版社不弃浅陋，邀请几位编者参与到本书的编撰工作当中。大家一致认为这是一个非常宝贵的机会，希望能够跟同行们分享多年的心得和体会，也帮助相关专业的学生能够对大数据领域产生兴趣。本书的编写过程本书以当下大数据发展的新科研教学成果，从培养学生大数据思维入手组织内容。本书采用“理论 提升 实践”的模式，以理解大数据理论为基础，以知识扩展为提升，以数据处理、数据挖掘案例为实践，努力做到既促进数据思维的培养，又避免流于形式；既适用总体知识需求，又满足个体深层要求。每章章前设计了内容介绍与本章重点，章后附有小结和习题。内容介绍与本章重点部分紧密结合教学目标和特点，紧扣教学重点，突出计算思维方法；小结部分对每章知识进行归纳总结、突出重点；习题部分的题目大多选自一些国外经典参考资料，也包括编者结合多年教学实践经验设计出来的典型范例，力求使读者全面地巩固所学知识。在本书的编写过程中，编者从系统的视角介绍数据科学与大数据技术的相关基础理论和应用，同时注意突出语言文字应用的规范性。在选择内容时，既注意到稳定性，又注意吸收比较成熟的有价值的新成果，同时编写适合教学和巩固知识的习题。本书内容力求保持较强的系统性，基本概念的阐述力求严谨、清晰，叙述力求通俗易懂，增强了可读性和启发性。本书的内容“大数据导论”是计算机科学与技术、数据科学与大数据技术等相关专业本科生的专业课程和其他专业的先修课程，是国内外大学计算机学科教育体系中的核心课程之一。它承担着系统、全面地介绍大数据的基础知识和数据挖掘、数据处理的基础知识及其简单应用，为后续学习奠定坚实的基础，使学生能够具备基本理论知识和简单编程的能力，同时提高学生综合素质与创新思维。本书章简述了大数据的基本概念，从“什么是大数据”这一问题入手，从其定义、相关科学、领域应用等方面系统的介绍了大数据的基本概念，简要地对后续章节中所述内容进行了阐述。第二章和第三章简要的讲述了Python在大数据中的应用，第二章对Python的基础知识进行了讲解，以便学生能尽快对Python有一个简单的认识，第三章描述了如何利用Python对数据进行处理、分析以及可视化等。第四章从如何进行数据挖掘入手，描述了数据挖掘的源起、工具以及如何对数据进行存储、利用。第五章概述了机器学习的几种算法，从其所讲述的算法中，可以看到无论是传统的机器学习算法还是新兴的神经网络算法，数据是不可或缺的一部分。第六章介绍了能够对海量数据进行分析的软件框架——Hadoop。Hadoop平台释放了前所未有的计算能力，同时大大降低了计算成本。致本书的使用者（1）学生使用者本书涉及到了大数据领域的多个方面，编写团队希望给各位同学提供一个全面的图景来帮助大家尽快入门。为了大家能够更好去理解相关的知识点，每个部分的写法和阐述方式略有不同。同时，在本课程开始以前希望大家具有一定的“线性代数”和“概率论”的背景知识，学习本书将轻松许多。（2）教师使用者本书适用于本门课程的学习，不光数据科学与大数据技术专业的学生可以学习，计算机科学与技术专业的学生也可以用来学习相关知识。对于不同层次的学生，根据本科生和研究生的不同，都可以进行讲授，只需要针对知识点和深度有所侧重。（3）专业技术人员针对专业技术人员，本书可以作为一本参考书，当中包含的内容宽泛，既涉及到软件的安装和配置方法，又介绍了大量的常用算法。本书的章节编排经过大量的专家讨论，方便专业人士直接查询相关内容。致谢在本书的成书过程中，编写团队和华中科技大学出版社保持了愉快的合作，再次感谢出版社各位编辑的帮助和支持。本书由上海工程技术大学方志军教授担任主编，安顺学院于为、湖北工大董新华、上海工程技术大学黄勃、俞雷共同参与编写。本书的编写过程中，参考了大量的文献资料，一并感谢！同时也帮助了编写团队加深了对大数据领域的理解，但由于水平有限，在内容安排、表达、推导等方面难免存在不当，敬请广大读者朋友不吝赐教。编 者 2019年6月

本书根据新工科建设及应用型本科院校人才培养对数据科学与大数据技术教学方面的需求，力求简单易懂，以Python为主线，按照学习者的知识逻辑展开，呈现数据科学与大数据技术的基本知识、基本概念、基本方法。本书内容主要包括：什么是大数据、Python基础知识、数据分析与可视化、数据挖掘、机器学习、大数据处理等。本书可作为普通高等院校计算机、大数据、人工智能等相关学科专业的教材用书。其他理工科专业的同学或有兴趣的广大读者，也可以作为学习数据科学、大数据技术、数据管理及应用等方面基础知识的自学教材或参考用书。

方志军，上海工程技术大学电子电气工程学院院长，教授，博士生导师，专业方向为智慧城市、大数据技术，数据挖掘与分析，机器学习，大数据处理。

第1章 什么是大数据 1
1.1 数据、大数据及数据挖掘 1
1.1.1 数据 1
1.1.2 大数据 2
1.1.3 数据挖掘 3
1.1.4 数据挖掘的技术基础 4
1.2 大数据与统计学 6
1.3 机器学习与人工智能 7
1.3.1 机器学习与人工智能 7
1.3.2 机器学习的定义 8
1.4 相关领域应用 9
1.4.1 数据挖掘的相关案例 9
1.4.2 大数据应用领域 12
1.5 小结 15
1.6 习题 16
第2章 Python基础知识 17
2.1 Python概述 17
2.1.1 Python简介 17
2.1.2 Python的特点 18
2.1.3 Python集成开发环境的搭建 19
2.2 Python数据类型 22
2.2.1 数字 22
2.2.2 字符串 27
2.2.3 索引与分片 33
2.2.4 列表 35
2.2.5 元组 41
2.2.6 可变与不可变类型 44
2.2.7 字典 46
2.2.8 集合与不可变集合 50
2.3 判断与循环 56
2.3.1 判断语句 56
2.3.2 循环语句 62
2.3.3 一些简单实例 69
2.4 函数与模块 72
2.4.1. Python函数 72
2.4.2 内置函数 77
2.4.3 模块 81
2.4.4 阶段案例—学生管理系统 86
2.5 文件读写 91
2.5.1 读文件 91
2.5.2 写文件 92
2.5.3 中文文件的读写 94
2.6 异常与警告 95
2.6.1 异常 95
2.6.2 警告 103
2.7 本章小结 104
2.8 习题 105
第3章 数据分析与可视化 107
3.1 Python数据分析包 107
3.1.1 Pandas 107
3.1.2 Numpy 108
3.1.3 SciPy 108
3.1.4 Matplotlib 109
3.2 数据准备 110
3.2.1 数据类型 110
3.2.2 数据结构 110
3.2.3 数据导入 119
3.2.4 数据导出 122
3.3 数据处理 125
3.3.1 数据清洗 125
3.3.2 数据抽取 130
3.3.3 排名索引 141
3.3.4 数据合并 145
3.3.5 数据计算 150
3.3.6 数据分组 151
3.3.7 日期处理 153
3.4 数据分析 159
3.4.1 基本统计 159
3.4.2 分组分析 161
3.4.3 分布分析 162
3.4.4 交叉分析 165
3.4.5 结构分析 167
3.4.6 相关分析 169
3.5 数据可视化 171
3.5.1 饼图 171
3.5.2 散点图 172
3.5.3 折线图 174
3.5.4 柱形图 179
3.5.5 直方图 182
3.6 本章小结 183
3.7 习题 184
第4章 数据挖掘（SQL/Python） 186
4.1 数据挖掘绪论 186
4.1.1 数据挖掘定义 186
4.1.2 数据挖掘源起 187
4.1.3 数据挖掘研究目标 188
4.1.4 数据挖掘开源工具 190
4.2数据存储 194
4.2.1 数据库数据 194
4.2.2 数据仓库 195
4.2.3 数据仓库建模和实现 197
4.2.4 非关系型数据库 201
4.2.5 实时流数据与框架 203
4.3 数据挖掘技术 204
4.3.1 分类与预测 204
4.3.2 聚类分析 207
4.3.3 关联规则 212
4.3.4 离群点检测 215
4.3.5 时间序列分析 218
4.4 数据挖掘应用 220
4.4.1 系统日志和时间挖掘 220
4.4.2 社交媒体挖掘 222
4.4.3 文本挖掘 225
4.4.4 推荐系统 227
4.4.5 数据挖掘与智慧城市 228
4.5 习题 232
第5章 机器学习 241
5.1机器学习概述 241
5.1.1 机器学习的概念 241
5.1.2 机器学习的历史 242
5.1.3 机器学习的发展 243
5.2 回归分析 243
5.2.1 线性回归介绍 243
5.2.2 线性回归相关性 247
5.2.3 多项式回归数据拟合 250
5.2.4 非线性回归 250
5.3 分类算法 251
5.3.1 k近邻算法 251
5.3.2 决策树算法 253
5.3.3 支持向量机算法 255
5.3.4 朴素贝叶斯算法 256
5.4 聚类算法 259
5.4.1 k-means算法 259
5.4.2 层次聚类算法 262
5.5 深度学习 263
5.5.1 人工神经网络 263
5.5.2 感知机和深度神经网络 264
5.5.3 循环网络 265
5.5.4 卷积神经网络 266
5.5.5 自编码器 267
5.6 机器学习的应用 268
5.7 本章小结 270
5.8 习题 271
第6章 大数据处理 273
6.1 Hadoop概述 273
6.1.1 Hadoop简介 273
6.1.2 Hadoop的特性 274
6.1.3 Hadoop的发展 274
6.2 Hadoop生态系统 275
6.2.1 HDFS 276
6.2.2 MapReduce 276
6.2.3 HBase 277
6.2.4 Hive 277
6.2.5 Pig 277
6.2.6 Zookeeper 277
6.2.7 Mahout 277
6.2.8 Sqoop 277
6.2.9 Flume 278
6.2.10 Ambari 278
6.3 Hadoop集群的安装与配置 278
6.3.1 操作系统CentOS的安装 279
6.3.2 创建Hadoop用户与系统设置 279
6.3.3 安装Java 280
6.3.4 安装Hadoop 281
6.3.5 克隆虚拟机与网络设置 284
6.3.6 SSH无密码登录设置 285
6.3.7 启停和验证集群 286
6.4 分布式文件系统HDFS 288
6.4.1 HDFS相关概念 288
6.4.2 HDFS体系结构 289
6.4.3 HDFS的数据读写过程 290
6.4.4 HDFS文件访问与控制 293
6.4.5 编程实践：HDFS文件上传、下载与读写 294
6.5 MapReduce编程模型 295
6.5.1 MapReduce基本原理 295
6.5.2 MapReduce的工作机制 297
6.5.3 编程实践：统计日志 299
6.6 资源管理调度框架YARN 303
6.6.1 YARN设计思路 303
6.6.2 YARN体系结构 304
6.6.3 YARN工作流程 306
6.6.4 编程实践：在YARN上运行WordCount程序 307
6.7 Spark 310
6.7.1 Spark简介 310
6.7.2 Spark生态系统 311
6.7.3 Spark运行架构 312
6.7.4 Spark的部署和应用架构 316
6.7.5 Spark集群的安装与配置 317
6.7.6 Pyspark安装与配置 321
6.7.7 编程实践：统计素数数量 326
6.8 本章小结 328
6.9 习题 329

本书根据新工科建设及应用型本科院校人才培养对数据科学与大数据技术教学方面的需求，力求简单易懂，以Python为主线，按照学习者的知识逻辑展开，呈现数据科学与大数据技术的基本知识、基本概念、基本方法。本书内容主要包括：什么是大数据、Python基础知识、数据分析与可视化、数据挖掘、机器学习、大数据处理等。本书可作为普通高等院校计算机、大数据、人工智能等相关学科专业的教材用书。其他理工科专业的同学或有兴趣的广大读者，也可以作为学习数据科学、大数据技术、数据管理及应用等方面基础知识的自学教材或参考用书。

方志军，上海工程技术大学电子电气工程学院院长，教授，博士生导师，专业方向为智慧城市、大数据技术，数据挖掘与分析，机器学习，大数据处理。

本书以当下大数据发展的新科研教学成果，从培养学生大数据思维入手组织内容。本书采用“理论 提升 实践”的模式，以理解大数据理论为基础，以知识扩展为提升，以数据处理、数据挖掘案例为实践，努力做到既促进数据思维的培养，又避免流于形式；既适用总体知识需求，又满足个体深层要求。