【现货速发】大数据概论

近年来大数据越来越火爆，非常多的人转行做大数据或学习大数据。大数据已经被纳入国家战略，从国家层面到地方政府，出台了一系列促进大数据发展的纲要政策，大数据发展前景毋庸置疑。大数据已经被广泛应用到医疗、金融、交通、教育、娱乐等领域，然而，这些领域十分紧缺具有大数据背景的综合型人才。因此，当前很多高校都在大力培养大数据方面的多学科交叉融合的本科和硕士生。目前，适合不同专业的大数据教材相对较少。本书以大数据基础和应用为主导，并配以相关实例，可作为不同专业学生的基础性教材。
本书立足于不同专业背景的读者零基础学习大数据，实例为主导，理论联系实际，循序渐进地介绍了大数据的相关基础知识。
本书共10章，内容包括: 第1章大数据概述，第2章大数据、云计算与物联网，第3章大数据架构与Hadoop，第4章数据采集与预处理，第5章大数据分析与大数据挖掘，第6章数据存储与HDFS，第7章MapReduce，第8章数据可视化，第9章大数据安全，第10章大数据应用案例。其中，第3～8章提供了大量的实例，并给出了详细设计步骤、代码详解及程序运行结果。本书既可作为普通高等学校的大数据基础教材，也可以作为大数据培训等相关人员的参考书。
本书主要特色如下。
特色之一: 本书根据大学本科的培养计划，学生的需求及课程的特点来编写，按照新课改思想进行构思，基础原理由浅入深，有助于学生理解晦涩的理论。
特色之二: 本书以实际应用为目标，将抽象的理论知识融入实例操作中，让学生通过对实例的操作实践，掌握相应的知识点，总结出解决问题的好方法。
特色之三: 为了适应不同层次学生的水平能力和特点，本书内容强调实用性和可操作性，以实例来激发学生的学习兴趣，并注重培养学生多种解决问题的能力和实际动手操作能力。
特色之四: 本书作者都是长期从事本科教育的专职教师，从事云计算与大数据专业课教学多年，具有丰富的教学经验和实践经验，本书就是教师们教学经验和实践经验的结晶。
本书由高腾刚、程星晶担任主编，霍雨佳、王新颖和王佳尧担任副主编，参编老师有王芮、王坚，贵州理工学院信息网络中心副主任杨云江教授担任主审，负责目录架构设计和内容架构设计，并负责书稿内容的初审工作。由于时间仓促，加上作者水平有限，书中难免存在疏漏和错误，恳请广大读者批评指正。

编者2021年10月 

本书理论联系实际，配以大量实例，系统地介绍了大数据有关的基础知识。全书共分10章，内容包括大数据概述，大数据、云计算与物联网，大数据架构与Hadoop，数据采集与预处理，大数据分析与大数据挖掘，数据存储与HDFS，MapReduce，数据可视化，大数据安全，大数据应用案例。 本书主要作为本科和高职高专相关专业的教材，也可作为相关行业从业人员的读物，还可以作为培训教材。

高腾刚，副教授，武汉大学硕士，计算机技术专业毕业，主持参与项目7项，其中1项，省级2项，校级4项，发表论文10余篇，参编教材2部。
程星晶，副教授，贵州大学硕士，计算机应用技术专业毕业，主持参与项目4项，其中省级3项，校级1项，发表论文8余篇，编写教材3部，具有丰富的教材编写经验。

第1章大数据概述1
1.1大数据定义和特征1
1.1.1大数据定义1
1.1.2大数据的特征1
1.1.3大数据发展历程2
1.2大数据的影响4
1.3大数据发展趋势4
1.4大数据的关键技术8
1.5大数据的计算模式10
1.6大数据的应用领域11
1.7数据资源化和交易13
1.7.1数据资源化13
1.7.2大数据交易14
1.8大数据安全与隐私15
1.9本章小结16
习题17
第2章大数据、云计算与物联网18
2.1云计算18
2.1.1云计算概述18
2.1.2云计算的分类19
2.1.3云计算的基本特点20
2.1.4云计算的关键技术21
2.1.5云计算的应用24
2.2物联网26
2.2.1物联网概述27
2.2.2物联网的发展过程27
2.2.3物联网的特征28
2.2.4物联网的关键技术30
2.2.5物联网系统结构31
2.2.6物联网的应用33
2.3大数据、云计算与物联网三者之间的关系36
2.4本章小结39
目录大数据概论习题39
第3章大数据架构与Hadoop40
3.1大数据架构40
3.1.1大数据架构概述40
3.1.2数据类型41
3.1.3大数据架构及数据解决方案42
3.2Hadoop概述46
3.2.1Hadoop简介46
3.2.2Hadoop的发展历程46
3.2.3Hadoop的特点47
3.2.4Hadoop应用现状47
3.2.5Hadoop的版本49
3.3Hadoop的生态系统概述50
3.3.1Hadoop的生态系统50
3.3.2Hadoop的组成介绍51
3.4Hadoop的安装55
3.4.1安装前的准备55
3.4.2安装VirtualBox56
3.4.3安装Linux发行版Ubuntu57
3.4.4创建Hadoop用户61
3.4.5设置SSH无密码登录61
3.4.6安装Java环境62
3.4.7安装单机Hadoop62
3.4.8安装伪分布式Hadoop63
3.5本章小结66
习题66
第4章数据采集与预处理67
4.1大数据采集67
4.1.1大数据采集概述67
4.1.2大数据采集方法70
4.2大数据采集工具72
4.2.1Flume73
4.2.2Kafka75
4.2.3Sqoop77
4.2.4Scribe80
4.3大数据预处理技术81
4.3.1预处理意义81
4.3.2预处理方法82
4.4本章小结91
习题92
第5章大数据分析与大数据挖掘93
5.1大数据分析的基本概念93
5.1.1数据分析概论93
5.1.2数据分析的类型94
5.2大数据分析方法95
5.2.1数据分析方法概述95
5.2.2数据分析过程97
5.2.3数据处理结果分析98
5.3数据挖掘概述105
5.3.1数据和知识105
5.3.2数据挖掘的概念106
5.3.3数据挖掘过程106
5.3.4数据挖掘技术107
5.4分类算法108
5.4.1朴素贝叶斯分类109
5.4.2SVM算法114
5.5聚类算法117
5.5.1kmeans算法118
5.5.2DBSCAN算法121
5.6Apriori频繁项集挖掘算法125
5.6.1Apriori算法原理126
5.6.2Apriori算法的基本思想127
5.6.3Apriori算法流程128
5.6.4Apriori算法的优缺点128
5.6.5Apriori算法实例129
5.7常用挖掘工具130
5.7.1Mahout130
5.7.2Spark MLlib132
5.8本章小结135
习题135
第6章数据存储与HDFS136
6.1大数据存储136
6.1.1大数据存储概述136
6.1.2分布式存储系统137
6.1.3云存储140
6.2数据仓库141
6.2.1数据仓库概述141
6.2.2数据仓库架构及构建143
6.2.3数据集市147
6.3HDFS简介148
6.3.1HDFS概述148
6.3.2HDFS的优点和缺点149
6.4HDFS基本技术150
6.4.1数据块150
6.4.2名称节点、数据节点和第二名称节点151
6.5HDFS体系结构154
6.5.1HDFS体系结构概述154
6.5.2HDFS命名空间155
6.5.3通信协议和客户端155
6.5.4HDFS 1.0体系结构的局限性155
6.5.5HDFS 2.0设计156
6.6HDFS存储原理156
6.6.1数据的冗余存储156
6.6.2如何存取数据157
6.6.3如何恢复数据158
6.7HDFS的文件读写操作过程159
6.7.1HDFS读取数据的过程159
6.7.2HDFS写入数据的过程161
6.8HDFS编程实例163
6.8.1使用Shell命令与HDFS进行交互163
6.8.2在Web上显示HDFS165
6.8.3使用Java API与HDFS进行交互166
6.9本章小结170
习题170
第7章MapReduce171
7.1MapReduce概述171
7.1.1MapReduce的基本概念171
7.1.2MapReduce的思想172
7.1.3MapReduce的抽象方法173
7.2Map和Reduce任务173
7.2.1函数式编程173
7.2.2mapper和reducer174
7.3MapReduce执行框架和工作流程176
7.3.1执行框架176
7.3.2MapReduce工作流程概述178
7.3.3Shuffle执行过程179
7.3.4分割器和组合器182
7.4MapReduce算法及应用183
7.4.1概述183
7.4.2本地聚合183
7.4.3对和条纹188
7.4.4相对频率191
7.5MapReduce编程实例193
7.6本章小结197
习题197
第8章数据可视化199
8.1大数据可视化概述199
8.1.1何为数据可视化199
8.1.2大数据可视化方法203
8.2大数据可视化软件工具213
8.2.1Excel213
8.2.2Tableau214
8.2.3魔镜214
8.2.4ECharts215
8.2.5D3215
8.3数据可视化实例216
8.3.1用Tableau制作一个图表实例216
8.3.2用魔镜制作一个图表实例222
8.3.3用ECharts制作一个图表实例225
8.4本章小结226
习题227
第9章大数据安全228
9.1大数据安全概述228
9.1.1大数据安全的基本概念228
9.1.2云安全与大数据安全231
9.1.3大数据安全技术分类231
9.1.4大数据安全管理体系架构232
9.2大数据隐私保护233
9.2.1大数据隐私保护的意义和重要作用233
9.2.2大数据隐私保护面临的问题与挑战234
9.2.3大数据隐私保护技术236
9.3大数据在安全管理中的应用239
9.3.1大数据在公共安全管理中的应用239
9.3.2大数据在煤矿安全管理中的应用241
9.3.3大数据在安全管理应急方面的应用242
9.4数据脱敏技术247
9.4.1数据交互安全与脱敏技术247
9.4.2静态数据脱敏技术247
9.4.3动态数据脱敏技术248
9.4.4数据脱敏实例248
9.5本章小结249
习题249
第10章大数据应用案例250
10.1大数据在智慧医疗中的应用250
10.1.1大数据在医疗信息化行业的应用250
10.1.2大数据在临床决策支持系统的功能应用252
10.1.3大数据在远程医疗方面的应用253
10.2大数据在金融行业中的应用256
10.2.1民生银行在大数据上的应用256
10.2.2大数据在阿里巴巴上的应用258
10.2.3大数据时代信用卡的使用259
10.2.4Kabbage 用大数据开辟新路径260
10.3大数据在智慧校园中的应用261
10.3.1大数据在微课方面的应用261
10.3.2大数据在慕课方面的应用262
10.3.3大数据在智慧教育云下的应用264
10.3.4大数据在学习分析及干预中的应用266
10.4大数据在智慧城市中的应用267
10.4.1大数据在智慧城市中应用与管理方面的应用267
10.4.2大数据在智慧城市中环境方面的应用268
10.4.3大数据挖掘技术在智能交通中的应用269
10.5本章小结271
习题272
参考文献273

本书理论联系实际，配以大量实例，系统地介绍了大数据有关的基础知识。全书共分10章，内容包括大数据概述，大数据、云计算与物联网，大数据架构与Hadoop，数据采集与预处理，大数据分析与大数据挖掘，数据存储与HDFS，MapReduce，数据可视化，大数据安全，大数据应用案例。 本书主要作为本科和高职高专相关专业的教材，也可作为相关行业从业人员的读物，还可以作为培训教材。

高腾刚，副教授，武汉大学硕士，计算机技术专业毕业，主持参与项目7项，其中1项，省级2项，校级4项，发表论文10余篇，参编教材2部。
程星晶，副教授，贵州大学硕士，计算机应用技术专业毕业，主持参与项目4项，其中省级3项，校级1项，发表论文8余篇，编写教材3部，具有丰富的教材编写经验。