大数据导论

黄源，工学硕士，重庆航天职业技术学院大数据专业带头人，教授，研究方向为大数据分析与可视化。近年来负责多项市级教改科研课题，主编出版计算机类教材十余本。

第１章 大数据的基本知识 1

1．1 大数据概述 1

1．1．1 大数据的特征 1

1．1．2 大数据的意义 3

1．2 大数据的数据类型 6

1．2．1 结构化数据 6

1．2．2 非结构化数据 6

1．2．3 结构化数据和非结构化数据的区别 7

1．3 大数据政策 7

1．3．1 国外的大数据政策 7

1．3．2 国内的大数据政策 9

1．4 小结 10

1．5 习题 10

第２章 大数据与新一代信息技术 11

2．1 大数据与云计算 11

2．1．1 云计算概述 11

2．1．2 大数据与云计算的区别与联系 17

2．2 大数据与物联网 18

2．2．1 物联网概述 18

2．2．2 大数据与物联网的区别与联系 21

2．3 大数据与人工智能 21

2．3．1 人工智能概述 21

2．3．2 大数据与人工智能的区别与联系 25

2．4 大数据与区块链 26

2．4．1 区块链概述 26

2．4．2 大数据与区块链的区别与联系 27

2．5 小结 28

2．6 习题 29

第3章 数据采集 30

3．1 数据采集概述 30

3．1．1 认识数据采集 30

3．1．2 数据采集的常见方式 31

3．2 数据采集平台 34

3．2．1 Flume 34

3．2．2 Kafka 35

3．2．3 Logstash 37

3．3 网络爬虫 37

3．3．1 认识网络爬虫 37

3．3．2 网络爬虫的分类及特点 40

3．3．3 网络爬虫的道德规范与法律风险 41

3．4 小结 42

3．5 习题 43

第4章 大数据存储 44

4．1 大数据存储概述 44

4．1．1 大数据存储的概念 44

4．1．2 大数据存储的分类 45

4．2 Hadoop架构 48

4．2．1 认识Hadoop架构 48

4．2．2 Hadoop的起源与发展 49

4．2．3 Hadoop生态组件 51

4．3 NoSQL数据库 63

4．3．1 认识NoSQL数据库 63

4．3．2 NoSQL数据库的分类 63

4．4 数据仓库 69

4．4．1 认识数据仓库 70

4．4．2 数据仓库的特点 73

4．4．3 数据仓库的应用 73

4．5 小结 74

4．6 习题 74

第5章 数据清洗 75

5．1 数据清洗概述 75

5．1．1 认识数据清洗 75

5．1．2 数据清洗的流程 77

5．1．3 数据质量 78

5．2 数据清洗的方法 82

5．2．1 处理缺失值 82

5．2．2 处理异常值 83

5．2．3 处理重复值 85

5．3 数据清洗的常用工具 85

5．3．1 Python 85

5．3．2 R 87

5．3．3 Kettle 88

5．3．4 DataCleaner 89

5．4 小结 91

5．5 习题 91

第6章 大数据分析与挖掘 92

6．1 大数据分析概述 92

6．1．1 大数据分析的概念 92

6．1．2 大数据分析的常用方法 97

6．2 数据挖掘 102

6．2．1 认识数据挖掘 102

6．2．2 数据挖掘的应用 104

6．3 数据挖掘的常见算法 105

6．3．1 K-Means算法 106

6．3．2 KNN算法 107

6．3．3 朴素贝叶斯算法 108

6．3．4 决策树算法 110

6．3．5 支持向量机算法 112

6．4 小结 114

6．5 习题 114

第7章 数据可视化 115

7．1 数据可视化概述 115

7．1．1 认识数据可视化 115

7．1．2 数据可视化的类型 122

7．2 数据可视化的方法 123

7．2．1 文本可视化 123

7．2．2 社交网络可视化 125

7．2．3 地理空间可视化 127

7．3 数据可视化的常见工具 130

7．3．1 ECharts 130

7．3．2 Excel 133

7．3．3 D3 135

7．3．4 Tableau 137

7．4 小结 139

7．5 习题 139

第8章 大数据安全与治理 140

8．1 大数据安全概述 140

8．1．1 认识数据安全 140

8．1．2 大数据面临的安全挑战 143

8．1．3 大数据安全的关键技术 145

8．2 数据治理 151

8．2．1 认识数据治理 151

8．2．2 数据治理的目标 156

8．2．3 数据治理的实现 157

8．3 小结 169

8．4 习题 169

第9章 大数据的应用 170

9．1 农业大数据 170

9．1．1 认识农业大数据 170

9．1．2 农业大数据的关键技术 173

9．1．3 农业大数据的应用 177

9．2 工业大数据 179

9．2．1 认识工业大数据 179

9．2．2 工业大数据的关键技术 181

9．2．3 工业大数据的应用 185

9．3 金融大数据 187

9．3．1 认识金融大数据 187

9．3．2 金融大数据的关键技术 189

9．3．3 金融大数据的应用 193

9．4 交通大数据 194

9．4．1 认识交通大数据 194

9．4．2 交通大数据的关键因素 197

9．4．3 交通大数据的应用 199

9．5 小结 200

9．6 习题 201

参考文献 202

1.1大数据概述

信息技术的快速发展引发了数据的爆炸式增长，大数据引起了国内外学术界、工业界和政府部门的高度重视，被认为是一种新的非物质生产要素，蕴含巨大的经济和社会价值，并将促进科学研究的深刻变革，对国家的经济发展、社会发展、科学发展具有战略性、全局性和长远性的意义。大数据是数字化时代的新型战略资源，是驱动创新的重要因素，正在改变人类的生产和生活方式。从类别上看，大数据的种类十分多样，几乎涵盖了社会生活的方方面面，如健康、基因、通信、气象、信用等；从来源上看，大数据主要有自然界大数据、生命和生物大数据、社交大数据这3个来源。而日常生活中的大数据主要来自政府、企业及大量的开源数据。

1.1.1大数据的特征

现在的社会是一个信息化、数字化的社会，互联网、物联网和云计算技术的迅猛发展，使得数据充斥着整个世界。与此同时，数据也成为一种新的资源，亟待人们对其加以合理、高效、充分地利用，使之能够给人们的生活和工作带来更大的效益和价值。在这种背景下，不仅数据的数量以指数形式递增，而且数据的结构变得越来越复杂，这就赋予了“大数据”不同于以往普通“数据”更加深层的内涵。

……

（1）全书内容全面，章节由简入深，易于学习。

（2）紧跟时代潮流，注重技术变化，书中包含了最新的大数据知识及一些开源工具的介绍。

（3）编写本书的教师都具有多年的教学经验，重难点突出，能够激发学生的学习热情。

本书全面、系统地介绍大数据的基本原理与概念，共9章，分别讲解大数据的基本知识、大数据与新一代信息技术、数据采集、大数据存储、数据清洗、大数据分析与挖掘、数据可视化、大数据安全与治理以及大数据的应用。本书全面地介绍了大数据的基础知识，并对一些大数据的应用实例进行讲解。