大数据导论(第2版)

第1章大数据与数据科学/1

1.1大数据概述/1

1.1.1大数据的概念12

1.1.2大数据的特征/2

1.1.3大数据的结构类型13

1.2大数据的发展/4

1.3大数据处理的挑战15

1.4数据科学的概念/6

1.5数据科学的由来/7

1.6数据科学的应用场景/9

1.6.1行业数据/9

1.6.2数据服务/10

小结/11

习题/11

第2章数据采集与数据预处理/12

2.1数据采集和数据预处理概述/12

2.1.1数据采集概述/12

2.1.2数据预处理概述 /13

2.2数据采集技术 /15

2.2.1网络数据采集技术 /15

2.2.2日志数据采集技术 /23

2.3数据预处理技术/28

2.3.1数据清洗/28

2.3.2数据集成/30

2.3.3数据变换 /30

2.3.4数据规约/31

2.3.5电力大数据的采集/32

小结/34

习题/34

……

第3章数据存储/35

第4章大数据处理平台/ 69

第5章数据分析/ 99

第6章数据可视化/ 160

第7章大数据安全与隐私保护/ 180

第8章大数据应用/ 218

第9章数据思维/ 240

参考文献/ 259

第1章大数据与数据科学

在我国，随着数字中国建设，数字化转型大潮、企业上云用云，对大数据人才需求量巨大且呈快速增长趋势，有关机构预测到2025年全国大数据核心人才缺口达230万人。为了有效地解决当今的许多大数据问题，一门叫作数据科学(Data Science)的学科应运而生。数据科学是一门培养有能力应对大数据时代挑战的人才的学科。

1.1大数据概述

2019年4月10日9时(北京时间10日2时)，视界望远镜(Event Horizon Telescope,EHT) 国际合作项目的天文学家们宣布，他们首次捕捉到黑洞真容。该黑洞位于处女座巨椭圆星系M87的中心，距离地球5500万光年，质量约为太阳的65亿倍，如图1.1所示。它的核心区域存在一个阴影，周围环绕一个新月状光环。为完成这张黑洞特写，科学家们调动全球从两极到赤道共8个天文台的力量进行图片数据拍摄，之后，又有来自全球的62家科研机构共同参与了照片的合成。整个项目历时近三年，可以说是倾“全人类之力”完成的一件壮举。

除黑洞照片本身的价值，为完成图片而获取到的数据或许对于相关研究更为重要。视界望远镜一个晚上所产生的数据量高达2PB(1PB=2"  TB=220GB)。这些数据可以帮助天文学家分析出黑洞的周围有什么，这些东西以什么样的状态存在，还可以拼接出黑洞的动态影像。

……