大数据导论

第1章 绪论

1.1 引言

1.2 大数据的内涵

1.2.1 大数据时代的驱动力

1.2.2 大数据的基本概念

1.2.3 大数据与海量数据的区别

1.2.4 大数据的价值期望

1.3 大数据的发展历程

1.4 大数据的外延

l.4.1 大数据的作用与意义

1.4.2 大数据的机遇与挑战

1.4.3 大数据的发展趋势

1.5 大数据的科学意义

1.5.1 新兴技术的延伸

1.5.2 新兴技术的推动力

1.5.3 未来科技的重要基石

1.5.4 顺应时代发展的重要学科

1.6 本章小节

习题1

第2章 大数据技术基础

2.1 大数据采集

2.1.1 数据采集的概念

2.1.2 数据采集的数据源

2.1.3 数据采集面临的挑战

2.1.4 网络爬虫：互联网数据采集

2.1.5 Sqoop：关系型数据采集

2.1.6 Flume：日志数据采集

2.1.7 Kafka消息队列技术

2.2 大数据存储及管理技术

2.2.1 分布式文件系统HDFS

2.2.2 分布式列式数据库HBase

2.2.3 NoSQL和NewSQL数据库

2.2.4 云数据库

2.3 大数据处理与分析

2.3.1 大数据处理架构Hadoop

2.3.2 基于内存的分布式计算框架Spark

2.3.3 流计算框架Storm

2.3.4 流计算框架Flink

2.3.5 数据仓库Hive

2.3.6 数据仓库Impala

2.3.7 数据仓库Kylin

2.4 大数据可视化

2.4.1 数据可视化的基本概念

2.4.2 数据可视化分类

2.4.3 数据可视化工具

2.5 本章小结

习题2

第3章 大数据应用

3.1 教育大数据

3.1.1 概述

3.1.2 教育大数据应用案例

3.1.3 教育大数据面临的挑战

3.2 交通大数据

3.2.1 概述

3.2.2 交通大数据应用案例

3.2.3 交通大数据面临的挑战

3.3 医疗大数据

3.3.1 概述

3.3.2 医疗大数据应用案侧

3.3.3 医疗大数据面临的挑战

3.4 金融大数据

3.4.1 概述

3.4.2 金融大数据案例

3.4.3 金融大数据面临的挑战

3.5 煤矿企业大数据

3.5.1 概述

3.5.2 煤矿大数据应用案例

3.5.3 煤矿企业大数据面临的挑战

3.6 本章小结

习题3

第4章 大数据安全与隐私保护

4.1 引 言

4.2 大数据安全

4.2.1 大数据安全的意义与需求

4.2.2 大数据安全技术

4.2.3 大数据安全体系框架

4.2.4 大数据安全相关法则

4.2.5 大数据安全面临的挑战

4.3 大数据隐私保护

4.3.1 大数据安全与隐私保护的异同

4.3.2 大数据带来的隐私问题

4.3.3 大数据隐私保护的意义

4.3.4 大数据隐私保护技术

4.4 大数据安全发展的趋势及建议

4.4.1 大数据安全发展的趋势

4.4.2 大数据安全发展的建议

4.5 本章小结

习题4

第5章 大数据交易

5.1 交易概述

5.1.1 大数据交易发展现状

5.1.2 大数据市场趋势

5.1.3 大数据交易过程

5.2 l r场特征

5.2.1 大数据交易政策特征

5.2.2 大数据交易规模特征

5.2.3 大数据发展前景特征

5.3 大数据交易场所和平台

5.3.1 共享数据平台

5.3.2 企业自建平台

5.3.3 数据交易中心

5.4 交易模式

5.4.1 API模式

5.4.2 数据包模式

5.5 交易验证

5.5.1 交易数据验证的必要性

5.5.2 数据验证方法-

5.6 困难与挑战

5.6.1 数据质量

5.6.2 交易定价

5.6.3 隐私保护

5.6.4 版权问题

5.7 本章小结

习题5

第6章 大数据治理

6.1 大数据治理概述

6.1.1 数据治理成熟度模型

6.1.2 大数据治理体系

6.2 数据处理

6.2.1 数据集成

6.2.2 元数据管理

6.2.3 数据标准化

6.2.4 数据清洗

6.3 数据价值挖掘

6.3.1 主数据

6.3.2 数据资产

6.4 综合管控

6.4.1 数据生命周期管理

6.4.2 企业管理

6.5 本章小结

习题6

参考文献

第1章绪论

1.1引言

基础学科的不断发展和进步，使得数据的采集和存储技术得到了很大提升，同时也促进了大数据、云计算、人工智能、物联网等信息技术的快速发展和传统产业的数字化转型，数据量呈现几何级增长。世界各国政府都已纷纷将大数据技术发展上升为国家战略，企业和学术机构加强对大数据关键技术的研究和应用，以期在下一次信息化浪潮来临前，占得先机，引领市场。本章内容旨在让读者更好地认识和了解大数据，主要介绍了大数据的内涵、大数据的发展历程、大数据的外延和大数据的科学意义。

1.2大数据的内涵

1.2.1大数据时代的驱动力

近年来，随着信息技术的飞速发展，移动互联网、云计算、物联网等技术相继进入人们的日常工作和生活，人、机、物三元世界融合的时代不断深入，网络空间中的数据反映了人类社会与物理世界的复杂联系，其数据与人类活动密切相关。无论是从数据规模和结构，还是对社会和生活生产的影响来看，当下已全面进入大数据时代。大数据正以前所未有的速度，颠覆人们探索世界的方法，驱动传统产业的未来发展。

基础学科的不断发展和进步，以及物联网技术的广泛应用，促使数据传感设备和存储技术得到很大提升，大量物理世界的状态得以转化为数据被采集并存储下来。例如，以物联网技术为基础的无线传感器网络在检测人体生理数据、老年人健康状况、医院药品管理，以及远程医疗方面可以发挥出色的作用。在病人身上安置体温采集、呼吸、血压等测量传感器，医生可以远程了解病人的情况。利用传感网络长时间地收集病人的生理数据，这些数据在研制新药品的过程中会起到关键作用。进一步说，这类系统稍加产品化，便可成为一些老人及病人的安全助手。同时，该系统也可以应用到一些残障人士的康复中心，对病人的各类肢体恢复进展进行精确测量，从而为设计复健方案带来宝贵的参考依据。

数据增长的另一个重要推动力来自快速发展的互联网和移动互联网。当今世界大约有24亿网民，占世界人口的37.3%。这么数量庞大的网民平均每天搜索32亿次，上传3亿张照片，观看1.3亿小时的视频。据2021年中国互联网络信息中心（CNNIC）发布的第47次《中国互联网发展状况统计报告》显示，截至2020年12月，我国网民规模已达9.89亿，互联网普及率达70.4%，较2020年3月增长8540万。根据国际数据公司（International Data Corporation,IDC）发布的《数据时代2025》报告，全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB，相当于每天产生4