大数据导论(第2版)(微课版)

2016年11月，“全国高校数据科学与大数据技术专业教学研讨会”在东北大学举办。当时，《大数据导论》第1版刚上市，就在研讨会书展上亮相了。那时，大数据技术的学术书籍不少，但大学相关专业的基础教育的教材还很少。
一晃五年多了。如今，大数据（Big Data）已经是高校的热门专业，大数据相关课程也成为在校大学生的“必修”内容。《大数据导论》也受到许多高校师生的欢迎，荣获“清华大学出版社2019年度畅销图书”称号。
近年来，大数据技术与应用已经成为全球学术界、企业界、政府机关以及社会高度关注的热点。大数据的力量正在积极地影响着社会的方方面面，彻底改变人们的学习和日常生活方式，包括教育方式、生活方式、工作方式，甚至寻找爱情的方式。同时，大数据相关技术与教育有了长足的发展。几年来，我们编写的大数据系列丛书已经出版了《大数据导论》《大数据可视化》《大数据可视化技术》《大数据分析》《大数据存储——从SQL到NoSQL》《大数据基础与Python机器学习》《大数据挖掘及应用》《大数据伦理与职业素养》等多部，都获得了很好的市场反响。
在大数据时代，成功的关键在于找出大数据隐含的真知灼见。以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。《大数据导论》的这次改版，删减了一些过时的内容，丰富了新知识、新思想，并适当调整了教学内容的顺序。例如，充实了大数据预测分析、大数据与人工智能、大数据存储技术、大数据处理技术、大数据与云计算、大数据安全与法律的知识。继续强调学生自主学习能力的培养，加强课程思政教育建设，强调重视大数据的伦理与职业素养教育。
对于在校大学生来说，大数据的理念、技术与应用是一门理论性和实践性都很强的必修课程。在长期的教学实践中，我们体会到，坚持“因材施教”的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是： 理论联系实际，结合一系列了解和熟悉大数据理念、技术与应用的学习和实践活动，把大数据的相关概念、基础知识和技术技巧融入实践当中，使学生保持浓厚的学习热情，加深对大数据技术的兴趣、认识、理解和掌握。
本书系统、全面地介绍了大数据的基本知识和应用技能，详细介绍了大数据与大数据时代、大数据思维变革、大数据可视化、大数据的商业规则、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据与人工智能、大数据存储技术、大数据处理技术、大数据与云计算、大数据安全与法律、数据科学与数据科学家以及大数据的未来等内容，具有较强的系统性、可读性和实用性。
全书精心设计了课程教学过程，每章都有针对性地安排了课前导读案例、课程教学内容和课后作业与实验练习等环节，要求和指导学生在课前导读、课后阅读、网络浏览的基础上自主拓展学习，深入理解大数据的知识内涵。
本课程的教学进度设计见“课程教学进度表”，该表可作为教师授课参考和学生课程学习的概要。实际执行时，应按照教学大纲编排教学进度，按照校历考虑本学期节假日安排，实际确定本课程的教学进度。
本课程的教学评测可以从以下几个方面入手。
（1） 每章的课前导读案例（14项）；
（2） 每章的课后作业（14项）；
（3） 每章的课后实验与思考（13项）；
（4） 课程学习与实验总结（大作业，第14章）；
（5） 结合平时考勤；
（6） 任课老师认为必要的其他考核方法。
本书配备了300分钟精致的微课视频，供读者理解掌握核心知识点。扫描封底的刮刮卡注册，再扫描书中的二维码即可观看视频。与本书配套的教学PPT课件等文档，读者可从清华大学出版社网站下载。
本书的编写得到了温州商学院、浙江安防职业技术学院、浙大城市学院、浙江大学等多所院校师生的支持，在此一并表示感谢！

周苏
2022年春节于西子湖畔

课程教学进度表（20—20学年第学期）

课程号： ×××课程名称： 大数据导论学分： 2周学时： 2
总学时： 32（课外实践学时： 28主讲教师：  ×××）序号校历周次章节（或实验、习题课等）名称与内容学时教学方法课后作业布置11引言与第1章大数据与大数据时代222第1章 大数据与大数据时代233第2章 大数据思维变革244第3章 大数据可视化255第4章 大数据的商业规则266第5章 大数据促进医疗与健康277第6章 大数据激发创造力288第7章 大数据预测分析299第8章 大数据与人工智能21010第9章 大数据存储技术21111第9章 大数据存储技术21212第10章 大数据处理技术21313第11章 大数据与云计算21414第12章 大数据安全与法律21515第13章 数据科学与数据科学家21616第14章 大数据的未来2课前
导读案例

课堂教学作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考作业、实验与思考课程学习与实验总结填表人（签字）：                                   日期：
系（教研室）主任（签字）：                         日期：大数据（Big Data）的力量，正在积极地影响着社会的方方面面，它冲击着许多主要的行业，包括零售业、电子商务和金融服务业等，同时，也正在彻底地改变人们的学习和日常生活： 改变教育方式、生活方式、工作方式，甚至是人们寻找爱情的方式。如今，通过简单、易用的移动应用和基于云端的数据服务，能够追踪自己的行为以及饮食习惯，还能提升个人的健康状况。因此，有必要真正理解大数据这个极其重要的议题。
中国是大数据的潜在市场之一。据估计，中国有近六亿网民，这就意味着中国的企业拥有绝佳的机会来更好地了解其客户并提供更个性化的体验，同时为企业增加收入并提高利润。阿里巴巴就是一个很好的例子。阿里巴巴不但在其商业模式上具有颠覆性，而且还掌握了与购买行为、产品需求和库存供应相关的海量数据。除了阿里巴巴高层的领导能力之外，大数据必然是其成功的一个关键因素。
然而，仅有数据是不够的。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的真知灼见。“以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。”
很多年前，人们就开始对数据进行利用。例如，航空公司利用数据为机票定价，银行利用数据搞清楚贷款对象，信用卡公司则利用数据侦破信用卡诈骗等。但是直到近，数据，或者用现今的说法就是大数据，才真正成为人们日常生活的一部分。随着脸书（Facebook）、谷歌（Google）、推特（Twitter）以及QQ、微信、淘宝等的出现，大数据游戏被永远改变了。你和我，或者任何一个享受这些服务的用户都生成了一条数据足迹，它能够反映出我们的行为。每次我们进行搜索，例如查找某个人或者访问某个网站，都加深了这条足迹。互联网企业开始创建新技术来存储、分析激增的数据——结果就迎来了被称为“大数据”的创新爆炸。
进入2012年以来，由于互联网和信息行业的快速发展，大数据越来越引起人们的关注，已经引发自云计算、互联网之后IT行业的又一大颠覆性的技术革命。人们用大数据来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。
对于在校大学生来说，大数据的理念、技术与应用是一门理论性和实践性都很强的“必修”课程。在长期的教学实践中，我们体会到，坚持“因材施教”的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是： 理论联系实际，结合一系列了解和熟悉大数据理念、技术与应用的学习和实践活动，把大数据的相关概念、基础知识和技术技巧融入实践当中，使学生保持浓厚的学习热情，加深对大数据技术的兴趣、认识、理解和掌握。
本书是为高等院校相关专业，尤其是信息管理、经济管理类专业开设“大数据”相关课程而全新设计编写，具有丰富实践特色的主教材，也可供有一定实践经验的IT应用人员、管理人员参考和作为继续教育的教材。
本书系统、全面地介绍了大数据的基本知识和应用技能，详细介绍了大数据与大数据时代、大数据的可视化、大数据的商业规则、大数据时代的思维变革、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据促进学习、大数据在云端、支撑大数据的技术、数据科学与数据科学家以及大数据的未来等内容，具有较强的系统性、可读性和实用性。
结合课堂教学方法改革的要求，全书设计了课程教学过程，为每章教学内容都有针对性地安排了课前阅读、课程教学内容和课后实验练习等环节，要求和指导学生在课前、课后阅读课文、网络搜索浏览的基础上，延伸阅读，深入理解课程知识内涵。
本课程的教学进度设计见《课程教学进度表》，该表可作为教师授课参考和学生课程学习的概要。实际执行时，应按照教学大纲编排教学进度，按照校历考虑本学期节假日安排，实际确定本课程的教学进度。
本课程的教学评测可以从以下几个方面入手。
（1） 每周的课前阅读（12次）；
（2） 每周的课后实验与思考（11次）；
（3） 课程实验总结（第12章）；
（4） 结合平时考勤；
（5） 任课老师认为必要的其他考核方法。
与本书配套的教学PPT课件等文档可从清华大学出版社网站下载，欢迎教师与作者交流并索取为本书教学配套的相关资料并交流。
本书的编写得到了浙江大学城市学院、浙江省科技人才教育中心、温州安防职业技术学院、浙江商业职业技术学院等多所院校师生的支持，张丽娜、蔡锦锦、孙曙迎、王硕苹等参与了本书的部分编写工作，在此一并表示感谢！

周苏
2016年春节于西子湖畔

这是一个大数据爆发的时代。面对信息的激流、多元化数据的涌现，大数据已经为个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，大数据已经成为IT信息产业中**潜力的蓝海。 “大数据导论”是一门理论性和实践性都很强的课程。本书针对数据科学与大数据技术、人工智能、信息管理、经济管理和其他相关专业学生的发展需求，系统、全面地介绍了关于大数据技术与应用的基本知识和技能，详细介绍了大数据与大数据时代、大数据思维变革、大数据可视化、大数据的商业规则、大数据促进医疗与健康、大数据激发创造力、大数据预测分析、大数据与人工智能、大数据存储技术、大数据处理技术、大数据与云计算、大数据安全与法律、数据科学与数据科学家以及大数据的未来等内容，具有较强的系统性、可读性和实用性。 本书为高等院校“大数据导论”“大数据基础”“大数据概论”等课程全新设计编写，具有丰富的实践特色，可供有一定实践经验的软件开发人员、管理人员参考，也可作为继续教育的教材。

周苏,长期从事计算机等专业教学工作，担任计算机基础、计算机导论、软件工程、软件测试技术、软件体系结构、电子商务、移动商务、多媒体技术、数字媒体技术、项目管理、管理信息系统、应用统计学、C语言程序设计、面向对象程序设计、网络传播技术、网络生态学、人机交互技术、艺术设计概论、艺术欣赏概论、计算机平面设计、信息管理与信息系统概论、信息资源管理、办公软件高级应用、信息安全技术、网络管理技术、科技应用文写作、创新思维与创新方法、大数据与数据挖掘等课程的教学，对计算机学科教学以及应用型院校教学有深刻理解。

第1章大数据与大数据时代1
1.1什么是大数据2
1.1.1天文学——信息爆炸的起源3
1.1.2大数据的定义6
1.1.3用3V描述大数据特征7
1.1.4广义的大数据9
1.2大数据思维10
1.3大数据的结构类型10
1.4大数据的发展11
1.4.1硬件性价比提高与软件技术进步11
1.4.2云计算的普及12
1.4.3大数据作为BI的进化形式13
1.4.4从交易数据分析到交互数据分析13
【作业】14
【实验与思考】了解大数据及其在线支持17第2章大数据思维变革20
2.1转变之一： 样本=总体22
2.1.1小数据时代的随机采样22
2.1.2大数据与乔布斯的癌症治疗25
2.1.3全数据模式： 样本=总体26
2.2转变之二： 接受数据的混杂性27
2.2.1允许不精确27
2.2.2大数据简单算法与小数据复杂算法29
2.2.3纷繁的数据越多越好30
2.2.4混杂性是标准途径31
2.2.55%的数字数据与95%的非结构化数据32
2.3转变之三： 数据的相关关系33
2.3.1关联物，预测的关键33
2.3.2“是什么”，而不是“为什么”35
2.3.3通过因果关系了解世界36
2.3.4通过相关关系了解世界38
【作业】39
【实验与思考】深入理解大数据的三个思维变革41第3章大数据可视化44
3.1数据与可视化46
3.1.1数据的可变性47
3.1.2数据的不确定性48
3.1.3数据所依存的背景信息49
3.1.4打造好的可视化效果50
3.2数据与图形50
3.2.1数据与走势52
3.2.2视觉信息的科学解释53
3.2.3图片和分享的力量54
3.3实时可视化54
3.4数据可视化的运用56
【作业】57
【实验与思考】绘制南丁格尔极区图59第4章大数据的商业规则62
4.1大数据的跨界年度63
4.2谷歌的大数据行动65
4.3亚马逊的大数据行动66
4.4将信息变成竞争优势68
4.4.1数据价格下降而需求上升69
4.4.2大数据应用程序兴起69
4.4.3实时响应大数据用户的要求70
4.4.4企业构建大数据战略71
4.5大数据营销71
4.5.1像媒体公司一样思考72
4.5.2面对新的机遇与挑战72
4.5.3自动化营销73
4.5.4创建高容量和高价值内容74
4.5.5内容营销75
4.5.6内容创作与众包75
4.5.7用投资回报率评价营销效果76
【作业】77
【实验与思考】大数据营销的优势与核心内涵79第5章大数据促进医疗与健康81
5.1大数据与循证医学83
5.2大数据带来的医疗新突破85
5.2.1量化自我，关注个人健康85
5.2.2可穿戴的个人健康设备86
5.2.3大数据时代的医疗信息88
5.2.4CellMiner，对抗癌症的新工具89
5.3医疗信息数字化90
5.4搜索： 超级大数据的伙伴92
5.5数据决策的崛起94
5.5.1数据辅助诊断94
5.5.2你考虑过……了吗94
5.5.3大数据分析使数据决策崛起96
【作业】96
【实验与思考】熟悉大数据在医疗健康领域的应用98第6章大数据激发创造力100
6.1大数据帮助改善设计102
6.1.1少而精是设计的核心102
6.1.2与玩家共同设计游戏103
6.1.3以人为本的汽车设计理念104
6.1.4寻找音响效果106
6.1.5建筑，数据取代直觉107
6.2大数据操作回路107
6.2.1信号与噪声108
6.2.2大数据反馈回路108
6.2.3小数据规模109
6.2.4大数据应用程序优势与作用109
6.3情感分析110
6.3.1数据情感和情感数据110
6.3.2焦虑指数与标普500指数114
6.3.3验证情感和被验证的情感115
6.3.4情绪指标影响金融市场116
【作业】118
【实验与思考】大数据如何激发创造力120第7章大数据预测分析122
7.1什么是预测分析126
7.1.1预测分析的作用126
7.1.2数据具有内在预测性128
7.1.3定量分析与定性分析129
7.2统计分析129
7.2.1A/B测试129
7.2.2相关性分析131
7.2.3回归性分析132
7.3数据挖掘132
7.4大数据分析生命周期133
7.4.1商业案例评估134
7.4.2数据标识135
7.4.3数据获取与过滤135
7.4.4数据提取135
7.4.5数据验证与清理137
7.4.6数据聚合与表示137
7.4.7数据分析138
7.4.8数据可视化139
7.4.9分析结果的使用139
【作业】140
【实验与思考】大数据准备度自我评分表142第8章大数据与人工智能146
8.1人工智能概述148
8.2机器学习基础150
8.2.1什么是机器学习150
8.2.2基本结构152
8.2.3研究领域153
8.3机器学习分类153
8.3.1基于学习策略分类154
8.3.2基于知识表示形式分类155
8.3.3按应用领域分类155
8.3.4按学习形式分类156
8.4神经网络158
8.5语义分析160
8.5.1自然语言处理160
8.5.2文本分析161
8.5.3语义检索162
8.6视觉分析163
8.6.1热点图163
8.6.2时间序列图164
8.6.3网络图164
8.6.4空间数据制图166
【作业】166
【实验与思考】了解大数据与人工智能分析168第9章大数据存储技术172
9.1分布式处理173
9.1.1分布式系统174
9.1.2分布式文件系统175
9.1.3并行与分布式数据处理175
9.1.4分布式存储176
9.2大数据存储的概念177
9.2.1存储虚拟化177
9.2.2集群177
9.2.3分片与复制178
9.2.4CAP定理181
9.2.5BASE设计原理183
9.3NoSQL数据库185
9.3.1主要特征186
9.3.2键值存储188
9.3.3文档存储189
9.3.4列簇存储190
9.3.5图存储191
9.3.6NoSQL与RDBMS的主要区别192
9.4NewSQL数据库194
9.5内存存储技术195
【作业】196
【实验与思考】熟悉大数据存储技术200第10章大数据处理技术203
10.1开源技术商业支援205
10.2大数据技术架构206
10.3Hadoop数据处理基础207
10.3.1Hadoop的由来208
10.3.2Hadoop的优势209
10.3.3Hadoop的发行版本209
10.3.4Hadoop与NoSQL211
10.4大数据处理模式213
10.4.1处理的特点与工作量213
10.4.2SCV原则214
10.4.3批处理模式215
10.4.4实时处理模式221
【作业】224
【实验与思考】熟悉大数据技术架构与处理226第11章大数据与云计算229
11.1什么是云计算230
11.1.1云计算定义230
11.1.2云基础设施231
11.2计算虚拟化232
11.3网络虚拟化233
11.3.1网卡虚拟化233
11.3.2虚拟交换机234
11.3.3接入层虚拟化235
11.3.4覆盖网络虚拟化235
11.3.5软件定义网络（Software Defined Network,SDN）235
11.4云计算服务形式236
11.5大数据与云计算237
11.5.1云计算与大数据相辅相成237
11.5.2对大数据处理的意义238
11.5.3数据即服务238
11.6云的挑战239
【作业】240
【实验与思考】深入理解云计算与大数据的相辅相成242第12章大数据安全与法律245
12.1消费者的隐私权249
12.2大数据的安全问题251
12.2.1采集汇聚安全252
12.2.2存储处理安全252
12.2.3共享使用安全253
12.3大数据的管理维度254
12.4大数据的安全体系255
12.4.1大数据安全技术体系255
12.4.2大数据安全治理256
12.4.3大数据安全测评256
12.4.4大数据安全运维257