大数据导论（通识课版）

大数据时代，通才的你，
需要一本新通识读本
涂子沛先生在其著作《数商》中提到涂子沛. 数商［M］. 北京： 中信出版社，2020. ，人类文明正在发生一场大跃迁，从以文字为中心转变到以数据为中心，进入“数文明”时代。要在新时代的竞争中胜出，需要新的思维、技能和工具。关于大数据，经过多年的宣传和浸染，人们或许不再陌生了。或许你会问，使用大数据是IT（Information Technology，信息技术）公司或理工科专业人士做的事，我自己不从事IT行业，怎么会使用到大数据呢？事实上，大数据与我们休戚相关。在日常生活中，我们都不知不觉地使用了大数据，并且也在或主动或被动中为那些给我们提供服务的各种应用程序（Application，App）提供数据。比如说，如果使用搜索引擎（百度或谷歌等），实际上是在和大数据打交道。当我们“免费”使用百度时，如同“雁过留声”，我们会留下很多网络数字印迹，这些印迹会以日志的形式在后台保留下来，而这些日志（数据）就是我们“免费”使用大数据而为大数提供商提供的“补偿”。天下没有免费的午餐！再比如爱美人士可能会用美图秀秀一键修个漂亮的脸庞。然而细细思量之后，你会发现这背后并不简单。这个软件的审“美”标准并不是无中生有的，而是将用户的脸往所谓的“标准的脸”上靠（即大众审美的观感），而“标准的脸”又是从哪里来的呢？很简单！它是我们每个人脸的平均值，这就是大数据归纳的结果。那么，这些脸部大数据又是从哪里来呢？就是千千万万的我们所“奉献”的。可以想象，如果美图秀秀能“穿越”到盛世唐朝，各路网络直播达人定以“胖”为美。类似地，很多智能手机都提供了很多人脸识别功能，而它们也是建立在大数据基础之上的。上面的案例说明，处于大数据时代，我们每个人能“躬身入局”，既是大数据的消费者，又是大数据的生产者，身在其中，逃无可逃。既然如此，这个“如影相随”的大数据时代，我们该如何更好地生存呢？不论我们所学何种专业，从事何种职业，当然都需要更好地了解大数据的本质、方法论和底层运作的逻辑。大数据导论(通识课版)前言大数据时代，通才的你，需要一本新通识读本这个世界充满了不确定性，它主要来自于两方面： 一是影响世界的变量太多，以至于无法用精确的数学模型来描述；二是来自客观世界本身，不确定性是人们所在宇宙的特性。人是天生需要安全感的物种，而安全感的获得，主要来自不确定性的消除。吴军博士认为吴军. 智能时代： 大数据与智能革命重新定义未来［M］. 北京： 中信出版社，2016. ，大数据是解决不确定性的良药。我们要用不确定的眼光看待世界，再用（来自大数据的）信息来消除这种不确定性，这是大数据的本质和使命所在。目前，“大数据”是个非常流行的概念。相关的学术著作自然也是汗牛充栋，开设数据科学与大数据专业的高校也如雨后春笋般地涌现。因此，为读者介绍大数据宏观知识的读本——《大数据导论》也纷纷面市。那为什么我还要再写这么一本《大数据导论》（通识课版）呢？原因有如下两方面。
（1） “温故而知新”是知识普及与传承的重要手段。历史学家陈寅恪先生授课时有著名的“三不讲”： 书上讲过的不讲，别人讲过的不讲，自己讲过的不讲，要讲就讲的思考。如果用陈寅恪先生的“三不讲”做学术研究，境界很高，但不太适合于知识的科普与推广。就我个人而言，很喜欢法国作家安德烈·纪德（Andre Gide）的话： “所有值得拿出来说的事情，早就已经被人说过了。但是，由于以前根本没有人在听，所以必须拿出来再说一遍。”所以，我再来写一本《大数据导论》（通识课版），无非就是重新强调一遍大数据的重要性，以便在更大范围内推广数据科学的知识，为全民数据文化的形成尽一份力。（2） 本书有独有的特色，值得在读者心里有个位置。个中缘由，并不复杂，因为市面上大多数相关图书都是面向专业读者的，而对于非专业读者（如人文专业），让他们看得懂、看得进去的通识课版本是少之又少。写一本跨专业都能读得懂的《大数据导论》，是有价值的！这是因为，基于数据的创新是需要想象力的。而想象力的延展，通常需要跳出当前业务，打通涉及大数据产业的不同领域。多专业融合，才能构建新的洞察力。大数据的蓬勃发展、基于数据科学的创新应用，需要其他领域与数据领域深度融合，从而触发灵感，进而发现新的理论体系和应用架构。因此，培养有数据思维的人才，打破技术壁垒、数据壁垒和学科壁垒，是未来人才培养的方向。我们知道，大数据从来都不是以“技术”为其底色。科学作家万维钢就说万维钢. 学习究竟是什么［M］. 北京： 新星出版社，2020.，专才是分工的产物，很多时候，专才把自己变成了一个工具人，等待社会的挑选，而通才的首要目标是完善自己。特别是人工智能（Artificial Intelligence,AI）正在接管大部分专业工作的时候，世界越来越需要通才。本书和万维钢的说法遥相呼应。本书不仅仅给读者介绍大数据处理流程中的多层技术图谱，而且更侧重地讨论了与数据科学相关的历史、哲学和伦理学，以便于读者拓展跨领域的数据思维。当然，并非说本书仅仅是为人文学科的读者准备的。事实上，本书同样适用于理工科读者。这是因为，虽然理工科背景的读者不缺乏大数据技术的熏陶（事实上，我们在第6章也为读者准备了非常硬核的大数据技术图谱），但提高自己的人文修养，能够让自己站得更高，看得更远，也让自己未来的大数据之路走得更加顺畅。毕竟人一旦走到管理层，将更需要用自己的人文素养来驾驭技术的走向、限定技术的边界。举例来说，很多风险投资人是（半个）哲学家，华尔街有时也喜欢录取哲学专业的毕业生，所谓何来？就是因为，哲学能让人适应矛盾。换句话说，如果一个人掌握多种思维模型，学会从不同的视角考察一件事，就能做出好的选择。对大数据的决策又何尝不是如此呢？客观来说，大数据是一个前沿学科，很多观点和概念都在快速发展、不断迭代中，即很多知识并没有定论。因此，本书力图博采众长，吸纳众学者的观点，甚至一些观点针锋相对，意见相左。这又有什么关系呢？本书所希望的就是，通过本书的阅读，读者对大数据的认知更加多元，具备独立思考之精神，通过哲学之思辨，对大数据理解更加透彻，进而成为大数据的参与者、建设者，甚至是开拓者。
作者联系方式
大数据科学是一个前沿且广袤的研究领域，很少有人能对其每个研究方向都有深刻的认知。我自认才疏学浅，同时限于时间与篇幅，书中难免出现理解偏差和疏漏之处。若读者朋友们在阅读本书的过程中发现问题，希望能及时通过邮箱(bljdream@163.com)与我联系，我将在时间修正并不胜感激。致谢
本书能得以面市，得益于多方面的帮助和支持。在信息获取上，笔者学习并吸纳了很多精华知识，书中也尽可能地给出了文献出处，如有疏漏，望来信告知。在这里，对这些高价值资料的提供者、生产者表示深深的敬意和感谢！此外，很多人在这本书的出版过程中扮演了重要角色，如河南工业大学的石岩松、陈伟楷、张开元和夏志强等付出了辛勤的劳动，在此对他们一并表示感谢！张玉宏2020年9月于美国卡梅尔

大数据已深深渗透于人们工作和生活的方方面面。然而，大数据从来都不是以“技术”为其**底色，基于数据科学的创新应用，同样需要其他领域深度融合。本书阐述了培养具有大数据素养的综合型人才所需要的相关知识储备。本书不仅介绍大数据处理流程中的技术图谱，而且更侧重地讨论了与数据科学相关的历史、哲学及伦理学，以便于读者拓展跨领域的数据思维。为了增强图书的可读性，图书描述形式力图新颖，内容深入浅出、文笔流畅、图文并茂，大幅降低非计算机类相关专业读者的学习曲线。 作为通识类课程教材，本书服务于具有数据素养的综合型人才的培养。因此，本书的读者对象是具有文科或理工科背景且对大数据行业感兴趣的读者。

张玉宏，2012年博士毕业于电子科技大学，大数据分析师（高级），美国西北大学访问学者、IUPUI高级访问学者，现执教于河南工业大学，先后出版《深度学习之美》《品味大数据》等科技畅销书7部。

第1章大数据之大历史1
1.1大历史的概述1
1.2远古时代的数据思维2
1.2.1数字的产生2
1.2.2人类的数字感3
1.2.3数字感给我们的历史启迪6
1.2.4计数系统的起源与发展7
1.2.5数字的诞生10
1.2.6数字与数据的不同11
1.2.7语言与文字12
1.2.8文言文的“无奈”精简13
1.2.9古代的“数据中心”——图书馆16
1.3近代数据思维的崛起18
1.3.1统计学的诞生18
1.3.2“政治算术”的内涵19
1.3.3统计分析科学的诞生20
1.3.4概率论的动机21
1.3.5社会物理学背后的玄机22
1.3.6美国式的人口普查——大数据催生新技术24
1.4数据管理的发展与演进25
1.4.1电子数字存储介质的演化26
1.4.2简陋的“有文无库”时代27
1.4.3“穷”则思变之网状数据库28
1.4.4浓墨重彩之关系数据库30大数据导论(通识课版)目录1.4.5突破数据共享的封锁线31
1.4.6向非结构化进发的大趋势33
1.5大数据的诞生35
1.5.1大数据术语的历史渊源35
1.5.2在混沌和秩序转化中螺旋上升37
1.6本章小结38
思考与练习39
本章参考文献40
第2章大数据内涵与数据文化42
2.1从数据、信息，到知识、智慧的飞跃42
2.2大数据的多版本定义46
2.3大数据的经济地位48
2.3.1新时代的生产资料48
2.3.2数据与第二经济49
2.4各方位的重视50
2.4.1来自学术界的青睐51
2.4.2来自政府层面的认可52
2.4.3来自工商业的追捧53
2.5大数据内涵——岂止于大55
2.5.1大数据之“大”有不同56
2.5.2大数据之唯“快”不破59
2.5.3大数据之五彩缤“纷”64
2.5.4大数据之价“值”无限66
2.5.5包括但不限于4V68
2.6数据文化与未来之路70
2.6.1三人成虎——数据真的越大越好吗70
2.6.2数据文化的养成71
2.7本章小结72
思考与练习73
本章参考文献73
第3章大数据创新与实践75
3.1洞察带来数据价值75
3.2安德森的学术观点78
3.3数据、模型与理论的关系79
3.4谷歌是如何预测流感的82
3.4.1流感治疗网络化82
3.4.2无意间生产的大数据84
3.4.3谷歌工程师的杰作——流感预测趋势84
3.4.4谷歌公司的流感预测为何成功？86
3.4.5案例小结87
3.5全数据是如何为叶诗文抱不平88
3.5.1舍恩伯格的三个学术观点88
3.5.2叶诗文事件的新闻背景88
3.5.3什么是性能分析法89
3.5.4质疑的合理性在哪里90
3.5.5“大数据=全数据”的威力——为叶诗文抱不平92
3.5.6案例小结94
3.6教育大数据是如何干预学生成长的95
3.6.1饭卡数据的二次使用95
3.6.2一卡通数据的另类解读97
3.6.3案例小结97
3.7更多大数据应用案例98
3.7.1基于位置服务98
3.7.2商品和服务的个性化推荐99
3.7.3客户叛离分析99
3.7.4服务软件改善100
3.8数据价值如何得以变现102
3.8.1数据变现的途径102
3.8.2计算广告是如何实现数据变现的104
3.8.3信用——大数据时代的另类资产107
3.9利用大数据的三个层次109
3.9.1对过去/现状的把握109
3.9.2对未来的预测110
3.9.3对行动的优化110
3.10本章小结112
思考与练习112
本章参考文献113
第4章数据科学的认知方法论114
4.1大、小数据的“质”不同114
4.2大数据的数理哲学基础——同构关系116
4.2.1阿喀琉斯追乌龟116
4.2.2大数据的同构映射118
4.3大数据的认知论120
4.3.1科学始于观察——逻辑证实主义120
4.3.2证实主义的困顿——来自波普尔的批判123
4.3.3科学始于问题——波普尔的贡献124
4.3.4科学始于数据——数据科学带来转机125
4.4大数据科学研究的第四范式130
4.4.1库恩与范式130
4.4.2科学研究的前三个范式132
4.4.3数据科学的第四范式135
4.5科学哲学对大数据时代的启发136
4.5.1多范式并存137
4.5.2科学纲领内允许有波动139
4.6本章小结139
思考与练习140
本章参考文献140
第5章大数据反思与数据伦理142
5.1来自大数据的反思1425.1.1园中有金不在金——大数据的价值到底在哪里142
5.1.2盖洛普抽样的成功——大小之争，大数据一定胜过小抽样吗144
5.1.3点球成金——数据流与球探谁更重要145
5.1.4你若安好，便是晴天——大数据很好，但小数据也很美146
5.1.5预测即干预——谷歌流感预测是如何失效的151
5.1.6扑朔离迷的相关性—— 误把相关当因果154
5.2大数据算法是中性的吗157
5.2.1大数据伦理157
5.2.2大数据算法的责任158
5.2.3人类的文化偏见存于大数据之中158
5.2.4大数据算法的生物学特性表现159
5.2.5大数据算法歧视的心理学特质160
5.2.6可能的应对策略162
5.3大数据的隐私之痛164
5.3.1个人隐身，无处可藏164
5.3.2优步的“荣耀之旅”165
5.3.3有关数据隐私的立法166
5.3.4隐私与便利的权衡167
5.4本章小结169
思考与练习170
本章参考文献171
第6章大数据处理的技术图谱173
6.1大数据价值的技术实现173
6.2大数据技术的几个重要概念174
6.2.1非结构化（NoSQL）174
6.2.2面向列的存储176
6.2.3CAP理论178
6.2.4MapReduce范式180
6.3大数据分析关键架构层概要182
6.3.1文件系统层1826.3.2数据存储层185
6.3.3资源管理层187
6.3.4计算协调层189
6.3.5计算框架层190
6.3.6数据分析层193
6.3.7数据集成层194
6.3.8操作框架层196
6.4本章小结198
6.5思考与练习199
本章参考文献199

大数据已深深渗透于人们工作和生活的方方面面。然而，大数据从来都不是以“技术”为其**底色，基于数据科学的创新应用，同样需要其他领域深度融合。本书阐述了培养具有大数据素养的综合型人才所需要的相关知识储备。本书不仅介绍大数据处理流程中的技术图谱，而且更侧重地讨论了与数据科学相关的历史、哲学及伦理学，以便于读者拓展跨领域的数据思维。为了增强图书的可读性，图书描述形式力图新颖，内容深入浅出、文笔流畅、图文并茂，大幅降低非计算机类相关专业读者的学习曲线。 作为通识类课程教材，本书服务于具有数据素养的综合型人才的培养。因此，本书的读者对象是具有文科或理工科背景且对大数据行业感兴趣的读者。

张玉宏，2012年博士毕业于电子科技大学，大数据分析师（高级），美国西北大学访问学者、IUPUI高级访问学者，现执教于河南工业大学，先后出版《深度学习之美》《品味大数据》等科技畅销书7部。