数据之巅

推荐序一 进入一个重要的现代文化园地 /许倬云  //XIII
推荐序二 一部精彩纷呈的时代杰作 /郭为   //XVII
推荐序三 大数据可以创造未来 /王巍   //XXIII

部分 小数据之历史

章 初数时代：奠基共和
克服民主的劣势：用数据分权  //004
制度创新：变对抗为合作的魔法棒  //012
两党之争：无法精确分割的权力  //015
亚拉巴马悖论：没有完美的方案  //025
有数初成：共和政治反哺数据文化  //032
中国往事：次现代意义上的人口普查  //042

第二章 内战时代：终结奴隶制的灯塔
人口普查：南方的敌人  //049
用数据辩论：南北战争的序幕  //055
用数据远征：向大海进军  //064
政治计算：解放黑奴的真正原因  //083
兵家和数据：中国历史上的吉光片羽  //089

第三章 爆发：镀金时代的三重崛起
用数据预测：转变思维方式  //099
总统之死：专业化的悲情序曲  //107
世纪：大数据驱动的创新  //121
和政治分家：劳工统计的异军突起  //131
姑娘、棉花和数据：究竟谁在推动历史  //138尘封的瑰宝：中国的数据可视化先驱   //146

第四章 量化：进步时代的数据大潮
用数据决策：水利工程中的数据竞争 //159
冲击量化的极限：给生命定价 //169
“平托”风波：福特公司的道德危机 //175
用数据来审判：理性的必然选择 //184
代理人需要监督：成本收益分析方法的未来 //189
思考中国话题：民族复兴能否量化？ //200

第五章 抽样时代：统计革命的福祉
从选票到电影票：和《乱世佳人》共舞 //207
用数据跨界：质量大师是怎样炼成的 //219
旋转质量的飞轮：日本崛起 //225
世纪之问：日本行，为什么我们不行？ //237

第二部分 大数据的崛起

推荐序一  进入一个重要的现代文化园地

涂子沛先生所著的这部大作，是大数据时代的应时之作。
他将数据用在管理和研究方面的发展史，以数据在美国的发展过程作为主要内容。他将美国开国时期的人口普查作为起点，讨论民主制度如何经过数据的调查才能发展成为“一人一票”的制度。接着，19世纪中叶，美国向西开发，美国的工程兵团进行丈量和调查，使美国的地理状况和疆域都有明白的依据。20世纪“打孔”计算方法的发明，开创了后世计算器管理大量数据的技术。到今天，我们日常生活中，因为计算机和网络的普及，数据无处不在。以治病为例，要判断疾病的性质或药物的效果，必须将大量的数据作为诊断和治疗的依据。凡此，都是数据的应用。
美国的社会愈来愈复杂，在资本主义的国家，证券交易乃是一桩大事。单单用统计来管理证券，已经不太够用。近30来年，许多大证券商为了预测经济的起落和某一种产业的兴衰，大量地使用不同产业之间的关系，也顾及国际贸易的情形。这些私营的企业，几乎都能相当精准地判断市场的情形。于是，美联储实际上就是美国的中央银行，也必须更细密地运用许多数据，以掌握经济的全貌，然后再决定对市场供应的货币是从宽还是从紧。这才是大数据的次应用。
中国古代兵书《孙子兵法》就说过：“算则胜，不算则不胜；多算胜，少算则不胜。”此处的“算”字，就是指如何利用数字估计各种因素。一个能干的将领打一次战役，要考虑到天时、地利、人和，这都是可以用数字表现的。但是，一个治国的领袖，在上述因素以外，还得考虑许多其他的条件。 1942年，日本偷袭珍珠港，以为可以一棒打死美国。他们没算到，美国工业的实力有充分的再生力量，三个月之内，美国立刻就能恢复足够的海空实力。这就是日本军人，他们只知道计算战役，不会计算战争。到今天，安倍野心勃勃，处处挑衅，他志在日本复兴。他的计算，大概又是计算自己现在的兵力和科技能力；他没有算到，自己的原料供应不够，能源不能自主，人口结构老化：这就是“算”得不够。
大数据之“大”，就在于将各种分散的数据彼此联系，由点而线，由线而面，由面而层次，让人瞻见更完整的覆盖面，也更清楚地理解事物的本质和未来的取向。人脑的结构，足够发挥联想力和推论。在每天的日常生活中，我们时时刻刻在不知不觉中做大数据的工作，将许多因素综合在一起，作为行动和决定的依据。只是，一个国家或一个社会的发展，不能全靠眼睛看得见的一些讯息。有许多事物，必须依靠全面和长期的发展情况，才能真实地反映当时一切决定的背景和条件。
今天，信息科学的发展已经能够产生、存储并实时地分析处理大量的信息，整合多个源头的数据，形成全面的多项关系，指出线性的发展方向，引导我们拥有广阔的视野了。计算机今天处理数据的能力和速度，已经超过聪明的个人。可是，使用计算机的还是“人”，如何驾驭这些数字，还是“人”在设计。只是，我们必须要有此认识：今天的世界，已经千丝万缕，将各地、各种行业、各种条件，纠缠成一个复杂的全球网络。管理大企业和管理国家，必须要有足够的信息，了解多种多样的情况，以全面地理解各种问题及其彼此的关联。即使是对个人而言，因为越来越多的行为已经转变为电子化的记录，其生活也变得和大数据息息相关。大数据这个课题十分重要，我盼望有更多的学者在这方面写出更多的作品。
涂子沛先生的大作，是讨论大数据较早的中文作品；在此以前，还罕见讨论数据作为管理方式的书籍。这本书主要以美国社会中数据的使用为例。我知道他一心想用这些例子提醒中国的读者：在信息科学高度发展的今天，我们不能再忽略数据的使用。涂子沛先生开启了一扇大门，我相信，后面他会开启更多扇门，让大家进入这一个重要的现代文化园地。

许倬云
著名历史学家、美国匹兹堡大学历史系荣誉讲座教授

推荐序一  进入一个重要的现代文化园地

涂子沛先生所著的这部大作，是大数据时代的应时之作。
他将数据用在管理和研究方面的发展史，以数据在美国的发展过程作为主要内容。他将美国开国时期的人口普查作为起点，讨论民主制度如何经过数据的调查才能发展成为“一人一票”的制度。接着，19世纪中叶，美国向西开发，美国的工程兵团进行丈量和调查，使美国的地理状况和疆域都有明白的依据。20世纪“打孔”计算方法的发明，开创了后世计算器管理大量数据的技术。到今天，我们日常生活中，因为计算机和网络的普及，数据无处不在。以治病为例，要判断疾病的性质或药物的效果，必须将大量的数据作为诊断和治疗的依据。凡此，都是数据的应用。
美国的社会愈来愈复杂，在资本主义的国家，证券交易乃是一桩大事。单单用统计来管理证券，已经不太够用。近30来年，许多大证券商为了预测经济的起落和某一种产业的兴衰，大量地使用不同产业之间的关系，也顾及国际贸易的情形。这些私营的企业，几乎都能相当精准地判断市场的情形。于是，美联储实际上就是美国的中央银行，也必须更细密地运用许多数据，以掌握经济的全貌，然后再决定对市场供应的货币是从宽还是从紧。这才是大数据的次应用。
中国古代兵书《孙子兵法》就说过：“算则胜，不算则不胜；多算胜，少算则不胜。”此处的“算”字，就是指如何利用数字估计各种因素。一个能干的将领打一次战役，要考虑到天时、地利、人和，这都是可以用数字表现的。但是，一个治国的领袖，在上述因素以外，还得考虑许多其他的条件。 1942年，日本偷袭珍珠港，以为可以一棒打死美国。他们没算到，美国工业的实力有充分的再生力量，三个月之内，美国立刻就能恢复足够的海空实力。这就是日本军人，他们只知道计算战役，不会计算战争。到今天，安倍野心勃勃，处处挑衅，他志在日本复兴。他的计算，大概又是计算自己现在的兵力和科技能力；他没有算到，自己的原料供应不够，能源不能自主，人口结构老化：这就是“算”得不够。
大数据之“大”，就在于将各种分散的数据彼此联系，由点而线，由线而面，由面而层次，让人瞻见更完整的覆盖面，也更清楚地理解事物的本质和未来的取向。人脑的结构，足够发挥联想力和推论。在每天的日常生活中，我们时时刻刻在不知不觉中做大数据的工作，将许多因素综合在一起，作为行动和决定的依据。只是，一个国家或一个社会的发展，不能全靠眼睛看得见的一些讯息。有许多事物，必须依靠全面和长期的发展情况，才能真实地反映当时一切决定的背景和条件。
今天，信息科学的发展已经能够产生、存储并实时地分析处理大量的信息，整合多个源头的数据，形成全面的多项关系，指出线性的发展方向，引导我们拥有广阔的视野了。计算机今天处理数据的能力和速度，已经超过聪明的个人。可是，使用计算机的还是“人”，如何驾驭这些数字，还是“人”在设计。只是，我们必须要有此认识：今天的世界，已经千丝万缕，将各地、各种行业、各种条件，纠缠成一个复杂的全球网络。管理大企业和管理国家，必须要有足够的信息，了解多种多样的情况，以全面地理解各种问题及其彼此的关联。即使是对个人而言，因为越来越多的行为已经转变为电子化的记录，其生活也变得和大数据息息相关。大数据这个课题十分重要，我盼望有更多的学者在这方面写出更多的作品。
涂子沛先生的大作，是讨论大数据较早的中文作品；在此以前，还罕见讨论数据作为管理方式的书籍。这本书主要以美国社会中数据的使用为例。我知道他一心想用这些例子提醒中国的读者：在信息科学高度发展的今天，我们不能再忽略数据的使用。涂子沛先生开启了一扇大门，我相信，后面他会开启更多扇门，让大家进入这一个重要的现代文化园地。

许倬云
著名历史学家、美国匹兹堡大学历史系荣誉讲座教授

数据，自古就有，人口普查、农业统计、军事战争、政治计算……数据虽小，却有助于治国安邦。美国之所以繁荣鼎盛，数据文化根基牢不可破概是主因之一。
信息爆炸、互联互通、智慧城市时代，大数据，更以排山倒海之势席卷全球，政府施政、企业掘金，大众要公平与正义，大数据被赋予了新的历史使命。
在《数据之巅：大数据革命，历史、现实与未来》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起，通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征，系统梳理了美国数据文化的形成，阐述了其数据治国之道，论述了中国数据文化的薄弱之处，展望了未来数据世界的远景。
“尊重事实，用数据说话”，“推崇知识和理性，用数据创新”，作者不仅意在传承黄仁宇“数目字管理”的薪火，还试图把数据这个科技符号在中国转变为文化符号，形成一种文化话语体系。大数据正在撬动中国的制度创新、科技创新。阅读此书，历史与现实相互融合，知识与激情相互交织，思想与观念相互碰撞，未来与前景必定豁然开朗。

第六章 开放时代：内开放的历程

内开放1.0 ：数据承载知情权 //249

内开放2.0 ：用数据制衡 //251

悲剧现场的个问题：普查局的数据之痛 //261

LEHD项目：开放数据的使用权 //267

内开放3.0：用数据推动创新 //283

2012年：来自中国的组织创新 //291

第七章 大数据时代：通往计算型的智能社会

世上本没有数：正解大数据 //297

改变世界的三股力量：大数据的成因 //301

有数据，还要有计算：计算型社会的兴起 //315

普适计算：即将到来的超级数据爆炸 //323

数据和计算：第三次工业革命的CPU //327

数据之巅：通向智能型社会的挑战 //336

第八章 智慧城市：正在拍打世界的浪潮

西方和东方：聪明和智慧 //354

目标锁定“城市平台”：神州数码对话录 //360

众包、众智和众创：让大众解决大众的问题 //368

云、隐私和未来：中国和美国的不同挑战 //378

结语 把握后发优势：把科技符号变成文化符号 //391

后记 蝴蝶振翅 //397

编后记  //403

索引  //407

数据，自古就有，人口普查、农业统计、军事战争、政治计算……数据虽小，却有助于治国安邦。美国之所以繁荣鼎盛，数据文化根基牢不可破概是主因之一。

信息爆炸、互联互通、智慧城市时代，大数据，更以排山倒海之势席卷全球，政府施政、企业掘金，大众要公平与正义，大数据被赋予了新的历史使命。

在《数据之巅：大数据革命，历史、现实与未来》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起，通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征，系统梳理了美国数据文化的形成，阐述了其数据治国之道，论述了中国数据文化的薄弱之处，展望了未来数据世界的远景。

“尊重事实，用数据说话”，“推崇知识和理性，用数据创新”，作者不仅意在传承黄仁宇“数目字管理”的薪火，还试图把数据这个科技符号在中国转变为文化符号，形成一种文化话语体系。大数据正在撬动中国的制度创新、科技创新。阅读此书，历史与现实相互融合，知识与激情相互交织，思想与观念相互碰撞，未来与前景必定豁然开朗。

旋转质量的飞轮：日本崛起

“二战”后的日本一片废墟，由于战败，日本甚至一度失去了主权国家的地位：在1945—1952年，整个日本的治理权由美国军队接管。但出人意料的是，日本很快就摆脱了军事失败的困境，仅仅在15年之后的1960年，日本就超越了联邦德国，一跃成为全球第二大经济体。
日本的浴火重生是世界经济史上的奇迹。1894年，美国超越英国，成为全球大经济体，这对很多人来说，很容易理解、接受，毕竟就国土面积、自然资源而言，美国本身就是“庞然大物”，但日本，这个面积不到美国5%的弹丸之地，“二战”之后一片废墟，何以在极短的时间内崛起为世界经济舞台上的巨人并和美国并驾齐驱？
今天回头看，日本的秘密其实没有其他，就是承认自己的不足，诚意地向西方国家学习，不断引进、不断消化、不断建设，终在器物、制度、文化三个方面都和西方文明接轨，成为先进文明的一部分。
在这个过程中，日本也从美国获得了极大的帮助。盟军总司令麦克阿瑟（Douglas MacArthur）接管日本之后，对日本的政治、经济和文化领域进行了大刀阔斧的改革。他在三年之内，就帮助日本制定了新的宪法，完成了三权分立的政治体制改造，把日本从一个专制国家转变为一个民主国家，并实现了新闻自由、妇女平权、教育普及等社会改革，其速度和效果也向后世证明，一个国家完全可能在短时间内脱胎换骨。
麦克阿瑟的改革，为日本打造了一个文明的政治制度，但直到戴明出现，日本才找到其经济起飞的“教父”，而其中的机缘，竟然又是人口普查。
1947年，在麦克阿瑟的邀请下，戴明搭乘军用飞机抵达日本。戴明的主要任务，就是利用抽样的技术，帮助日本开展战后的次人口普查，通过普查对战争给日本社会造成的破坏程度进行评估，为其经济规划提供数据支持，例如每年应该营建多少新房屋来满足人们的需要、每个地区的公共资源又该如何根据人口数量进行配置等。
戴明并不懂日语，但普查给他提供了大量在各地走访的机会。他发现，战争给日本造成了严重的破坏，物资匮乏、粮食紧张，大部分人都填不饱肚子，但整个日本社会异常镇静，到处干净整洁。这种强烈的对比给戴明留下了极为深刻的印象，令他对日本民族刮目相看。戴明在日记中写道：“虽然整个日本都在饥饿中挣扎，但日本人仍然乐观、开心，到处都很干净，他们期待着新一天的来临。”
因为对日本文化的尊敬，戴明结识了不少日本朋友，也被日本统计协会聘为首位外籍荣誉会员。但这次旅程只是一个序幕，就像他在美国的职业生涯一样，意外还将发生，主题还要转换。
随着经济建设的铺开，日本的工商界认识到，日本的粮食不能自给，若能扩大工业出口，就可以用外汇换取粮食，而要扩大出口，唯有改善产品质量、增强竞争力，但日本商品在国际上恰恰以“山寨”“低劣”而闻名。于是，在麦克阿瑟的支持下，日本的通信设备制造行业召开了次高级管理人员会议，探讨如何提高产品质量。在这次会议上，美国电话行业的经验被作为重点进行了介绍，自然，休哈特的书、戴明的名字又被提及。
就这样，1950年6月，戴明又收到日本科学与工程联盟（JUSE，以下简称“日工盟”）的邀请，这次，他作为日本的老朋友、质量管理专家，搭乘军用飞机再次飞赴日本。
日工盟是在“二战”期间由日本的科技工作者、工程师组建的一个社会团体，其目标是帮助国家进行经济重建，但在邀请戴明加入之前，这个组织和其他大多数社会团体一样，成员聚在一起，无非就是聚会、清谈、吃饭，对于如何开展战后重建，根本拿不出具体的方法和明确的意见。
戴明给他们带来了一整套运用统计提高产品质量的方法。1950年6月16日，戴明在东京大学举办了个讲座。虽然天气炎热，也没有空调，但当时座无虚席，过道上也站满了听众，一个教室里挤了500多人，其中有教授、政府官员，也有企业的工程师和管理人员。一堂课下来，戴明满头大汗，但其视线所及之处，听众的脸上都是专注的眼神、推崇的表情。戴明后来回忆说，在日本，他见到了好的、认真的学生。
在日工盟的安排下，戴明从南到北在日本巡讲。但戴明没有忘记他在美国的经验，他知道，如果要改变日本，就必须从日本的管理层入手，只有这样，质量管理体系才能真正扎根，而不是昙花一现。他向日工盟的主席石川一郎提出，他希望见到日本企业的管理层，而不仅仅是一线的工程师。巧的是，石川一郎除了担任日工盟主席，还在当时日本的商业组织“日本经济团体联合会”（Nihon Keidanren）任职。
1950年7月13日，在他的安排下，戴明见到了日本的21位行业巨头，戴明和他们一起坐榻榻米、喝清酒、看艺伎表演。这21位行业巨头管理着日本近80%的财富。在晚餐会上，戴明直接告诉他们：“日本可以用高质量的产品换回粮食，这种做法并不少见，美国的芝加哥是这样，瑞士、英国也是这样！”戴明继而向他们承诺说：“如果按照我倡导的原则去做，你们就可以生产出高质量的产品。5年内，日本的产品将占领整个国际市场。”
5年？！
当时晚餐会上所有的人都认为这匪夷所思，不仅这21人，当时整个日本工商界都认为，其产品要和欧美的产品相提并论简直是痴人说梦。但戴明反复告诉他们，只要掌握方法，从上到下严格落实，日本产品就能迅速洗刷过去糟糕的名声。多年后，不少人问戴明为什么对日本这么有信心。戴明解释说，他亲眼看到日本人对新知识非常渴求，对工作非常投入，管理层也积极上进、恪守职责，而且愿意拿出信心推广、普及其质量控制理论。
这次晚餐成为日本工商界的转折点。这年夏天，戴明和日本企业的管理层频频会面，向他们讲述如何在企业中建立完整的质量管理体系。这些企业家回去之后，又层层召开会议，商讨如何落实。为了在全国推广，1950年底，日工盟又把戴明的讲义编成了一本小册子，配发全国的企业和工厂。这也给戴明带来了一笔收入，但他随后将其全部捐给了日工盟。日工盟终投桃报李，用这笔钱设立了“戴明质量奖”，从1951年开始，每年评选并颁发给那些成功应用统计方法改善产品质量的机构和个人。
15年后，全世界都目睹了日本开创的经济奇迹，研究者问的更多的是，戴明是一名远渡重洋的外国人，日本人为什么会对他言听计从？
直接的原因是，日本的工商界确实在试图破壁，他们迫切希望改善“日本制造”的不良形象，扩大产品出口，打进国际市场。同时，由于在“二战”中惨败，日本人的自尊心受到极大打击，整个社会士气低落，而戴明作为一名外国人，对日本人表现出了极大的尊重，对日本文化表现出了浓厚兴趣，对他们百般鼓励，日本人感受到了温暖、看到了希望。
当然，日本对戴明的信奉，还有更深刻的心理基础和历史原因。这就是其明治维新以来“脱亚入欧”的目标和梦想。明治维新，是在1860—1890年日本发