实战大数据江晓东

　　前言

　　据《福布斯》杂志和谷歌统计，2013年以来世界上被搜索频率最高，同时又被过度使用、最容易产生误解、最能忽悠人、被炒作最厉害的词非“大数据”莫属。谈论大数据已经成为一种时尚。从政府官员到工商界，从IT（信息）产业到媒体，甚至街头巷尾的普通人，很多人都在谈论大数据。对一些人而言，似乎谈及这个词，谈话才上档次。然而如果要问什么是大数据，他们也会给出自己的理解，尽管其中不乏误解。

　　在这种时尚影响下，很多有关大数据的大作纷纷面世并一时洛阳纸贵。在众多大作谈论大数据是什么（What）之后，本书将阐述如何（How）运用大数据：比如企业该如何具体运用日新月异的大数据和（移动）互联网去做产品和服务创新；政府应如何根据社会公共服务需求，运用大数据技术和创新思路，建设和管理智慧城市、社区，增强决策能力，提高公共服务水平和质量，向企业和社会推出各种大数据创新服务项目；普通人又如何利用大数据去发现自己感兴趣的事物，进而结合商业、科技或政府需求，进行大数据创新产品和服务的创业、研发等。作者通过在美国数家高科技企业担任资深数字产品经理的亲身经历，以及对时下最新中美大数据、互联网创新实践的研究，透过对20多个正在发生的商业和政府大数据创新案例的研究、分析和点评，运用大数据的生命周期管理作为系统方法，即从大数据的界定、收集、储存、管理、分析计算和可视化到形成产品、服务项目的全过程，具体形象、有步骤地向读者展示如何具体运用大数据进行创新实战，如何利用大数据进行信息搜索、查询，进而进行创新创业的路线图。本书注重知识性、实用性、娱乐性和可操作性的统一。适合一切对大数据应用及创新感兴趣的、正在进行或规划大数据项目和创业的企业、政府、大学、研究所和个人。无论您是大数据项目的决策者、业务部门用户、项目经理、产品研发测试人员、教育和研究人员、学生，还是产品、项目投资人，甚至是对大数据感兴趣的一般读者，都可以从本书分享的中美企业及政府机构大数据创新成功经验和失败教训中得到启发和警示。

　　本书共分三部分。主线紧紧围绕“大数据巧应用，小数据大应用”这一理念展开。第一部分第一章利用全球通用的大数据认知，以形象通俗易懂的方式对其真实面孔进行全景式概括，包括大数据与非大数据的界定、大数据的适用对象及其应用范围等。第二章列举中国运用大数据的主要挑战并探讨应对措施。

　　第二部分包括第三章到第十一章。从第三章到第八章，以一个具体案例为纵轴，贯穿大数据生命周期的各个环节。具体形象地展示了一个美国两人小公司是如何从一无所有，到运用所获小数据一步步成就大数据产品创新和服务，造就8亿美元年产值，管理110亿条数据记录并成为汽车行业大数据领军企业的传奇故事。分散在这部分的其他各案例则作为横轴，向读者讲述中美两国企业、政府和个人如何利用大数据做产品和服务创新的精彩故事。这些案例涵盖了娱乐、广告、医疗、电商、互联网、银行、能源、教育、移动设备以及政府公共服务各个领域，充分体现了“大数据巧应用”的典范。任何成熟健全的市场经济都应关注个人在其中的作用。大数据应用也不例外。本书第二部分还单列一章，讲述每个感兴趣的人可以如何利用大数据，或结合自己的特长，通过大数据做研究、创新和创业。像其他任何创新一样，大数据创新也遵从一些产品创新的基本原则和高效方法。这些包括我在《像金融投资一样做创新》一书里提出的创新产品组合管理系统方法。这部分每个章节涉及的大数据管理各阶段及其方法都可以作为一种企业、政府利用大数据研发创新产品和服务的利器。把这些方法综合运用起来，就可以源源不断地开发出大数据产品和服务的创新组合，从而使企业、政府的创新投资收益最大化成为可能。

　　本书第三部分有两章。第十二章开列并总结了企业、政府和个人运用大数据做创新的清单。尽管2014年世界杯足球赛已经结束，作为一个拥有数亿球迷的中国却屡次与世界杯失之交臂的事实，实在令人遗憾。由于作者的特殊爱好，第十三章专门论述了为什么大数据可以部分解释中国足球队今天的困境，以及社会可以如何利用大数据和中国古老的蹴鞠战术配以现代足球技术创新来圆中国足球梦的设想。本书最后总结了世界范围内最流行的运用大数据的基本流程、研发工具、管理程序、人员资质配置清单，供感兴趣的企业、政府机构做参考之用。2015年，世界大数据创新的趋势有哪些？对此感兴趣的企业、政府和个人又应该朝哪些方向努力？我也专门收集了世界各大企业的预测并汇总了这些小数据呈现在这部分。

　　眼下很多企业和政府机构当前业务面对的大量数据从严格意义上说都不属于大数据的范畴，充其量算是“数据大”。然而，如果现在就能充分利用、管理好这些数据，领导层在战略和认知高度，真正把数据当作一项重要资产，划拨专项资金用以收集、储备、管理、分析、利用好现有数据，培训好相关的专业人力资源，随着时间推移，等到这些相关数据的构成形式和表现方式更多样化、呈现几何数量增加，逻辑关系和相关性变得异常复杂且不断变化，从硬件和软件方面，企业和政府机构就具备了处理和管理大数据的自然能力。这正是“小数据大应用”之妙。

　　大数据无疑是当下世界创新潮流的一个重要形式。大数据正处在其运用的“初级阶段” ，大家都在“摸着石头过河”。全世界似乎人人都在谈，都想做，但很难准确、清晰地知道自己在做什么。但毫无疑问的是，大数据对今天中国的意义，绝不亚于2000年互联网电子商务的兴起给整个社会带来的巨大影响。正所谓：“大数据革命一声炮响，给我们带来了第三次信息浪潮。”大数据浪潮带来机遇的同时也给中国带来前所未有的挑战。尽管当下中国社会从政府、企业到个人，对大数据表现出浓厚的兴趣和运用冲动，但对数据文化的培养及其在社会管理、企业决策和个人创业方面的应用离西方发达国家还有一定的差距。各种大数据供应、储存、咨询商主要还是被西方跨国企业垄断。在中国市场尚处于形成应用雏形的初级阶段，西方各相关跨国企业纷纷登陆中国，抢占大数据应用市场。这种情形就像雅虎前中国总经理谢文先生担忧的，中国如果不及时反应，恐怕要沦为外国企业的大数据殖民地。令人欣喜的是，中国的大数据产业在应用方面与西方差距在缩小。时不我待，随着大数据在全社会范围内被广泛关注和应用，中国从政府到企业，如果能逐步、大幅度地改变固有思维，使得依靠数据和证据（Evidence-Based Decision） 来做企业、政府和个人决策成为驱动企业业务和政务创新的常态模式，再配合云计算、（移动）互联网等新兴技术，可以期待的是，整个中国社会在转型时期的创新和国际竞争力大幅提高的那一天会比我们的预期来得快。愿本书能在此过程中贡献绵薄之力。

　　江晓东，美国卡内基梅隆大学公共政策与管理硕士。中美职场19年，长期从事战略规划、项目管理、商业运营、商务智能与大数据领域工作，提供企业信息系统管理和创新管理等方面的专业咨询，拥有丰富的理论和实战经验，其客户包括美国财政部和美国证监会、诸多世界500强企业和中小型私企。曾受聘担任奥巴马政府经济刺激计划HAMP项目咨询顾问。

　　除本书外，另有<
 <像金融投资一样做创新>
  >一书问世。
 

前 言

第一部分 大数据全景图

第一章 大数据：误解与事实

哪种数据算大数据，哪种不算

大数据能做什么，不能做什么

谁能从大数据获益，谁不能

大数据全球应用趋势

大数据全球应用挑战

案例：谷歌流感趋势预测之误

第二章 中国应用大数据的现实挑战

缺乏相关的数据隐私及安全保护法

大数据可靠性易受各种因素影响

大数据地方割据导致共享利用率低

大数据社会监管水平低

大数据可用性差

运用创新差距小和技术创新差距大并存

案例：“小时代”之“观众去哪儿了”

第二部分 大数据创新运用

第三章 确认大数据

确认业务用例

理清决策中的（大）数据需求

根据需求确定大数据来源

根据（大）数据需求确定所需数据管理资源

案例：Carfax之确认大数据篇

案例：大数据之百融金服

第四章 收集大数据

购买大数据

截取大数据

搜索大数据

运用大数据收集做创新

案例：Carfax之采集大数据篇

案例：Acxiom—大数据掮客到服务商的华丽转身

第五章 存储大数据

大数据本地存储

大数据云存储

运用大数据存储做创新

案例：Carfax之存储大数据篇

案例：DropBox云储存颠覆性创新的故事

第二部分

第六章 管理大数据

大数据管理的一般职责

大数据可视化行动

大数据管理一般原则

运用大数据管理做创新

案例：Carfax之管理大数据篇

案例：明略数据之中国的Palantir

第七章 分析计算大数据

大数据分析及其常见方法

机器学习

数据挖掘

运用大数据分析及可视化做创新

案例：九次方力量下的大数据

第八章 大数据企业产品创新

大数据硬件产品创新

大数据软件产品创新

大数据虚拟现实产品创新

如何做高效大数据产品创新

案例：Carfax之大数据产品研发篇

案例：爱奇艺——大数据技术与娱乐艺术的两位一体

第九章 大数据企业服务创新

企业内部大数据服务创新

企业外部大数据咨询服务创新

大数据企业客户解决方案

大数据政府客户解决方案

案例：百度——做靠谱的大数据预测

案例：国美在线大数据平台服务

第十章 大数据政府服务创新

大数据开放免费公共服务

大数据开放付费服务

大数据应用内部创新服务

大数据公共教育创新

案例：深圳“织网工程”大数据实录

案例：青岛政府大数据服务创新

第十一章 大数据个人运用创新

利用大数据搜索引擎寻找商机

通过跟踪社交媒体改进产品服务

网站访客数据量化管理创造商机

运用自身掌握的大数据技术创业创新

案例：人人可用的大数据魔镜

案例：腾云天下

第三部分 大数据创新后续

第十二章 大数据创新准备清单

以业务用例为中心

解决方案与算法基本点

大数据工具基本点

大数据创新产品服务组合管理

案例：肯硕揭开华尔街百年赚钱秘诀

案例：世界第一个预警埃博拉病毒的健康地图

第十三章 中国足球的大数据解决方案

大数据为德国队夺冠锦上添花

中国足球的核心问题

中国足球的出路何在

大数据如何帮助中国足球

精英式培训+战术创新+大数据=中国足球重回世界杯

附录1 大数据2015创新经验教训清单

附录2 2015大数据创新应用趋势

附录4 2015年中国大数据分析厂商前50名排行榜

　　大数据专家、《大数据时代作者》维克托·迈尔-舍恩伯格与《数据之巅》作者涂子沛力荐，资深专家破解政府与企业数据化转型之道，绘制数据时代智能组织转型升级路线图。

　　企业如何具体运用大数据做产品和服务创新？政府如何根据社会公共服务需求，运用大数据技术和创新思路，建设和管理智慧城市、社区，增强决策能力？普通人又如何根据个人兴趣，利用大数据，去发现自己感兴趣的事物，进而结合商业、科技或政府需求，进行创新创业？《实战大数据：DT时代智能组织工作方法》结合百度、爱奇艺、腾讯天下、 Carfax 等国内外20多个各行各业全新的大数据实践案例，以大数据的生命周期应用作为系统方法，从大数据的界定、收集、储存、管理、分析到产品和服务项目的形成，全流程展示如何具体运用大数据进行创新实战、如何利用大数据进行信息搜索、查寻，进而进行创新创业。知识性与实用性相结合，专家为政府与企业提供数据时代智能组织工作方法。

　　这几年“大数据”一词暴热，各种概念阐释说明热闹非凡。《实战大数据：DT时代智能组织工作方法》一书聚焦大数据实战，在当下已经比较充分地谈论了大数据是什么（what）之后，阐述如何运用大数据（how）——借由腾讯、百度、爱奇艺、Carfax等二十多个中外的新案例，打造了一本运用大数据做实战创新演练的指南。如国内知名大数据专家涂子沛所说，“本书知识性很强，也具实用性和操作性，难能可贵的是，还不乏趣味性。”

　　《实战大数据：DT时代智能组织工作方法》一书得到了世界大数据专家、《大数据时代作者》维克托·迈尔-舍恩伯格的直接建言，涂子沛之外，另有爱奇艺、Carfax等大数据项目一线负责人力荐，相信可以为致力于大数据应用和开发的公司、机构、个人提供一套可资借鉴的大数据转型之道。