【现货速发】数据中台建设：从方法论到落地实战

《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》明确提出“加快数字化发展，建设数字中国”。数字化建设的核心是让数据成为驱动企业增长的强大引擎，加速企业挖掘和实现数据价值。目前，很多企业，尤其是互联网“巨头”（比如，阿里巴巴、腾讯、百度、、字节跳动等）已经走在数字化建设的前沿。

在分析这些互联网“巨头”的数字化建设之旅后可以发现，它们取得数字化建设硕果的关键因素主要有以下两个：一个是推动了符合数字化建设的企业组织架构变革，另一个是强化了数据中台的建设。

尽管数据中台的概念很火，数据中台的建设热潮在很多企业如火如荼。但是对于数据中台的理解，目前很多企业存在认知误区或偏差。比如，很多企业认为数据中台就是数据平台，还有些企业认为只有大企业才需要数据中台，中小企业用不着数据中台。这些误区导致很多企业的数据中台建设陷入“南辕北辙”、重复建设或项目失败的困境。

笔者认为，数据中台建设的实质是，构建企业的智慧中台大脑，实现企业用数据驱动业务自动化和智能化的能力，整体建设方向涉及企业数据发展的战略、组织架构、数据资产的有效存储和建模、计算平台、数据服务框架、数据智能生态建设等多个方面的内容，需要企业自上而下进行整体规划和推动。数据中台的建设能帮助企业充分实现数据的价值，且实现数据服务的复用，既可以有效地支持企业业务发展，又能提高企业的效能，降低企业重复建设的概率。

另外，对于数据中台的建设来说，目前有很多相关的介绍和案例，但主要是从信息系统的角度来总结方法论的，缺乏从企业战略的角度规划和体系化的方法论。

基于上述两个问题，本书的重点是，介绍对数据中台的认知和数据中台建设的体系化方法论。该方法论包含企业自上而下制定的数据战略、匹配的组织架构，以及实现数据高复用性、高可用性和高价值的一系列方法（覆盖业务设计、模型设计、数据工具开发、平台建设、数据服务和数据智能等核心模块）。该方法论强调数据服务和数据智能，通过数据中台的建设实现数据可用、易用、好用、可追溯、可复用和可管理。

作为一个从事大数据研究和落地工作约16年的“老兵”，笔者希望将自己对数据中台的理解、数据中台建设的体系化方法论，以及数据中台建设实战的经验分享给读者，希望能帮助正处在数据中台建设之路上的读者。同时，笔者希望通过本书的创作与企业数字化建设的相关专业人士沟通和交流，从而促进数据中台在不同行业中落地生根，让数据智能发挥更大的价值。

2020年，全球很多国家暴发了新型冠状病毒肺炎疫情，很多人被迫在家办公，这促进了更多的企业加快数字化建设的步伐，加大对数据中台建设的投入。笔者认为“数字化和智能化”的大趋势不可逆转，在未来5~10年，数据中台将成为企业数字化基础设施。借助于数据中台的建设，很多行业将加速完成数字化、智能化建设和转型。

数字化发展在各个行业落地生根。本书首先介绍了工业、智慧农业、智慧服务业、智慧城市的数字化建设现状和发展趋势，让读者初步了解数字化发展。数据中台是企业数字化建设的基础。本书重点介绍了数据中台的定义、整体框架和建设的方法论。该方法论主要涉及企业数字化发展战略、组织架构变革、数据的存储和建模、数据平台的建设、数据服务框架、数据产品化和数据智能化建设等多个方面的内容。本书通过企业中两个热门场景的应用详细介绍了数据中台的落地实战。个是营销场景。企业通过营销中台的建设，构建了智能化营销体系，有效地提升了数据驱动营销的效能。第二个是风险管理场景。企业通过风险管理中台的建设，支持事前—事中—事后的智能风险管理，大幅提升了企业风险管理的效率和能力。

彭勇，国家公派留法计算机博士，中关村管委会技术专家，中国保险学会特聘保险科技专家。彭勇从事大数据研究和应用相关工作约16年，负责大数据创新项目超过100个，在数据仓库建设、数据中台建设、保险产品定制和创新、精算定价、精准营销、产品推荐、风险管理、智能理赔、人工智能、数字化转型等方面经验丰富。彭勇现就职于全球知名保险定制平台——保准牛，担任首席科学家。

第1章 数字化转型是大势所趋 / 1 
1.1 科技加速理论 / 2 
1.2 各个行业积极拥抱数字化变革 / 4 
1.2.1 工业4.0的数字化发展趋势 / 4 
1.2.2 智慧农业的数字化发展趋势 / 6 
1.2.3 智慧服务业的数字化发展趋势 / 7 
1.2.4 智慧城市的数字化发展趋势 / 11 
1.2.5 小结 / 12 
1.3 DT时代已来 / 13 
1.3.1 DT时代和IT时代的差异 / 13 
1.3.2 DT时代面临诸多挑战 / 16 
1.4 数据中台呼之欲出 / 17 
第2章 认知数据中台 / 18 
2.1 什么是数据中台 / 19 
2.1.1 行业对数据中台的不同理解 / 19 
2.1.2 数据中台的定义 / 20 
2.1.3 对数据中台的诠释 / 20 
2.2 建设数据中台的价值 / 23 
2.3 数据中台的建设目标 / 25 
2.3.1 总体目标 / 25 
2.3.2 数据中台的标准化 / 27 
2.3.3 数据中台业务化 / 28 
2.3.4 数据中台平台化 / 29 
2.3.5 数据中台服务化 / 30 
2.4 数据中台与上下游平台的关系 / 31 
2.4.1 “前台-中台-后台”关系 / 31 
2.4.2 数据中台和业务中台的关系 / 32 
2.5 数据中台建设的9大误区 / 34 
2.5.1 数据中台等同于数据工具的集合 / 34 
2.5.2 数据中台等同于数据平台 / 35 
2.5.3 企业小，不需要数据中台 / 35 
2.5.4 建设数据中台是互联网企业的事，传统行业用不着 / 35 
2.5.5 建设数据中台是数据部门的工作，与其他部门 
关系不大 / 36 
2.5.6 数据中台直连前台更敏捷，没必要建设业务中台 / 36 
2.5.7 在数据中台成型后，不需要烟囱式的临时技术 
团队 / 38 
2.5.8 不着急建设数据中台，等业务成熟之后再说 / 38 
2.5.9 建设数据中台可以一蹴而就 / 39 
2.6 行业对数据中台的4个认知阶段 / 40 
2.6.1 数据模型实现数据资产化 / 40 
2.6.2 数据平台实现数据高可用性 / 41 
2.6.3 实现数据业务化和服务化 / 41 
2.6.4 实现数据和业务智能化 / 42 
2.7 数据中台服务化发展阶段 / 42 
2.7.1 实现服务手工可配置 / 43 
2.7.2 实现服务智能组合和自适应 / 43 
2.7.3 实现服务的智慧生态 / 44 
第3章 数据中台建设方法论 / 45 
3.1 数字化战略 / 46 
3.1.1 数字化战略的价值 / 46 
3.1.2 战略和执行双轮驱动 / 47 
3.1.3 数据中台战略制定 / 51 
3.2 数据中台的整体框架 / 54 
3.2.1 统一数据基础设施平台 / 56 
3.2.2 数据接入和汇聚平台 / 57 
3.2.3 统一数据模型平台 / 58 
3.2.4 统一ID和标签平台 / 58 
3.2.5 数据开发和运维平台 / 59 
3.2.6 数据智能平台 / 59 
3.2.7 数据管理平台 / 60 
3.2.8 数据服务平台 / 62 
3.3 数据中台的8大设计准则 / 63 
3.3.1 有数能用 / 64 
3.3.2 让数据可用 / 64 
3.3.3 让数据好用 / 65 
3.3.4 让数据易用 / 66 
3.3.5 让数据放心用 / 66 
3.3.6 让数据更智能 / 67 
3.3.7 让数据服务化 / 67 
3.3.8 让数据可控 / 68 
3.4 数据中台行动攻略 / 68 
3.4.1 “九看”方法论 / 68 
3.4.2 数据中台MVP建设路径 / 73 
3.5 数据中台技术选型 / 77 
3.5.1 4种选型方案 / 77 
3.5.2 开源解决方案 / 78 
3.6 总结 / 88 
第4章 统一数据模型：让数据资产化 / 89 
4.1 数据标准化体系的价值 / 90 
4.1.1 数据标准化体系是数字化战略的基础 / 90 
4.1.2 数据管理是事前远见，数据治理是事后亡羊补牢 / 94 
4.2 数据资产管理体系介绍 / 95 
4.2.1 6个常用的数据资产管理体系 / 95 
4.2.2 制定数据管理战略 / 97 
4.3 高效数据建模，让数据好用起来 / 98 
4.3.1 统一数据模型的意义 / 98 
4.3.2 统一数据模型具体做什么 / 100 
4.3.3 如何建设统一数据模型 / 101 
4.4 对维度建模进一步探索 / 113 
4.4.1 维度建模设计过程 / 114 
4.4.2 维度建模示例 / 116 
4.5 统一建模的注意事项 / 118 
4.5.1 数据标准化只停留在数据部门 / 118 
4.5.2 缺少元数据管理支持 / 119 
4.5.3 监控体系缺失 / 120 
4.5.4 事实表的设计注意事项 / 120 
4.5.5 维度爆炸 / 121 
4.5.6 对维度过度退化 / 121 
4.5.7 缓慢变化维 / 122 
4.5.8 大表的抽取 / 123 
4.6 总结 / 124 
第5章 数据计算平台：让数据“飞”起来 / 125 
5.1 计算平台的应用场景 / 126 
5.2 应用场景一：批处理 / 128 
5.2.1 批处理计算引擎介绍 / 128 
5.2.2 批处理计算引擎应用举例 / 131 
5.2.3 批处理计算总结 / 132 
5.3 应用场景二：实时计算 / 133 
5.3.1 实时计算流程介绍 / 133 
5.3.2 实时计算和离线计算如何高效共存 / 134 
5.3.3 实时数据仓库 / 136 
5.3.4 流式计算实时统计GMV示例 / 138 
5.4 应用场景三：实时查询 / 140 
5.5 应用场景四：海量日志和信息检索 / 140 
5.5.1 检索方案介绍 / 140 
5.5.2 日志检索方案示例 / 142 
5.6 应用场景五：多维分析 / 145 
5.6.1 多维分析方案介绍 / 145 
5.6.2 基于ClickHouse实现多维分析示例 / 146 
5.7 应用场景六：图计算 / 148 
5.7.1 图计算框架介绍 / 148 
5.7.2 图计算应用案例——团体反欺诈 / 149 
5.8 应用场景七：人工智能计算框架 / 151 
5.8.1 主流的人工智能计算框架介绍 / 151 
5.8.2 量子计算 / 152 
5.8.3 人工智能平台应用案例——智能客服 / 153 
第6章 算法即服务：化实现数据价值 / 155 
6.1 算法的价值 / 156 
6.2 建模标准化流程 / 158 
6.2.1 业务理解贯穿始终 / 159 
6.2.2 数据准备 / 160 
6.2.3 数据预处理 / 165 
6.2.4 特征工程 / 168 
6.2.5 模型构建 / 173 
6.2.6 模型评估 / 186 
6.2.7 模型部署，让模型服务化 / 192 
6.2.8 模型监控和迭代 / 196 
6.3 算法即服务应用实践 / 196 
6.3.1 保险关系网络分析 / 197 
6.3.2 交叉销售 / 201 
6.3.3 反欺诈示例 / 206 
6.4 算法即服务须遵循的原则 / 212 
6.4.1 算法即服务需要业务知识的输入，业务理解贯穿 
建模始终 / 213 
6.4.2 算法不是的，有适用的场景 / 213 
6.4.3 要合理地平衡算法的计算性能和效果 / 213 
6.4.4 要优先选择混合模型 / 214 
6.4.5 要尽量实现建模全流程自动化 / 214 
第7章 数据产品：让数据应用更便捷 / 215 
7.1 自助取数和自助分析 / 216 
7.1.1 自助取数工具 / 217 
7.1.2 自助分析工具 / 219 
7.2 数据爬虫 / 221 
7.3 客户画像 / 221 
7.4 标签圈选 / 222 
7.5 客户分群 / 224 
7.6 数据可视化工具 / 226 
7.6.1 Matplotlib / 227 
7.6.2 Pandas Seaborn举例 / 231 
7.7 规则引擎 / 232 
第8章 营销中台：让营销更精准、更及时 / 235 
8.1 数字化营销是大势所趋 / 236 
8.2 营销体系升级 / 239 
8.2.1 营销理论的多次升级 / 239 
8.2.2 营销的几个重要的方法论 / 243 
8.2.3 营销体系的三个发展阶段 / 246 
8.3 营销中台建设 / 254 
8.3.1 营销中台框架图 / 254 
8.3.2 营销中台功能介绍 / 255 
8.4 营销中台应用案例 / 263 
8.4.1 电话营销续保精准营销 / 263 
8.4.2 广告精准投放获客 线索转化 / 266 
8.4.3 保险智能销售助手 / 268 
第9章 风险管理中台：360°的风险管家 / 271 
9.1 风险管理中台 / 272 
9.1.1 汽车保险的主要风险管理节点示例 / 272 
9.1.2 风险管理中台框架图 / 273 
9.1.3 风险管理中台功能介绍 / 273 
9.1.4 风险管理的标准化流程 / 289 
9.2 风险管理中台的应用案例 / 292 
9.2.1 反“薅羊毛” / 292 
9.2.2 语音质检风险筛查 / 292 
9.2.3 车险理赔反欺诈 / 293 
9.2.4 团体保险风险管理体系 / 295 
9.2.5 人身险风险管理建设 / 296

数字化发展在各个行业落地生根。本书首先介绍了工业、智慧农业、智慧服务业、智慧城市的数字化建设现状和发展趋势，让读者初步了解数字化发展。数据中台是企业数字化建设的基础。本书重点介绍了数据中台的定义、整体框架和建设的方法论。该方法论主要涉及企业数字化发展战略、组织架构变革、数据的存储和建模、数据平台的建设、数据服务框架、数据产品化和数据智能化建设等多个方面的内容。本书通过企业中两个热门场景的应用详细介绍了数据中台的落地实战。个是营销场景。企业通过营销中台的建设，构建了智能化营销体系，有效地提升了数据驱动营销的效能。第二个是风险管理场景。企业通过风险管理中台的建设，支持事前—事中—事后的智能风险管理，大幅提升了企业风险管理的效率和能力。

彭勇，国家公派留法计算机博士，中关村管委会技术专家，中国保险学会特聘保险科技专家。彭勇从事大数据研究和应用相关工作约16年，负责大数据创新项目超过100个，在数据仓库建设、数据中台建设、保险产品定制和创新、精算定价、精准营销、产品推荐、风险管理、智能理赔、人工智能、数字化转型等方面经验丰富。彭勇现就职于全球知名保险定制平台——保准牛，担任首席科学家。

数据中台的概念在企业中被认知已有多年，企业的CIO和CTO逐渐意识到建设数据中台对于发挥数据价值很重要，然而很多企业对数据中台建设依然陌生。数据资源盘点、应用规划、数据资产建立、数据落地应用、数据化组织发展等都是巨大的挑战。作者结合自身多年在保险企业和互联网公司数据智能化方面的从业经验，从实战角度出发撰写了本书。本书对当下企业数字化转型中数据中台建设具有很高的参考价值和借鉴价值。

——泰康在线CIO&副总裁　陈玮

大数据为人类提供了全新的思维方式，也提供了探知客观规律、改造自然和社会的新手段，这是大数据引发经济社会变革的根本原因。本书结合营销场景和风险管理场景，从数字化建设的现状和方法论出发，详述了数据治理、数据驱动、数据变现等方面的内容。对于构建大数据思维，提升数据化思考能力，找到解决问题的新方法，本书可以给你带来深刻的启发。

——工银科技高级AI算法工程师，前普华永道数据科学家　俞雅玲

数字化体系要在各行各业落地生根的基础是企业的数据中台。笔者基于对数据行业的深入理解和多年的实操经验，对数据中台的实操与落地提出了系列方法论，助力企业快速、健康地完成数据中台的规划和建设。

——中国大数据网执行总编&首席执行官　刘冬冬

如何把海量数据资源高效地呈现并规范管理是现代企业管理的一个重点难题，也是企业管理者和数据工作者需要面对的问题。本书带来了从应用场景驱动的有益讨论，对企业管理效率提升、数据决策具有很强的建设意义和指导意义。

——中央财经大学统计与数学学院副院长　李丰

由于工作的原因，近年来了解到众多数据中台的成功和失败案例，感觉用“他人之良药，或是自己之毒药”这句话来形容数据中台的建设是很合适的。企业的数据能力建设应满足业务发展的需求，且受企业文化的影响，因此数据中台建设过程中有极强的定制化色彩。本书作者拥有丰富的实战经验，提出的数据中台建设的“八大原则”“九看方法论”等可以助力企业快速、健康地完成数据中台的规划和建设，值得企业业务和数据领域创新工作者研读。

——CDA数据科学研究院执行院长　常国珍

数字保险应该是保险未来发展的方向，保险业和保险业务要实现数字化，数据中台是建设的基础。本书对数据中台的建设提出了一套系统的理论和方法，难能可贵，也可供借鉴。本书还介绍了两个实战案例，相信有助于推动保险业的数字化转型。

——全国人民代表大会代表、湖南大学保险精算与风险管理研究所所长　张琳教授

数据中台出现六年来，已在金融行业引起了广泛的讨论，是企业级复用的基础设施，这是无法回避的事实。本书提供了一个系统化的视角，对于企业制定数字化战略，提高数据资产价值将起到十分有益的指导作用。

——横琴人寿董事长　兰亚东

以往，数据管理和分析主要偏向于后端。做得好的保险公司通过数据管理和分析促进业务的改善与发展，但时效性差一些，经常滞后半年或者一年。数据中台能快速反映业务情况，实现前后端数据的无缝衔接。通过数据建模，企业可以即时优化业务，让数据使用更便捷、更有价值。本书对数据资产、数据价值和数据营销等内容进行了深入的阐述。

——中国非寿险精算师、萤火保创始人兼CFO、安心财产保险前CEO　林锦添

数字经济建设、作为企业高质量发展关键驱动力的数字化转型，以及“后疫情时代”下无接触经济的常态化发展，共同加快了企业建设数据中台的步伐。很多企业的实践印证了数据中台的价值！本书的作者拥有丰富的行业实践经验，将理论和实践相结合，系统性地阐述了数据中台建设的路径。本书对行业具有很好的借鉴意义。

——华农财险保险党委书记　王禹