云原生数据中台：架构 方法论与实践

图书标准信息

• 作者 彭锋；宋文欣；孙浩峰
• 出版社 机械工业出版社
• 出版时间 2021-04
• 版次 1
• ISBN 9787111678465
• 定价 99.00元
• 装帧 其他
• 开本 32开
• 纸张 胶版纸
• 页数 374页
• 字数 337千字

【内容简介】

内容介绍
  这是一部从云原生角度讲解数据中台的业务价值、产品形态、架构设计、技术选型、落地方法论、实施路径和行业案例的著作，得到了国内外企业界和学术界的技术专家一致好评。
  本书的作者在曾硅谷的Twitter等企业从事大数据平台的建设工作多年，随后又成功创办了国内领先的以云原生数据中台为核心技术和产品的企业。他们将在硅谷的大数据平台建设经验与在国内的数据中台建设经验进行深度融合，并系统阐述了云原生架构对数据中台的必要性及其相关实践，对国内企业的中台建设和运营具有很高的参考价值。
  全书共18章，分为四个部分：
  第1部分（第1~4章） 数据中台与硅谷大数据平台
  首先，从起源、定义、能力、应用场景、建设目标、建设方法论总纲等角度对数据中台做了全面的介绍；其次，讲解了数据中台如何驱动数字化转型；Z后，通过对硅谷的Twitter等独角兽企业的数据平台和国内的数据中台进行对比，给出了这两种架构之间的异同点。核心内容是让读者透彻理解数据中台对于业务的价值。
  第二部分（第5~8章） 数据中台架构与方法论
  结合硅谷的数据平台的架构方法，讲解了数据中台的架构方法和9大原则、数据中台建设的全套准备工作和系统方法论，以及云原生架构与数据中台的融合。
  第三部分（第9~15章）数据中台技术选型与核心内容
  首先，全方位地介绍了建设数据中台时如何进行技术选型，然后重点讲解了数据湖、数据仓库、数据资产管理、数据流水线管理、数据中台应用开发、数据门户等数据中台建设的核心内容。
  第四部分（第16~18章）数据中台案例分析
  通过游戏、零售、物联网3个领域的案例讲解了数据中台的搭建、实现与运营。

【作者简介】

作者介绍

彭锋 

智领云科技联合创始人兼CEO

武汉大学计算机系本科及硕士，美国马里兰大学计算机专业博士，主要研究方向是流式半结构化数据的高性能查询引擎，在数据库顶级会议和期刊SIGMOD、ICDE、TODS上发表多篇开创性论文。

2005年加入世界五百强企业IAC Ask.com，任分布式系统及大数据工程总监，负责研发分布式操作系统及中间件，以及集团大数据平台的建设。2011年加入Twitter，任大数据平台主任工程师、公司架构师委员会大数据负责人，负责公司大数据平台及流水线的建设和管理。作为硅谷天使投资人，曾投资硅谷多家大数据相关初创企业，并担任技术指导和行业顾问。2016年回国联合创立智领云科技有限公司。

宋文欣

智领云科技联合创始人兼CTO

武汉大学计算机系本科及硕士，美国纽约州立大学石溪分校计算机专业博士。曾先后就职于Ask.com和EA（电子艺界）。在Ask.com期间，担任大数据部门技术负责人及工程经理，使用Hadoop集群处理实时搜索数据，形成全球第1大Search Ads Arbitrage用户；在EA期间，担任数字平台部门高级研发经理，从无到有组建EA数据平台团队，建设公司大数据平台，为EA全球工作室提供数据能力支持。

2016年回国联合创立智领云科技有限公司，组建智领云技术团队，开发了BDOS大数据平台操作系统。

孙浩峰

智领云科技市场总监

前CSDN内容运营副总编，负责网站内容和商务合作、新媒体方面事宜，关注云计算、大数据、人工智能、区块链等技术领域，对云计算、网络技术、网络存储有深刻认识。拥有丰富的媒体从业经验和专业的网络安全技术功底，具有超过15年的企业级IT市场传播、推广、宣传和写作经验，撰写过多篇在业界具有一定影响力的文章。

【目录】

前言

第一部分　数据中台与硅谷大数据平台

第1章　全面了解数据中台

1.1　数据中台概念的起源3

1.1.1　艺电的“数据中台”改造4

1.1.2　Twitter的数据驱动6

1.2　什么是数据中台8

1.2.1　数据中台建设的目标8

1.2.2　如何实现数据中台建设的目标11

1.2.3　数据中台的定义和4个特点13

1.3　大数据平台与数据中台16

1.3.1　为什么要建设数据中台16

1.3.2　数据中台与传统大数据平台的区别20

1.3.3　数据中台的评判标准24

1.4　数据中台建设方法论总纲24

1.5　本章小结27

第2章　数据中台能力和应用场景

2.1　数据中台不是“银弹”28

2.2　数据中台的核心能力31

2.2.1　全局商业洞见31

2.2.2　个性化服务34

2.2.3　实时数据报表38

2.2.4　共享能力开发新业务39

2.3　数据中台的行业应用场景41

2.3.1　互联网行业41

2.3.2　连锁零售业42

2.3.3　金融业43

2.3.4　物联网44

2.4　数据中台如何为企业赋能45

2.4.1　组织架构46

2.4.2　决策部门48

2.4.3　业务部门51

2.4.4　研发部门53

2.4.5　大数据部门55

2.5　本章小结56

第3章　数据中台与数字化转型

3.1　数字化转型的4个阶段58

3.1.1　信息化58

3.1.2　数据仓库（数据平台1.0）59

3.1.3　大数据平台（数据平台2.0）61

3.1.4　数据中台（数据平台3.0）63

3.2　数据驱动64

3.2.1　面向用户的数据驱动产品及服务66

3.2.2　面向内部业务部门的数据驱动服务68

3.2.3　数据驱动的系统管理71

3.3　数据中台如何支持数字化转型72

3.3.1　从技术层面支持数字化转型73

3.3.2　从组织架构层面支持数字化转型74

3.4　本章小结75

第4章　从大数据平台到数据中台

4.1　大数据平台建设阶段76

4.1.1　大数据平台起步77

4.1.2　系统自动化77

4.1.3　大数据平台的生产化78

4.2　数据管理及应用阶段80

4.2.1　数据湖/数据仓库建设80

4.2.2　数据管理81

4.2.3　数据安全82

4.3　数据能力中台化阶段84

4.3.1　全局的数据治理85

4.3.2　数据能力的复用和共享85

4.3.3　云原生架构的支撑85

4.4　DataOps87

4.4.1　什么是DataOps87

4.4.2　DataOps解决的问题88

4.4.3　DataOps的目标功能90

4.4.4　DataOps的主要技术91

4.4.5　DataOps与数据中台92

4.5　本章小结93

第二部分　数据中台架构与方法论

第5章　数据中台建设须知

5.1　数据中台建设需要一套方法论96

5.2　从失败的大数据项目中吸取教训98

5.3　数据中台建设中的常见问题99

5.4　评判数据中台建设效果101

5.5　数据中台建设的人员规划103

5.6　数据中台的技术选型要求106

5.7　本章小结107

第6章　数据中台建设方法论

6.1　基础架构109

6.2　数据工具114

6.3　顶层架构设计115

6.4　数据规范116

6.5　业务驱动118

6.6　关键指标120

6.7　明确责权利125

6.8　管理迭代127

6.9　数据中台建设流程128

6.10　本章小结130

第7章　数据中台的架构

7.1　数据中台的功能定位132

7.2　数据中台架构设计的9大原则135

7.3　典型的硅谷大数据平台架构137

7.3.1　Twitter的大数据平台架构137

7.3.2　Airbnb的大数据平台架构140

7.3.3　Uber的大数据平台架构141

7.3.4　云平台作为大数据平台的通用底座143

7.3.5　硅谷大数据平台架构的共性和建设思路145

7.4　数据中台架构147

7.5　数据中台子系统150

7.5.1　应用基础能力平台151

7.5.2　数据基础能力平台152

7.5.3　数据集成开发平台154

7.5.4　数据资产运营平台156

7.5.5　数据业务能力层158

7.5.6　数据中台重点建设内容159

7.6　本章小结160

第8章　数据中台与云原生架构

8.1　云原生架构及云平台161

8.2　PaaS平台的主要功能165

8.2.1　资源管理167

8.2.2　应用全生命周期管理169

8.2.3　高可用和容错170

8.2.4　运维平台172

8.3　传统方式下搭建数据中台的难点173

8.4　云原生架构对于数据中台建设的5大意义175

8.5　数据中台的IaaS层选择178

8.6　本章小结180

第三部分　数据中台技术选型与核心内容

第9章　数据中台建设与开源软件

9.1　开源软件的起源和建设过程185

9.2　开源软件的合理使用189

9.3　集成开源软件的5个注意事项192

9.4　应用基础能力平台的开源选择193

9.5　数据基础能力平台的开源选择196

9.6　数据集成开发平台的开源选择203

9.7　本章小结205

第10章　数据湖与数据仓库

10.1　数据湖207

10.1.1　数据湖的起源与作用208

10.1.2　数据湖建设的4个目标211

10.1.3　数据湖数据的采集和存储212

10.1.4　数据湖中的数据治理216

10.2　数据仓库218

10.2.1　数据建模方式219

10.2.2　数据仓库建设的层次221

10.2.3　数据仓库中的数据治理225

10.2.4　数据清洗229

10.3　数据中台中的数据仓库和数据湖建设231

10.4　本章小结233

第11章　数据资产管理

11.1　数据资产管理的难题235

11.2　数据资产管理定义238

11.3　主数据管理239

11.4　元数据管理242

11.4.1　元数据的分类243

11.4.2　元数据管理系统的功能245

11.5　开源的元数据管理系统247

11.6　数据资产的ROI249

11.7　本章小结250

第12章　数据流水线管理

12.1　数据流水线的定义与模型251

12.2　数据流水线中的应用类别254

12.3　数据流水线的运行方式256

12.4　数据流水线示例257

12.5　数据流水线管理系统面临的挑战259

12.6　数据流水线管理系统的功能需求262

12.6.1　自动化流水线262

12.6.2　数据管理263

12.6.3　性能要求264

12.7　数据流水线管理系统的组件265

12.8　批流合一的数据流水线266

12.9　本章小结269

第13章　数据中台应用开发

13.1　数据应用的形态270

13.2　应用开发工具277

13.3　3种典型的数据中台应用279

13.3.1　数据即服务279

13.3.2　模型即服务281

13.3.3　用户标签系统282

13.4　数据中台应用的开发和管理283

13.4.1　应用调度系统284

13.4.2　多租户管理285

13.4.3　持续集成和发布286

13.5　本章小结287

第14章　数据门户

14.1　数据门户出现的背景288

14.2　硅谷的数据门户建设289

14.2.1　Twitter的DAL和EagleEye290

14.2.2　LinkedIn的Data Hub292

14.2.3　Airbnb的Data Portal293

14.2.4　Lyft的Amundsen 294

14.2.5　Netflix的Metacat296

14.2.6　Intuit的SuperGlue297

14.2.7　硅谷数据门户总结298

14.3　数据门户的定位及功能299

14.4　数据门户的实现原理301

14.5　数据门户的社交属性303

14.6　数据应用的自助及协同工作304

14.7　数据智能运维306

14.8　本章小结308

第15章　管理数据中台的演进

15.1　不断演进的数据中台310

15.2　人员变动下的数据管理310

15.2.1　数据安全311

15.2.2　数据能力的传递312

15.3　数据和应用的演进314

15.4　资源的演进316

15.5　演进中的关键指标318

15.6　本章小结321

第四部分　数据中台案例分析

第16章　EA“数据中台”实践

16.1　建设背景324

16.2　组织架构调整327

16.3　建设过程328

16.4　体系架构333

16.5　数据治理336

16.5.1　数据标准和规范336

16.5.2　元数据管理338

16.5.3　数据质量管理339

16.6　数据应用产品340

16.6.1　推荐系统340

16.6.2　打造动态游戏体验341

16.6.3　标签系统及游戏运营343

16.7　EA“数据中台”功能总结344

16.8　本章小结345

第17章　零售行业的数据中台

17.1　零售行业的数字化转型346

17.2　零售行业数据中台解决方案347

17.3　零售行业数据中台的建设349

17.3.1　数据汇聚350

17.3.2　业务调研352

17.3.3　数据仓库建设及数据分析354

17.3.4　业务系统的能力反馈356

17.4　零售行业数据中台的应用场景357

17.4.1　用户标签体系357

17.4.2　精准市场营销359

17.5　本章小结361

第18章　物联网领域数据中台建设

18.1　现代物联网的产业链362

18.2　物联网与ABC365

18.3　物联网数据中台架构366

18.4　智慧建筑物联网数据中台应用371

18.5　本章小结374