大数据平台基础架构指南

图书标准信息

• 作者 刘旭晖
• 出版社 电子工业出版社
• 出版时间 2018-07
• 版次 1
• ISBN 9787121342592
• 定价 69.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 233页
• 字数 322.4千字

【内容简介】

当前不乏大数据具体技术组件的书籍，但却很少有从大数据平台整体建设和产品形态的宏观角度入手来阐释的。本书重点介绍大数据开发平台服务构建的整体思路和解决方案，内容涵盖一个成熟的大数据开发平台必不可少的各类核心组件：工作流调度系统、集成开发环境、元数据管理系统、数据交换服务、数据可视化服务、数据质量管理服务，以及测试环境的建设等。书中还凝结了作者多年平台建设的实践经验，以及对大数据相关从业人员能力建设和职业规划的宝贵建议。本书适合广大志在深入了解大数据平台建设、开发和应用的在职人员及院校师生。

【作者简介】

刘旭晖，花名天火，蘑菇街数据平台资深架构师，负责蘑菇街大数据服务平台整体产品规划和架构设计工作；此前多年供职于Intel开源技术中心，是Spark/Hadoop/HBase/Phoenix等开源项目贡献者；在内核驱动、操作系统中间件、输入法、浏览器等方向均有多年开发经验。

【目录】

第1章  大数据平台整体建设思想1

1.1  什么是大数据平台1

1.2  大数据平台的建设目标3

1.2.1  别人的大数据平台是怎样的3

1.2.2  和业内领先的大数据平台的差距4

1.2.3  大数据平台建设目标小结6

1.3  大数据平台的建设指导方针6

1.3.1  组件工具化7

1.3.2  工具平台化8

1.3.3  平台服务化9

1.3.4  平台产品化10

1.3.5  对中小公司大数据平台的适用性11

1.4  大数据平台的两种建设路径12

1.4.1  垂直业务领域一站到底的建设方式13

1.4.2  通用组件建设，组合支持业务的方式13

1.4.3  从蘑菇街平台的实践经验对比两种建设路径14

1.4.4  两种建设路径的对比小结16

第2章  服务意识和产品思想的培养17

2.1  明确大数据平台服务能力的评估标准17

2.1.1  大数据平台团队的职能定位18

2.1.2  打通上下游系统和业务流程的能力18

2.2  满足用户真正的需求19

2.3  认清服务的代价，做好心理建设20

2.4  寻找解决服务代价问题的方案23

2.4.1  路线选择带来的代价问题23

2.4.2  如何降低服务自身的代价25

2.5  大数据平台的产品化思想29

2.5.1  从用户体验的角度谈产品设计31

2.5.2  从价值和利益的角度谈产品思维36

2.6  小结38

第3章  工作流（作业）调度系统39

3.1  作业调度系统基础理论40

3.1.1  调度系统分类40

3.1.2  工作流调度系统的两种心法流派45

3.1.3  工作流调度系统功能特性详解49

3.2  Jarvis调度系统产品开发实践55

3.2.1  需求定位分析55

3.2.2  具体功能目标的详细分析和实践57

3.2.3  第二代Jarvis现状和将来75

3.3  小结79

第4章  集成开发环境门户建设81

4.1  集成开发环境的功能定位82

4.1.1  集成开发环境的整体服务思路83

4.1.2  集成开发环境的具体产品建设目标86

4.1.3  小结93

4.2  开发平台测试环境建设94

4.2.1  问题背景94

4.2.2  系统功能性测试环境95

4.2.3  数据业务类测试环境96

4.2.4  小结100

第5章  数据采集、传输、交换、同步服务101

5.1  数据交换服务场景和常见开源方案102

5.1.1  大数据平台数据交换服务业务场景102

5.1.2  常见数据交换服务解决方案介绍103

5.2  数据交换服务具体产品实践110

5.2.1  数据交换服务底层组件110

5.2.2  数据交换服务管控平台113

5.2.3  蘑菇街数据交换服务的实践现状和未来改进计划118

5.3  用户行为链路分析之日志埋点采集跟踪方案实践120

5.3.1  记日志有什么难的120

5.3.2  蘑菇街的用户行为日志采集方案实践122

5.3.3  小结129

第6章  数据可视化平台130

6.1  什么是数据可视化平台130

6.1.1  数据可视化平台名词定义131

6.1.2  已经有了那么多商业BI系统，为什么还要造轮子132

6.2  数据可视化平台产品实践134

6.2.1  可视化平台产品定位和需求分析135

6.2.2  具体产品功能需求实践详解136

6.2.3  将来的改进目标146

6.2.4  产品实践小结148

第7章  安全与权限管控149

7.1  权限管理的目标是什么149

7.1.1  适度安全，降低人为风险150

7.1.2  隔离环境，提高工作效率151

7.1.3  权责明晰，规范业务流程152

7.1.4  权限管理目标小结153

7.2  如何解决安全和便利的矛盾153

7.2.1  安全和便利天生矛盾153

7.2.2  改变角度，转移目标154

7.2.3  把握尺度155

7.2.4  可能的变通措施157

7.2.5  思想小结163

7.3  权限管控系统产品方案和技术分析163

7.3.1  常见开源方案164

7.3.2  Kerberos165

7.3.3  Sentry和Ranger168

7.3.4  Knox169

7.3.5  开源项目中常见的权限模型概念169

7.4  基于开发平台服务入口的权限管控方案171

7.4.1  权限管控方案实践171

7.4.2  底层统一权限管控和平台边界权限管控方案对比173

第8章  数据质量管理175

8.1  元数据管理平台176

8.1.1  元数据管理平台管理什么176

8.1.2  元数据管理相关系统方案介绍180

8.1.3  元数据管理系统工程实践183

8.2  DQC数据质量中心185

8.2.1  DQC数据质量中心业界方案186

8.2.2  DQC数据质量系统建设实践188

8.3  数据质量管理小结193

第9章  大数据集群迁移经验谈195

9.1  集群迁移都要面对哪些麻烦事196

9.1.1  集群和机房外部环境问题196

9.1.2  平台自身组件和服务依赖问题196

9.1.3  业务模式和沟通配合问题197

9.1.4  业务逻辑和数据正确性问题198

9.2  集群搬迁方案的总体目标、原则、流程199

9.3  一些具体问题的分析和实践201

9.3.1  如何保证正确性201

9.3.2  集群数据同步拷贝方案205

9.3.3  各种无法双跑的业务场景梳理207

9.4  小结208

第10章  谈谈大数据码农的职业发展问题210

10.1  如何成为一名糟糕的大数据平台工程师211

10.1.1  我是小白我怕谁211

10.1.2  敏而好学，不耻下问212

10.1.3  效率优先，中文至上213

10.1.4  流行的就是最好的213

10.1.5  我们的征途，是星辰大海215

10.1.6  书中自有颜如玉，热衷阅读代码216

10.1.7  谜之问题的谜之解决方式218

10.1.8  勤奋好学，但是回头即忘220

10.1.9  小结221

10.2  职业选择和我们早晚要面对的中年危机问题222

10.2.1  中年危机，要从娃娃抓起222

10.2.2  中年危机之抗焦虑指南223

10.2.3  如何才能获得自由225

10.2.4  案例230

10.2.5  小结233