数据工程之道：设计和构建健壮的数据系统 [美]乔·里斯 [美]马特·豪斯利

图书标准信息

• 作者 [美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)
• 出版社 机械工业出版社
• 出版时间 2022
• 版次 1
• ISBN 9787111745273
• 定价 139.00元
• 装帧 平装
• 开本 16开
• 页数 372页
• 字数 473千字

【内容简介】

本书介绍了数据工程生命周期，并展示如何组合运用各种云技术来满足下游数据消费者的需求。本书分为三部分：部分介绍了数据工程的定义、数据工程的生命周期、合理的架构设计和帮助技术选型的框架；第二部分深入介绍了数据工程生命周期的每个阶段——数据生成、存储、获取、转换和服务；第三部分讨论了数据工程的重要部分——安全和隐私。附录还介绍了与处理数据文件和评估数据系统的能有关的序列化和压缩，以及云网络。本书适合软件工程师、数据科学家、数据工程师和数据分析师等相关技术人员阅读。

【作者简介】

:
    马特·豪斯利 Matt Housley是一名数据工程顾问和云专家。

【目录】

前言1

部分 基础和构建块7

章 数据工程概述9

1.1 什么是数据工程9

1.2 数据工程技能和活动18

1.3 组织的数据工程师26

1.4 结34

1.5 补充资料34

第2章 数据工程生命周期36

2.1 什么是数据工程生命周期36

2.2 数据工程生命周期中的主要底层设计49

2.3 结66

2.4 补充资料67

第3章 设计好的数据架构68

3.1 什么是数据架构68

3.2 好的数据架构的原则73

3.3 主要架构概念81

3.4 数据架构的示例和类型91

3.5 谁参与了数据架构的设计102

3.6 结102

3.7 补充资料103

第4章 根据数据生命周期选择技术107

4.1 团队大小和能力108

4.2 加速市场化109

4.3 互作109

4.4 成本优化和商业价值110

4.5 现在与未来：不变的与暂时的技术112

4.6 部署位置114

4.7 构建与购买122

4.8 单体与模块化128

4.9 无服务器与服务器131

4.10 优化、能和基准战争135

4.11 底层设计及其对技术选择的影响137

4.12 结139

4.13 补充资料139

第二部分 深入数据工程生命周期141

第5章 源系统中的数据生成143

5.1 数据源：数据是如何生成的？144

5.2 源系统：主要观点144

5.3 源系统实际细节152

5.4 你和谁一起工作166

5.5 数据底层设计及其对源系统的影响167

5.6 结171

5.7 补充资料172

第6章 存储173

6.1 数据存储的原材料174

6.2 数据存储系统180

6.3 数据工程存储抽象195

6.4 存储的重要思想和趋势198

6.5 你和谁一起工作206

6.6 底层设计207

6.7 结209

6.8 补充资料209

第7章 获取210

7.1 什么是数据获取210

7.2 数据获取阶段的关键工程虑因素212

7.3 批量获取的虑因素220

7.4 消息和流获取的虑因素223

7.5 获取数据的方式225

7.6 你和谁一起工作236

7.7 底层设计237

7.8 结241

7.9 补充资料242

第8章 查询、建模和转换243

8.1 查询244

8.2 数据建模257

8.3 转换276

8.4 你和谁一起工作293

8.5 底层设计294

8.6 结298

8.7 补充资料298

第9章 为分析、机器学和反向etl提供数据服务300

9.1 提供数据服务的常见关注点301

9.2 分析306

9.3 机器学310

9.4 数据工程师需要理解的机器学知识310

9.5 为分析和机器学提供数据服务的方法312

9.6 反向etl318

……