Ceph设计原理与实现

图书标准信息

• 作者 谢型果 著
• 出版社 机械工业出版社
• 出版时间 2017-10
• 版次 1
• ISBN 9787111578420
• 定价 69.00元
• 装帧 平装
• 开本 其他
• 纸张 胶版纸

【内容简介】

本书是中兴Clove团队多年研究和实践经验的总结，Ceph创始人Sage Weil的高度评价并亲自作序。

 

Clove团队是Ceph项目的核心贡献者，从贡献的Commit数上看，连续多个版本贡献在中国排名第*，世界排名第二，对Ceph有非常深入的研究，在中兴通讯内部进行了大量的生产实践。

 

本书同时从设计者和使用者的角度系统剖析了Ceph 的整体架构、核心设计理念，以及各个组件的功能与原理；同时，结合大量在生产环境中积累的真实案例，展示了大量实战技巧。每一章都从基本原理切入，采用循序渐进的方式自然过渡至Ceph，并结合 Ceph 的核心设计理念指出需要进行哪些必要的改进和裁剪，使得读者不但能够知其然，而且能够知其所以然，真正做到了“源于 Ceph ，高于 Ceph”。此外，写作时尽量避免涉及到过多、非必要的专业术语，做到深入浅出并且每章相对独立，以最大程度的减少阅读障碍。

 

本书核心内容：

 

l  Ceph 核心算法 CRUSH 设计算法分析及拓展

 

l  Ceph 新型高性能存储引擎BlueStore特性及关键流程分析

 

l  Ceph 高级特性EC Overwrites

 

l  Ceph PG 状态机及数据修复、平衡机制

 

l  Ceph RBD、RGW、Ceph-FS三大主要组件的实现与拓展

 

l  Ceph 生产环境实战技巧

 

【作者简介】

谢型果

 

中兴通讯资深软件工程师，5年存储开发经验，精通本地文件系统ZFS和分布式存储系统Ceph。2014 年开始研究 Ceph，2015 年加入 Ceph 开源社区，目前是 Ceph 开源社区的 Ceph Member。

 

任焕文

 

中兴通讯高级软件工程师，有10余年研发经验，曾就职于浪潮和华为，擅长数据库、网络和存储相关技术。Ceph Member成员，现主要负责Ceph文件系统、NAS存储和分布式一致性方面的研发工作。

 

严  军

 

中兴通讯高级软件工程师，从事存储系统开发工作多年，熟悉DPDK开发框架；2015年加入Ceph开源项目，对分布式存储系统QoS有深入研究，目前是Ceph开源社区的积极贡献者。

 

罗润兵

 

华中科技大学微电子专业研究生，中兴通讯高级软件工程师，精通TCP/IP协议栈和分布式存储系统，2014年开始接触并参与Ceph开源项目，目前是Ceph开源社区的积极贡献者。

 

韦巧苗

 

中兴通讯高级软件工程师，擅长C/C++编程，有5年存储系统研发经验，对Ceph RGW模块有深入研究，同时在Cache技术及性能优化上也有丰富的经验。

 

骆科学

 

中兴通讯高级软件工程师，有5年存储产品相关开发经验，擅长虚拟化及存储相关技术，2016年于Ceph中国社区年终盛典中被评为“2016年度社区*佳贡献者”

 

【目录】

推荐序一

 

推荐序二

 

前　言

 

第1章　计算为王—— 基于可扩展哈希的受控副本分布策略CRUSH  1

 

1.1　straw及straw2算法简介  2

 

1.2　CRUSH 算法详解  6

 

1.2.1　集群的层级化描述——Cluster Map  7

 

1.2.2　数据分布策略——Placement Rule  9

 

1.3　调制CRUSH  14

 

1.3.1　编辑 CRUSH Map  15

 

1.3.2　定制CRUSH规则  19

 

1.3.3　数据重平衡  21

 

1.4　总结与展望  23

 

第2章　性能之巅——新型对象存储引擎BlueStore  25

 

2.1　设计理念与指导原则  26

 

2.2　磁盘数据结构  30

 

2.2.1　PG  30

 

2.2.2　对象  38

 

2.3　缓存管理  46

 

2.3.1　常见的缓存淘汰算法  46

 

2.3.2　BlueStore中的缓存管理  49

 

2.4　磁盘空间管理  53

 

2.4.1　常见磁盘空间管理模式  53

 

2.4.2　BitmapFreelistManager  56

 

2.4.3　BitmapAllocator  57

 

2.5　BlueFS  59

 

2.5.1　RocksDB与BlueFS  59

 

2.5.2　磁盘数据结构  62

 

2.5.3　块设备  65

 

2.6　实现原理  66

 

2.6.1　mkfs  66

 

2.6.2　mount  67

 

2.6.3　read  69

 

2.6.4　write  72

 

2.7　使用指南  77

 

2.7.1　部署BlueStore  77

 

2.7.2　配置参数  80

 

2.8　总结与展望  83

 

第3章　时空博弈——纠删码原理与overwrites支持  84

 

3.1　RAID技术概述  85

 

3.2　RS-RAID和Jerasure  90

 

3.2.1　计算校验和  92

 

3.2.2　数据恢复  92

 

3.2.3　算术运算  93

 

3.2.4　缺陷与改进  99

 

3.2.5　Jerasure  100

 

3.3　纠删码在Ceph中的应用  102

 

3.3.1　术语  104

 

3.3.2　概述  105

 

3.3.3　新写  106

 

3.3.4　读  108

 

3.3.5　覆盖写  110

 

3.3.6　日志  112

 

3.3.7　Scrub  113

 

3.4　总结与展望  113

 

第4章　迁移之美　—— PG 读写流程与状态迁移详解  116

 

4.1　PG概述  117

 

4.2　读写流程  120

 

4.2.1　消息接收与分发  127

 

4.2.2　do_request  129

 

4.2.3　do_op  129

 

4.2.4　execute_ctx  136

 

4.3　状态迁移  146

 

4.3.1　状态机概述  147

 

4.3.2　创建 PG  150

 

4.3.3　Peering  154

 

4.3.4　Recovery  169

 

4.3.5　Backfill  172

 

4.4　总结与展望  173

 

第5章　控制先行——存储服务质量QoS  175

 

5.1　研究现状  176

 

5.2　dmClock算法原理  177

 

5.2.1　mClock  177

 

5.2.2　dmClock  179

 

5.3　QoS的设计与实现  180

 

5.3.1　优先级队列（prio）  181

 

5.3.2　权重的优先级队列（wpq）  183

 

5.3.3　dmClock队列  184

 

5.3.4　Client的设计  191

 

5.4　总结与展望  192

 

第6章　无心插柳——分布式块存储RBD  195

 

6.1　RBD架构  195

 

6.2　存储组织  196

 

6.2.1　元数据  197

 

6.2.2　数据  209

 

6.3　功能特性  211

 

6.3.1　快照  211

 

6.3.2　克隆  216

 

6.4　总结与展望  219

 

第7章　应云而生——对象存储网关RGW  220

 

7.1　总体架构  221

 

7.2　数据组织和存储  222

 

7.2.1　用户  225

 

7.2.2　存储桶  228

 

7.2.3　对象  229

 

7.2.4　数据存储位置  231

 

7.3　功能实现  232

 

7.3.1　功能特性  233

 

7.3.2　I/O路径  235

 

7.3.3　存储桶创建  240

 

7.3.4　对象上传  242

 

7.3.5　对象下载  244

 

7.4　总结与展望  244

 

第8章　经典重现—— 分布式文件系统 CephFS  246

 

8.1　文件系统基础知识  247

 

8.1.1　文件系统  247

 

8.1.2　文件系统中的元数据  249

 

8.1.3　硬链接和软链接  250

 

8.1.4　日志  251

 

8.2　分布式文件系统CephFS  252

 

8.2.1　CephFS设计框架和背景  252

 

8.2.2　MDS的作用  254

 

8.3　MDS设计原理与实现  255

 

8.3.1　MDS元数据存储  255

 

8.3.2　MDS负载均衡实现  260

 

8.3.3　MDS故障恢复  268

 

8.4　总结与展望  271

 

第9章　运用之妙—— 应用案例实战  272

 

9.1　实战案例一：Ceph 集群定时Scrub  272

 

9.2　实战案例二：Ceph对接OpenStack  274

 

9.3　实战案例三：Ceph数据重建配置策略  288

 

9.4　实战案例四：Ceph集群Full紧急处理  290

 

9.5　实战案例五：Ceph快照在增量备份的应用  292

 

9.6　实战案例六：Ceph集群异常watcher处理  297

 

9.7　总结与展望  298