分布式系统与一致性

图书标准信息

• 作者 陈东明
• 出版社 电子工业出版社
• 出版时间 2021-05
• 版次 1
• ISBN 9787121410413
• 定价 79.00元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 252页
• 字数 325千字

【内容简介】

一致性是非常重要的分布式技术。众所周知，分布式系统有很多特性，如可用性、可靠性等，这些特性多多少少会与一致性产生关系，受到一致性的影响。要全面研究、掌握分布式技术，一致性是绕不开的一个话题，也是*难解决的一个问题。本书主要介绍GFS、HDFS、BigTable、MongoDB、RabbitMQ、ZooKeeper、Spanner、CockroachDB系统与一致性有关的实现细节，以及非常重要的Paxos、Raft、Zab分布式算法；本书还介绍了事务一致性与隔离级别、顺序一致性、线性一致性与强一致性相关内容，以及架构设计中的权衡等。从分布式技术的角度来说，本书讲解了分布式领域比较高阶的内容，但是从分布式一致性的角度来说，本书仍然是一致性的入门书。

【作者简介】

陈东明: 饿了么北京技术中心架构组负责人,负责饿了么的产品线架构设计以及基础架构研发工作,主导开发eleme key-value数据库。曾任百度架构师负责百度即时通讯产品的架构设计。具有丰富的大规模系统构建和基础架构的?x发经验,善于复杂业务需求下的大并发、分布式系统设计和持续优化。

【目录】

部分  开    篇
章  分布式系统的核心特：一致2
1.1  拆分是解决大规模应用的本质2
1.2  分布式技术是大规模应用的后一个验4
1.3  一致是这个验的核心6

第2部分  系统案例
第2章  google的文件系统8
2.1  gfs的外部接和架构8
2.1.1  gfs的外部接8
2.1.2  gfs的架构9
2.2  gfs的写流程细节11
2.2.1  名字空间管理和锁保护11
2.2.2  租约11
2.2.3  变更及变更次序11
2.3  gfs的原子13
2.3.1  write和record append的区别13
2.3.2  gfs中原子的含义14
2.3.3  gfs中多副本之间不具有原子15
2.4  gfs的松弛一致15
2.4.1  元数据的一致15
2.4.2  文件数据的一致15
2.4.3  适应gfs的松弛一致16
2.4.4  gfs的设计哲学17
参文献18
第3章  开源的文件系统hdfs19
3.1  hdfs的外部接和架构19
3.1.1  hdfs的外部接19
3.1.2  hdfs的架构20
3.2  hdfs的写流程细节21
3.2.1  打开文件22
3.2.2  pipeline写入22
3.2.3  上报block状态24
3.2.4  关闭文件24
3.2.5  dn定期上报信息24
3.3  hdfs的错误处理25
3.3.1  dn的错误25
3.3.2  nn的错误26
3.3.3  客户端的错误26
参文献29
第4章  google的bigtable系统30
4.1  bigtable的外部接和架构30
4.1.1  表30
4.1.2  数据31
4.1.3  原子32
4.1.4  时间戳32
4.1.5  bigtable的数据模型33
4.1.6  bigtable的架构34
4.2  bigtable的实现35
4.2.1  tablet location35
4.2.2  tablet的指派36
4.2.3  加载tablet36
4.2.4  tablet的读/写作37
4.2.5  合并38
参文献38
第5章  文档数据库monb39
5.1  monb的外部接和架构39
5.1.1  monb的基本概念39
5.1.2  monb的架构39
5.2  monb的standalone模式40
5.2.1  monb的写入过程40
5.2.2  无确认导致的丢失更新异常40
5.2.3  未持久化导致的丢失更新异常41
5.3  monb的replica set模式42
5.3.1  monb的复制过程43
5.3.2  无副本确认导致的丢失更新异常44
5.3.3  不正确选主导致的丢失更新异常45
5.3.4  脑裂导致的丢失更新异常47
5.3.5  缺失任期信息导致的丢失更新异常48
5.3.6  脏读异常51
5.3.7  陈旧读异常52
第6章  消息系统rabbitmq54
6.1  rabbitmq简述54
6.1.1  关于broker54
6.1.2  rabbitmq的接55
6.1.3  镜像队列55
6.2  rabbitmq的基本实现55
6.2.1  镜像复制55
6.2.2  镜像加入队列56
6.2.3  镜像同步过程56
6.3  master切换及rabbitmq的异常处理57
6.3.1  意外宕机后的master切换57
6.3.2  主动运维后的master切换57
6.3.3  意外宕机与主动运维的默认行为差异58
6.3.4  网络分区后的master切换58
6.4  确认机制59
第7章  协调服务zookeeper60
7.1  协调服务的应用场景60
7.2  zookeeper简述61
7.2.1  zookeeper的数据模型61
7.2.2  zookeeper的外部接62
7.2.3  zookeeper的架构63
7.3  zookeeper的实现细节65
7.3.1  客户端异步处理65
7.3.2  请求处理器65
7.3.3  原子广播67
参文献68
第8章  google的spanner数据库69
8.1  spanner的数据模型69
8.1.1  带模式的半关系型表69
8.1.2  通用事务71
8.2  spanner的架构72
8.3  spanner的实现73
8.3.1  tablet与存储73
8.3.2  复制73
8.3.3  truetime74
8.3.4  事务75
8.3.5  80
8.3.6  paxos的作用80
8.4  truetime的作用81
8.4.1  spanner的外部一致81
8.4.2  truetime生成事务时间戳82
8.4.3  truetime管理leader租约83
8.4.4  truetime作用的结85
参文献85
第9章  分布式数据库cockroachdb86
9.1  cockroachdb的接和数据模型86
9.2  cockroachdb的架构87
9.3  元数据存储的实现88
9.4  多副本存储的实现90
9.5  事务的实现92
9.5.1  单个事务的执行92
9.5.2  多个事务串行执行94
9.5.3  事务的并发执行96
参文献106

第3部分  分布式算
0章  共识算paxos108
10.1  paxos的历史108
10.2  consensus vs paxos110
10.3  basic paxos算111
10.3.1  共识问题111
10.3.2  算简述113
10.3.3  选择值过程115
10.4  multi paxos 算132
10.4.1  多个实例132
10.4.2  独立实例运行的完整paxos算132
10.4.3  只运行一次prepare消息的完整paxos算137
10.5  复制状态机144
10.6  paxos算与复制状态机146
10.6.1  paxos算实现复制状态机146
10.6.2  空洞处理147
10.7  原子广播148
10.7.1  原子广播协议148
10.7.2  原子广播的模型148
10.7.3  原子广播的特149
10.8  paxos算与原子广播149
10.8.1  paxos consensus实例与原子广播149
10.8.2  paxos的角与原子广播150
参文献151
1章  复制志算raft152
11.1  raft是复制志的算152
11.2  raft算的组成153
11.3  复制过程153
11.4  选举过程154
11.4.1  选举的基本条件154
11.4.2  任期155
11.4.3  完整的选举过程156
11.5  异常处理157
11.5.1  不一致异常157
11.5.2  一致检查160
11.5.3  不提交旧的leader的entry160
参文献162
2章  原子广播算zab163
12.1  zab算简述163
12.1.1  设计的zab算与zookeeper中实现的zab算163
12.1.2  zab算的阶段164
12.2  各版本zab算的共有部分164
12.2.1  zab算的基本概念164
12.2.2  zab算的broadcast阶段166
12.2.3  zab算的消息通道169
12.2.4  zab算的broadcast阶段的特170
12.2.5  已提交的提议170
12.2.6  故障处理170
12.3  设计的zab算172
12.3.1  phase0：election阶段173
12.3.2  phase1：discovery阶段174
12.3.3  phase2：synchronization阶段174
12.3.4  phase3：broadcast阶段175
12.3.5  设计的zab算的问题176
12.3.6  设计的zab算处理leader故障176
12.4  zab pre 1.0算177
12.4.1  leader election阶段177
12.4.2  recovery阶段177
12.4.3  zab pre 1.0算处理leader宕机故障178
12.4.4  zab pre 1.0算的缺陷179
12.5  zab 1.0算179
12.5.1  phase0：leader election阶段180
12.5.2  phase1：discovery阶段180
12.5.3  phase2：synchronization阶段181
12.5.4  zab 1.0算处理leader宕机故障181
参文献182

第4部分  一 致 
3章  事务一致与隔离级别184
13.1  ansi的隔离级别185
13.1.1  ansi的隔离级别定义185
13.1.2  对一致的破坏186
13.1.3  脏写188
13.1.4  锁机制188
13.2  si和ssi隔离级别190
13.2.1  mvcc190
13.2.2  si隔离级别190
13.2.3  ssi隔离级别192
参文献192

4章  顺序一致193
14.1  顺序一致的正式定义193
14.1.1  顺序一致应用的范围193
14.1.2  顺序一致的定义194
14.1.3  核心概念的解释195
14.1.4  定义解析198
14.1.5  在分布式系统中的定义200
14.1.6  举例说明200
14.2  理解顺序一致202
14.2.1  顺序排序202
14.2.2  程序顺序202
14.2.3  顺序一致是严苛的203
14.3  顺序一致的其他描述204
14.3.1  种描述：全局视角一致204
14.3.2  第二种描述：允许重排序205
14.4  顺序一致的作用206
14.4.1  并发条件206
14.4.2  原子207
参文献209
5章  线一致与强一致210
15.1  什么是线一致210
15.1.1  预备概念211
15.1.2  定义213
15.2  判断系统是否满足线一致213
15.3  对线一致的理解与强一致216
15.3.1  线一致的其他描述216
15.3.2  线一致与顺序一致的比较217
15.3.3  强一致218
15.4  zookeeper的一致分析219
15.4.1  zookeeper是顺序一致的219
15.4.2  zookeeper的一致的作用221
15.4.3  zookeeper的一致的描述222
参文献223
6章  架构设计中的权衡225
16.1  什么是cap定理225
16.1.1  cap历史：从原则到定理225
16.1.2  cap的定义226
16.1.3  cap定理下的三种系统226
16.1.4  深入理解cap定理中的p和a227
16.2  关于cap定理的错误理解228
16.2.1  不是三选二，不能不选p228
16.2.2  不是三分229
16.2.3  不该轻易放弃任何一个属230
16.3  cap中的权衡230
16.3.1  弱cap原则230
16.3.2  cap推动nosql231
16.3.3  分布式系统中的可用和一致231
16.4  进一步权衡：hat和pacelc231
16.4.1  hat232
16.4.2  权衡234
16.4.3  pacelc234
参文献235