对象存储：OpenStack Swift应用、管理与开发

图书标准信息

• 作者 [美]Joe Arnold（乔·阿诺德）；members of the SwiftStack team（SwiftStack开发团队）
• 出版社 电子工业出版社
• 出版时间 2017-04
• 版次 1
• ISBN 9787121310973
• 定价 79.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸

【内容简介】

本书主要介绍了OpenStack Swift的原理与架构，以及应用程序设计、安装、部署、运维与性能测试等内容。本书用生动翔实的语言带你领略Swift对象存储的魅力，希望读者能像Swift的标志雨燕那样在新存储的世界里翱翔。本书一共分为五大部分。*部分主要介绍了Swift的概念、架构、原理。这一部分适合所有读者阅读，我们希望你能够了解Swift出现的背景，理解Swift的概念、架构、原理，为你部署使用Swift集群打下坚实的基础。第二部分主要涵盖了Swift API、Swift客户端库、Swift的高级API特性等内容，并介绍了什么是中间件以及如何开发中间件。这一部分主要是面向开发人员的，旨在教会帮助开发人员如何基于对象存储进行开发。第三部分主要介绍了如何安装Swift，第四部分介绍了部署当中的一些注意事项以及如何进行硬件选型，第五部分讲述了错误检修和基准测试，这三部分特别适合存储运维人员阅读参考。

【作者简介】

Joe Arnold是SwiftStack的CEO。SwiftStack是Swift的核心开发者。作为云计算基础架构的创新者，Joe于Engine Yard工作期间，在Amazon Web Services上构建了第一个广泛使用的云服务平台，推动了Swift成为OpenStack的第一个公开组件，并且部署了多个大规模云存储系统。

奥思数据创始人兼CEO李明宇，之前在中科院软件所工作，主要负责解决实际工程问题，带领团队承担分布式系统和云计算的相关工作。离开中科院后，李明宇一直致力于OpenStack等云计算和大数据相关开源技术的研究和传播，为企业提供咨询、评测等技术服务。李明宇的工作也得到了OpenStack国际社区的认可，受邀于2016年4月在奥斯汀OpenStack Summit峰会上进行培训和分享。

【目录】

前言XVII

第一部分　基础与架构

第1章　存储的演进3

当今数据的存储需求3

数据的增长：艾字节（Exabytes）、骇字节（Hellabytes）以及更多4

非结构化数据的存储需求4

没有放之四海而皆准的存储系统5

对象存储与其他存储类型的比较6

新的存储架构：软件定义存储（SDS）7

软件定义存储组件8

软件定义存储的优点9

为什么是OpenStack Swift9

小结10

第2章　初识Swift11

认识SwiftStack15

第3章　Swift数据模型和体系结构17

Swift数据模型17

Swift体系结构20

服务进程（Server Processes）22

一致性进程（Consistency Processes）24

定位数据26

环基础：哈希函数26

环基础：一致性哈希环28

环文件：修改后的一致性哈希环30

数据分发（Distribution of Data）32

创建和更新环32

创建和更新构造文件32

重新平衡环（Rebalancing the Rings）33

环内部结构33

小结34

第4章　Swift基础35

与集群交谈：Swift API35

发送请求36

存储URL36

身份验证37

HTTP动词37

授权和采取行动38

获取响应38

通信工具39

命令行界面39

自定义客户端应用程序42

示例场景43

小结43

第二部分　Swift应用程序设计

第5章　Swift API概述47

API到底是什么？47

CAP定理48

Swift的亮点：高可用性、冗余性和高吞吐量49

Swift API：背景50

回顾超文本传输协议（HTTP）50

表现层状态转化（REST）53

Swift、HTTP和REST53

使用Swift API54

关于你的Swift集群54

认证55

检索数据56

存储数据58

删除数据59

更新元数据60

小结61

第6章　Swift客户端库63

客户端库63

身份验证交换64

存储请求：基本用法65

其他语言的客户端库68

Ruby68

PHP68

Java69

存储请求：高级用法70

使用Python的其他注意事项71

小结71

第7章　高级API特性73

大对象（Large Objects）73

对象版本管理75

对象过期75

临时URL中间件（TempURL）76

表单提交中间件76

自定义元数据77

上传和更新元数据77

跨域资源共享（CORS）78

Swift集群信息79

范围请求80

域重映射中间件80

静态Web托管（Static Web Hosting）81

Content-Type头82

批量操作中间件82

代码示例83

静态大对象83

动态大对象84

对象版本管理85

TempURL（Time-Limited URLs）86

表单提交87

跨域资源共享（CORS）88

自定义元数据89

Swift集群信息90

范围请求90

域重映射91

静态web托管92

Content-Type93

批量上传93

批量删除94

小结94

第8章　部署Swift中间件95

WSGI框架简介95

编写WSGI97

数据流和数据的修改98

通过Paste来配置中间件100

如何编写Swift中间件102

由内而外104

简单的例子104

中间件中更多的工作106

回顾与前瞻110

小结111

第三部分　Swift的安装

第9章　源码安装OpenStack Swift115

下载OpenStack Swift115

依赖116

安装Swift CLI（python-Swiftclient）116

安装Swift117

复制Swift配置文件117

配置Swift117

向Swift中添加驱动器118

存储策略122

创建环构造器文件124

向构造文件中添加磁盘128

添加硬盘130

构建环131

配置Swift日志132

创建日志配置文件132

重启Rsyslog，开始记录Swift日志133

配置代理服务133

设置哈希路径前缀和后缀133

开启代理服务134

设置TempAuth验证和Swift授权134

开启memcahed134

在proxy-server.conf中添加用户135

启动服务和重启代理135

账户认证136

验证账户访问137

创建容器138

上传对象139

开启一致性进程139

配置rsync140

启动其他一致性进程141

小结141

第10章　安装SwiftStack143

SwiftStack控制器和节点概述143

SwiftStack控制器143

SwiftStack节点145

使用SwiftStack创建一个Swift集群146

创建一个SwiftStack控制器用户146

安装SwiftStack节点软件147

声明一个新节点147

创建集群148

获取节点149

启用SwiftStack节点149

配置SwiftStack节点150

添加Swift用户150

SwiftStack中间件151

部署到集群152

通过网页控制台来创建容器和上传对象153

小结154

第四部分　规划Swift部署

第11章　Swift的硬件157

节点的硬件规格158

CPU158

内存161

盘162

集群组网（Cluster Networking）164

网卡（NIC）165

对外网络（Outward-Facing Network）165

对内网络（Cluster-Facing Network）165

数据复制网络（Replication Network）166

带外管理（Out-of-Band Management）166

其他网络连接166

小结167

第12章　规划Swift部署169

你的用例169

系统设计170

多少个节点？171

节点服务分层（Tiering Node Services）175

定义集群空间176

节点命名规则178

身份验证与授权178

组网179

对外网络180

集群内部的网络181

示例部署184

小规模集群：几个节点184

中等规模集群：多个机架184

大规模集群：多个地域184

小结185

第13章　认证和授权187

认证187

认证系统工作原理188

认证请求190

认证处理192

认证响应194

在存储请求中使用认证令牌196

授权196

授权案例197

授权原理197

存储请求处理200

令牌确认和授权信息查询200

授权回调和响应201

授权和访问级别201

账户访问控制202

只读访问（Read-Only Access）202

读写访问（Read-Write Access）203

管理员访问（Admin Access）203

账户访问控制的JSON字典203

容器访问控制204

容器ACL示例205

Swift认证系统206

Keystone206

TempAuth206

SWAuth207

SwiftStack认证系统207

SwiftStack Auth207

SwiftStack LDAP208

SwiftStack Active Directory208

小结209

第14章　集群调优和性能优化211

Swift设置211

worker进程212

块大小213

设置后台进程214

外部管理设置218

Swift中间件219

中间件管道219

重要中间件219

最有用的中间件222

其他中间件223

SwiftStack方法224

小结225

第15章　操作Swift集群227

操作注意事项227

Swift如何分发数据228

追踪环和构造器文件228

管理容量229

我们应当避免什么230

添加容量230

现有集群：初始化节点上的环231

添加节点234

移除容量239

移除节点240

移除盘241

使用SwiftStack管理容量243

添加容量244

添加盘245

添加节点246

移除容量246

移除节点246

移除盘247

监控你的集群248

Swift特有指标：监控什么248

监控和日志工具250

SwiftStack工具250

使用SwiftStack进行操作252

小结253

第五部分　调试和检修故障

第16章　硬件故障与恢复257

处理故障的驱动器258

处理已满的盘259

处理扇区和部分磁盘故障(也称为位衰减)259

处理无法访问的节点260

处理故障节点261

节点故障案例研究262

小结263

第17章　基准测试265

评估性能266

性能指标、基准测试和测试267

准备你的集群以进行基准测试268

避免陷阱和错误269

基准测试目标和工具269

不要贪婪270

瓶颈271

使用ssbench进行基准测试273

安装ssbench273

基本ssbench运行273

定义用例274

ssbench如何工作275

测量基本性能275

进一步使用ssbench276

定义场景文件277

ssbench-worker280

启动ssbench-worker的方法280

使用swift-bench进行基准测试281

准备282

swift-bench如何工作282

容器数量282

测试高并发（-c, -b）283

测试延迟283

对象大小（-s, -l）284

对象数（-n）284

GET数（-g）284

不删除选项（-x）284

创建配置文件285

swift-bench运行示例285

运行分布式swift-bench285

swift-bench配置示例286

统计工具287

小结288

Swift后记289