大话存储 新——存储系统底层架构原理极限剖析

作者感言
各位读者好，很高兴再次为大家“大话”存储，记得上一次是在3年前。6年前，当《大话存储》一书在2008年出版面世之后，我当时就许下承诺，要写《大话存储终极版》。当时之所以敢夸下海口要继续写第二本，是因为《大话存储》介绍了存储领域基本的概念和架构，但并没有深入涉及存储领域的技术，比如重复数据删除、Thin Provision、动态分级存储、CDP连续数据保护、SSD固态硬盘、FCoE、SAS、云计算和云存储等。
当年的《大话存储》确实满足了广大读者的一定需求，出版之后也获得了诸多好评和官方的、民间的很多奖项。这些成果逐渐让我感觉到更大的责任和压力。正因如此，所以我深知不能就此停歇，学习是永无止境的，技术是不断发展的，所以我先向大家做了承诺，这样就可以无时无刻地激励我继续学习研究下去了。
写作过程是极其困难的，尤其是当一字一句都需要精雕细琢，并且时刻以通俗表达且让所有人都能看懂的原则和基准去写的时候，其所耗费的精力和脑力是巨大的。记得在一年前撰写本书主体的时候，基本上每天都是早晨七八点钟起来，从床上直接到书桌前开始写，直到中午吃饭，吃饭过程中依然在脑海中构思着，就这样一直到晚上，晚的一次记得是做一个实验，通宵达旦，直到第二天天亮，实在体力不支，去床上躺到中午，然后继续写。每次睡觉之前，都会带着一个疑问入睡，躺下之后就在脑海中构思、建模，一旦想到某些重要的东西，就用笔记下几个关键词，否则第二天准忘。大部分情况一般都是没想到什么思路就已经呼呼大睡了。这种状态持续了半年之久，当完成了主体稿件之后，真的有一种如释重负的感觉。可惜，好景不长，随着不断的学习和深入，逐渐发现已经写完的内容当中有大量需要补充完善、修饰的部分，在修饰完善的过程中，继续思考，结果发现又引申出更多的东西，有些甚至推翻了以前的结论。这种状态又持续了半年，终定稿交给编辑之后，依然发现还有零碎的东西需要完善甚至推翻，结果一再将更新的内容同步给编辑，导致出版日期一推再推，出版社相关编辑、校对叫苦不迭，还好咱的老战友大成编辑一如既往地支持，我们都顶住了压力，直到后一个月时间内没有再发现需要完善的内容，达到了终收敛。后面这个过程感觉更加耗费精力，因为当你重新审视之前内容的时候，一旦发现不完善甚至错误，就会感觉到一种挫败感和愧疚感，使你的激情和斗志有所丧失。
写书不但是给他人共享知识的过程，它更是一个总结自身知识体系、提高自身修养以及让自己学习更多知识的途径。比如，我在写书过程中，不但通过各方面渠道纠正了之前对某项技术的一些错误认识，而且还学习了更多的知识，并且将这些知识进行深度理解分析，之后通俗地表达出来。当你发现其他人通过你的知识快速提高之后，这种感觉是充实的。只有在奉献之后才会感到充实，而不是一味的去索取，这样只能更加空虚。
本次终极修订版，一是针对《大话存储》和《大话存储终极版》这两本书中的错误进行修改，二是将前两本书彻底整合成为一本，三是增加了一些前沿内容，四是针对前作中读者反映不太好懂的地方进行了重新诠释。鄙人的下一本书已经在写作当中，本着十年磨一剑、磨不好绝不拿出来的态度，相信不会让读者失望。
感谢家人对我的支持！长达半年的无业状态，没有家人支持就没有这本书。
感谢那些曾经帮助过我的不计其数的网友和同事！没有鼓励也不会有这本书。
感谢清华大学出版社的工作人员为本书所付出的工作！没有信任更不会有这本书。

感谢华中科技大学武汉光电国家重点实验室博士生导师谢长生教授对鄙人和本书的大力支持！
感谢本书的广大读者，你们的支持给了我持续前进的动力！
致本书终修订版交稿之前，我的女儿诞生了，感谢妻子。不知道她成人之后，能否还能看到20多年前的这本由他父亲所著的著作，虽然那时候本书可能早已过时。我会努力把钻研、毅力、执着、忘我这些亘古不变的东西，在女儿成长过程中传授给她，我相信，有了这些，做什么都会成功。
 

网络存储是一个涉及计算机硬件以及网络协议/技术、操作系统以及专业软件等各方面综合知识的领域。目前国内阐述网络存储的书籍少之又少，大部分是国外作品，对存储系统底层细节的描述不够深入，加之术语太多，初学者很难真正理解网络存储的精髓。
本书以特立独行的行文风格向读者阐述了整个网络存储系统。从硬盘到应用程序，对这条路径上的每个节点，作者都进行了阐述。书中内容涉及：计算机IO基本概念，硬盘物理结构、盘片数据结构和工作原理，七种常见RAID原理详析以及性能细节对比，虚拟磁盘、卷和文件系统原理，磁盘阵列系统，OSI模型，FC协议，众多磁盘阵列架构等。另外，本书囊括了存储领域几乎所有的新兴技术，比如机械磁盘、SSD、FC/SAS协议、HBA卡、存储控制器、集群存储系统、FC SAN、NAS、iSCSI、FCoE、快照、镜像、虚拟化、同步/异步远程复制、Thin Provision自动精简配置、VTL虚拟磁带库、数据容灾、应用容灾、业务容灾、性能优化、存储系统IO路径、云计算与云存储等。
其中每一项技术作者都进行了建模和分析，旨在帮助读者彻底理解每一种技术的原理和本质。本书结尾，作者精心总结和多年来在论坛以及各大媒体发表的帖子内容，超过一百条的问与答，这些内容都是与实际紧密结合的经验总结，颇具参考价值。
本书*版于2008年出版，受到业界一致肯定，历经6年技术沉淀重装出版。
本书适合初入存储行业的研发人员、技术工程师、售前工程师和销售人员阅读，同时适合资深存储行业人士用以互相切磋交流提高。另外，网络工程师、网管、服务器软硬件开发与销售人员、Web开发者、数据库开发者以及相关专业师生等也非常适合阅读本书。

作者为资深系统工程师，精通网络互联技术、存储系统、网络存储系统以及DB2数据库系统。先后设计过多个省级网络架构，曾经为多个知名企业设计了存储子系统架构，在某知名企业担任DB2数据库管理员，设计并主持实施了DB2数据库以及SAP系统的整合容灾项目。作者曾经在中国民航总局担任民航NG（Next Generation）离港系统开发的通信协议和系统架构支持顾问，为我国自主研发的打破国际垄断的新一代高实时性离港系统提供了关键技术支持，包括大型机通信协议分析、系统架构分析等，得益于作者深厚的讲授和文档功底，使得开发人员编写代码的时候如鱼得水。
目前为的CISCO中文社区NET130大版主，网络上具有相当大的名气和号召力。
该作者对网络、存储系统有深刻的理解和洞察力，具有深厚的知识背景和技术能力。正因如此，作者曾经应邀担任多家培训机构的高级技术顾问和讲授顾问。作者对教授技巧有很好的领悟，所培训的学员对其讲授水平有很高的评价。由于极其通俗易懂，作者的讲义被学员赞誉为“无需老师讲授的教材”。
该作者的著作特点为：通俗易懂，极大的激发读者的兴趣，善于运用各种比喻和类比。
该作者不但在IT领域有所造诣，而且还研究过生物化学，分子生物学，分子免疫学，分子生态学等生物科学领域的内容。作者对万物有自己独到的见解，对未来世界的发展也有自己深邃的看法。
作者曾经在各大媒体杂志发表过的文章有：
1、《深入剖析各种RAID技术的原理细节》，发表于《计算机世界》2007年3月26日《网络存储》
2、《信息的哲学－从信息到数据再到数据存储》，发表于《信息存储》2006年11月15日刊。
3、《论存储领域各种通信协议之间的相互作用》，发表于《信息存储》2006年11月15日刊。
4、《分而治之－论当今存储集群的发展趋势》，发表于IT168网络存储频道。
5、《深入分析单口NAT的实现原理》，发表于NET130网络技术频道。
6、《从“彻底网络化”看存储区域网络和系统区域网络的发展历程》，发表于IT168网络存储频道。
7、《大话虚拟化》，发表于《信息存储》2007年6月15日刊。
8、《对一个网络界讨论已久问题的分析解释》，发表于NET130网络技术频道。

目  录
 

 
第1章  混沌初开——存储系统的前世今生 1
1.1  存储历史 2
1.2  信息、数据和数据存储 6
1.2.1  信息 6
1.2.2  什么是数据 7
1.2.3  数据存储 8
1.3  用计算机来处理信息、保存数据 9
第2章  IO大法——走进计算机IO世界 11
2.1  IO的通路——总线 12
2.2  计算机内部通信 13
2.2.1  IO总线是否可以看作网络 14
2.2.2  CPU、内存和磁盘之间通过网络来通信 15
2.3  网中之网 16
第3章  磁盘大挪移——磁盘原理与技术详解 19
3.1  硬盘结构 20
3.1.1  盘片上的数据组织 21
3.1.2  硬盘控制电路简介 27
3.1.3  磁盘的IO单位 28
3.2  磁盘的通俗演绎 29
3.3  磁盘相关高层技术 31
3.3.1  磁盘中的队列技术 31
3.3.2  无序传输技术 32
3.3.3  几种可控磁头扫描方式概论 32
3.3.4  关于磁盘缓存 34
3.3.5  影响磁盘性能的因素 35
3.4  硬盘接口技术 36
3.4.1  IDE硬盘接口 36
3.4.2  SATA硬盘接口 39
3.5  SCSI硬盘接口 42
3.6  磁盘控制器、驱动器控制电路和磁盘控制器驱动程序 50
3.6.1  磁盘控制器 50
3.6.2  驱动器控制电路 50
3.6.3  磁盘控制器驱动程序 50
3.7  内部传输速率和外部传输速率 51
3.7.1  内部传输速率 51
3.7.2  外部传输速率 52
3.8  并行传输和串行传输 52
3.8.1  并行传输 52
3.8.2  串行传输 54
3.9  磁盘的IOPS和传输带宽（吞吐量） 54
3.9.1  IOPS 54
3.9.2  传输带宽 56
3.10  固态存储介质和固态硬盘 56
3.10.1  SSD固态硬盘的硬件组成 57
3.10.2  从Flash芯片读取数据的过程 60
3.10.3  向Flash芯片中写入数据的过程 61
3.10.4  Flash芯片的通病 63
3.10.5  NAND与NOR 64
3.10.6  SSD给自己开的五剂良药 65
3.10.7  SSD如何处理Cell损坏 68
3.10.8  SSD的前景 68
3.11  Memblaze闪存产品介绍 69
3.11.1  技术能力 70
3.11.2  产品能力 73
3.12  小结：网中有网，网中之网 75
第4章  七星北斗——大话/详解七种RAID 77
4.1  大话七种RAID武器 78
4.1.1  RAID 0阵式 78
4.1.2  RAID 1阵式 80
4.1.3  RAID 2阵式 82
4.1.4  RAID 3阵式 85
4.1.5  RAID 4阵式 88
4.1.6  RAID 5阵式 90
4.1.7  RAID 6阵式 94
4.2  七种RAID技术详解 96
4.2.1  RAID 0技术详析 99
4.2.2  RAID 1技术详析 100
4.2.3  RAID 2技术详析 102
4.2.4  RAID 3技术详析 104
4.2.5  RAID 4技术详析 106
4.2.6  RAID 5技术详析 109
4.2.7  RAID 6技术详析 113
第5章  降龙传说——RAID、虚拟磁盘、卷和文件系统实战 115
5.1  操作系统中RAID的实现和配置 116
5.1.1  Windows Server 2003高级磁盘管理 116
5.1.2  Linux下软RAID配置示例 121
5.2  RAID卡 123
5.3  磁盘阵列 134
5.3.1  RAID 50 134
5.3.2  RAID 10和RAID 01 135
5.4  虚拟磁盘 136
5.4.1  RAID组的再划分 136
5.4.2  同一通道存在多种类型的RAID组 137
5.4.3  操作系统如何看待逻辑磁盘 137
5.4.4  RAID控制器如何管理逻辑磁盘 137
5.5  卷管理层 138
5.5.1  有了逻辑盘就万事大吉了么？ 138
5.5.2  深入卷管理层 140
5.5.3  Linux下配置LVM实例 141
5.5.4  卷管理软件的实现 143
5.5.5  低级VM和高级VM 144
5.5.6  VxVM卷管理软件配置简介 146
5.6  大话文件系统 149
5.6.1  成何体统——没有规矩的仓库 149
5.6.2  慧眼识人——交给下一代去设计 150
5.6.3  无孔不入——不浪费一点空间 150
5.6.4  一箭双雕——一张图解决两个难题 151
5.6.5  宽容似海——设计也要像心胸一样宽 153
5.6.6  老将出马——权威发布 153
5.6.7  一统江湖——所有操作系统都在用 154
5.7  文件系统中的IO方式 154
第6章  阵列之行——大话磁盘阵列 157
6.1  初露端倪——外置磁盘柜应用探索 158
6.2  精益求精——结合RAID卡实现外置磁盘阵列 159
6.3  独立宣言——独立的外部磁盘阵列 161
6.4  双龙戏珠——双控制器的高安全性磁盘阵列 163
6.5  龙头凤尾——连接多个扩展柜 165
6.6  锦上添花——完整功能的模块化磁盘阵列 166
6.7  一脉相承——主机和磁盘阵列本是一家 167
6.8  天罗地网——SAN 169
第7章  熟读宝典——系统与系统之间的语言OSI 171
7.1  人类模型与计算机模型的对比剖析 172
7.1.1  人类模型 172
7.1.2  计算机模型 173
7.1.3  个体间交流是群体进化的动力 174
7.2  系统与系统之间的语言——OSI初步 174
7.3  OSI模型的七个层次 176
7.3.1  应用层 176
7.3.2  表示层 176
7.3.3  会话层 176
7.3.4  传输层 177
7.3.5  网络层 177
7.3.6  数据链路层 178
7.3.7  物理层 181
7.4  OSI与网络 182
第8章  勇破难关——Fibre Channel协议详解 185
8.1  FC网络——极佳的候选角色 186
8.1.1  物理层 186
8.1.2  链路层 186
8.1.3  网络层 188
8.1.4  传输层 194
8.1.5  上三层 195
8.1.6  小结 195
8.2  FC协议中的七种端口类型 196
8.2.1  N端口和F端口 196
8.2.2  L端口 196
8.2.3  NL端口和FL端口 197
8.2.4  E端口 199
8.2.5  G端口 199
8.3  FC适配器 200
8.4  改造盘阵前端通路——SCSI迁移到FC 201
8.5  引入FC之后 202
8.6  多路径访问目标 206
8.7  FC交换网络节点4次Login过程简析 210
第9章  天翻地覆——FC协议的巨大力量 211
9.1  FC交换网络替代并行SCSI总线的必然性 212
9.1.1  面向连接与面向无连接 212
9.1.2  串行和并行 213
9.2  不甘示弱——后端也升级换代为FC 213
9.3  FC革命——完整的盘阵解决方案 215
9.3.1  FC磁盘接口结构 215
9.3.2  一个磁盘同时连入两个控制器的Loop中 216
9.3.3  共享环路还是交换——SBOD芯片级详解 217
9.4  SAS大革命 228
9.4.1  SAS物理层 228
9.4.2  SAS链路层 230
9.4.3  SAS网络层 232
9.4.4  SAS传输层和应用层 234
9.4.5  SAS的应用设计和实际应用示例 237
9.4.6  SAS目前的优势和面临的挑战 238
9.5  中高端磁盘阵列整体架构简析 239
9.5.1  IBM DS4800和DS5000控制器架构简析 240
9.5.2  NetApp FAS系列磁盘阵列控制器简析 249
9.5.3  IBM DS8000简介 250
9.5.4  富士通ETERNUS DX8000磁盘阵列控制器结构简析 251
9.5.5  EMC公司Clariion CX/CX3及DMX系列盘阵介绍 254
9.5.6  HDS公司AMS2000和USP系列盘阵介绍 260
9.5.7  HP公司MSA2000和EVA8000存储系统架构简介 264
9.5.8  传统磁盘阵列架构总结 265
9.6  磁盘阵列配置实践 266
9.6.1  基于IBM的DS4500盘阵的配置实例 266
9.6.2  基于EMC的CX700磁盘阵列配置实例 272
9.7  HBA卡逻辑架构详析与SAN Boot示例 275
9.7.1  HBA卡逻辑架构 275
9.7.2  支持Boot的HBA卡访问流程 277
9.8  国产中高端FC磁盘阵列 280
9.8.1  Infortrend中低端ESDS系列存储系统 281
9.8.2  Infortrend中高端ESVA系列存储系统 284
9.8.3  Infortrend存储软件特性及配置界面 284
9.9  小结 287
第10章  三足鼎立——DAS、SAN和NAS 289
10.1  NAS也疯狂 290
10.1.1  另辟蹊径——乱谈NAS的起家 290
10.1.2  双管齐下——两种方式访问的后端存储网络 293
10.1.3  万物归一——网络文件系统 293
10.1.4  美其名曰—&m