云数据中心网络技术

　　在过去的30年里，我目睹了半导体行业和网络行业的许多进展。正是由于网络系统依赖于半导体技术的演进，这两方面的进展在许多方面相互交织。鉴于在半导体和网络行业工作多年，我想先介绍一些与此相关的背景，这样你们就会明白我的观点源自何处。

　　当我以应届大学毕业生的身份加入半导体行业时，研究实验室仍在努力确定可用于高性能逻辑器件的最佳技术。刚开始，我是硅双极芯片设计师，后来很快转到了GaAs（Gallium Arsenide，砷化镓）芯片的设计上。20世纪90年代，我亲眼见证了CMOS成为在行业中占主导地位的半导体技术。我刚从大学毕业的时候，以太网还只是众多建议网络协议中的一个，但是到20世纪90年代，它已经发展到了开始主导各种网络应用的地步。现在，在局域网络、数据中心网络、运营商网络和模块化系统背板等领域，已经很难找到其他可以与以太网竞争的网络技术了。

　　1996年，我在Vitesse半导体公司工作。在大约12年的GaAs芯片设计经历之后，我开始探索将GaAs技术用于新的交换结构（switch fabric）架构。当时，硅技术在最大带宽容量上仍然落后于GaAs技术，我们今天的交换结构芯片架构尚不存在。我有幸与网络工程顾问John Mullaney在同一团队共事，一起设计了一种新的高速串行交换机架构，并且因此获得了两项专利。在这一时期，我们研究关于交换结构架构的论文时，有一个名字频频出现——Nick McKeown。当Nick McKeown还是加州大学伯克利分校的博士生时，他和学生们就进行了大量的基础性研究，其中的很多理念被当时设计的新兴交换结构架构所采用，也促进了今天交换结构架构设计的诞生。20世纪90年代末，CMOS技术在性能水平上很快超过了GaAs技术，所以Vitesse半导体公司的团队也改弦更张，开始为各种各样的通信市场研发大型CMOS交换结构芯片组。我们并不是唯一这样做的公司。

　　从1996年到21世纪初电信泡沫结束，人们提出了20～30种崭新而独特的交换结构芯片组设计，主要面向飞速发展的电信行业。这些设计有些来自IBM这样的老牌公司，有些则来自从思科和北电网络等公司跳槽出来的设计工程师所成立的创业公司，还有一些来自斯坦福大学和华盛顿大学这样的机构。泡沫最终破裂，资金随之枯竭，这些研发成果绝大多数都已绝迹。现在，这些公司当中仅有很少一部分幸存了下来，被Broadcom公司收购的Sandburst公司和Dune Networks公司就是两个例子。

　　电信行业的飞速发展期结束之后，在英特尔公司的主导下，交换结构芯片行业仅存的几家公司联合起来组建了ASI-SIG（Advanced Switching Interconnect Special Interest Group，高级交换互连特别兴趣小组）。该小组的目标是为遵循PCI Express 接口规范建立的通信系统创建一个标准的交换结构架构。在ASI 董事会制定规范期间，我作为Vitesse 公司的代表参加了ASI-SIG。人们很快发现，这样的规范显得过于雄心勃勃了。这最终导致英特尔等公司慢慢从中抽身，直到ASI 走到尽头。但是对我而言，这是一次很好的学习经历，既让我明白了标准机构应该如何运作，也促使我对当今计算机行业广泛应用的PCI Express 标准有了一些技术上的见解。

　　在ASI 完全退出历史舞台之前，我就开始为Xyratex 公司工作了。这家存储器公司致力于基于ASI 标准为服务器开发共享IO 系统，希望以此来扩大自己的市场。其共享IO 计划最终搁浅，所以我转变方向，开始研究面向存储器应用的SAS 交换机。虽然只在Xyratex 工作了2 年时间，但是我学到了很多关于光纤通道、SAS 和SATA 存储阵列设计的知识，并且从Xyratex 公司的工程师和科学家们那里了解到基于闪存的存储器具有何种优势和缺陷，他们甚至在Xyratex 公司从IBM 公司分离出来之前就已经花费了多年时间来研究这些技术。

　　纵观研究专用交换结构架构的那段时光，我那些在Vitesse 公司以太网部门工作的同行总会批评我们所做的工作，并且说“绝不要跟以太网作对”。如果是在20 世纪90 年代末，我可以就为什么不能在电信交换结构设计中使用以太网给出一长串理由。然而这些年以来，以太网的标准在不断演进，以至于现在大多数模块化通信系统都在其背板中使用了以太网。可以说，如果电信泡沫还没有让做交换结构的创业公司全军覆没，那么以太网将会做到这一点。

　　我职业生涯的下一站是第三家创业公司Fulcrum Microsystems。在我加入的时候，公司刚刚推出了为数据中心设计的最新24 端口10GbE 交换机芯片。虽然我在大部分职业生涯中都在和电信式交换机打交道，但是在过去的几年里也学会了很多关于数据中心网络的知识，最近又学会了如何运营大型云数据中心。我还深入了解了我们一直在交换机芯片产品中支持的以太网和第3 层网络（Layer 3 Networking）的各种标准。2011 年9 月，英特尔公司收购了Fulcrum Microsystems 公司。作为英特尔公司的一分子，我学到了更多关于服务器虚拟化、RSA （Rack Scale Architecture，机架规模架构）、微服务器设计和软件定义网络（Software-Defined Networking）等方面的知识。

　　人生是一个不断学习的过程，我也一直对技术和技术的演进充满兴趣。我的兴趣有一部分可能是从祖父和父亲那里继承来的：我的祖父在1920 年前后成为一名电子工程师，而父亲在1950 年左右成为了一名机械工程师。我学到的很多东西还来自于这些年共事过的同事们。尽管因为人数众多而无法在此列出，但是他们中的每一个人都曾经在某些方面影响和教育过我。

　　我要特别感谢英特尔公司的同事David Fair 和Brian Johnson，他们对本书的一些关键章节提出了很有帮助的意见。我还要感谢我的家人，尤其是妻子Tracey。当我带着她在全国各地一次次地加入创业公司时，她始终是我最大的支持者。

　　GaryLee，自1981年起一直在半导体行业工作。1996年，他在Vitesse半导体公司领导开发了采用设备间同步高速串行互连技术的交换结构芯片组。在Vitesse公司和Xyratex公司担任交换结构设计师期间，他还参与设计了采用PCIExpress接口的交换机芯片。2007年，他加入在面向数据中心市场的10GbE低延迟交换机芯片领域居于领先地位的创业公司FulcrumMicrosystems。在2011年该公司被英特尔公司收购之后，他供职于英特尔公司网络部。过去7年里，GaryLee一直从事数据中心网络解决方案的技术营销工作，撰写了40多本相关白皮书。

第1章　欢迎来到云网络　　1

1.1　介绍　　1

1.2　网络基础　　2

1.2.1　网络协议栈　　2

1.2.2　包与帧　　3

1.2.3　网络设备　　3

1.2.4　互连　　4

1.3　什么是云数据中心　　4

1.4　什么是云网络　　5

1.5　云网络的特征　　5

1.5.1　以太网的使用　　5

1.5.2　虚拟化　　6

1.5.3　融合　　6

1.5.4　可扩展性　　7

1.5.5　软件　　7

1.6　本书概要　　8

第2章　数据中心的演变：从大型机到云 　　9

2.1　数据中心的演变　　9

2.1.1　早期的大型机　　10

2.1.2　小型机　　10

2.1.3　服务器　　11

2.1.4　企业数据中心　　11

2.1.5　云数据中心　　12

2.1.6　虚拟化数据中心　　13

2.2　计算机网络　　14

2.2.1　专用链路　　14

2.2.2　ARPANET　　14

2.2.3　TCP/IP　　15

2.2.4　多协议标签交换　　16

2.2.5　SONET/SDH　　17

2.2.6　异步传输模式　　18

2.2.7　令牌环/ 令牌总线　　19

2.2.8　以太网　　20

2.2.9　光纤信道　　20

2.2.10　InfiniBand　　20

2.3　以太网　　21

2.3.1　以太网的历史　　21

2.3.2　以太网综述　　22

2.3.3　电信级以太网　　23

2.4　企业VS.云数据中心　　25

2.4.1　企业数据中心网络　　25

2.4.2　云数据中心网络　　26

2.5　迁移到云　　27

2.5.1　驱动力　　28

2.5.2　云的类型　　29

2.5.3　公有云服务　　30

2.6　本章回顾　　31

第3章　交换结构技术　　32

3.1　交换结构架构概述　　32

3.1.1　共享总线架构　　33

3.1.2　共享总线的性能缺陷 　　33

3.1.3　共享内存架构　　34

3.1.4　共享内存的性能缺陷 　　34

3.1.5　纵横式交换机　　35

3.1.6　纵横式交换机的性能缺陷　　36

3.1.7　同步串行交换　　36

3.1.8　同步串行架构的性能缺陷　　37

3.2　交换结构的拓扑结构　　37

3.2.1　环型拓扑结构　　38

3.2.2　网状拓扑结构　　38

3.2.3　星型拓扑结构　　39

3.2.4　胖树拓扑结构　　40

3.3　拥塞管理　　41

3.3.1　拥塞的原因　　41

3.3.2　负载均衡算法　　42

3.3.3　通信量缓冲　　43

3.4　流量控制　　44

3.4.1　链路级流量控制　　44

3.4.2　虚拟输出队列　　46

3.4.3　多级交换结构流量控制 　　47

3.5　通信量管理　　48

3.5.1　帧分类引擎　　48

3.5.2　多级调度　　48

3.5.3　通信量调整　　50

3.6　交换机芯片架构示例　　51

3.6.1　基于信元的设计　　51

3.6.2　输入输出排队设计　　53

3.6.3　输出排队共享内存设计 　　54

3.7　本章回顾　　56

第4章　云数据中心网络拓扑结构　　57

4.1　传统多层企业级网络　　57

4.1.1　成本因素　　57

4.1.2　性能因素　　59

4.2　数据中心网络交换机类型　　60

4.2.1　虚拟交换机　　60

4.2.2　ToR 交换机　　61

4.2.3　EoR 交换机　　63

4.2.4　结构扩展器　　64

4.2.5　汇聚交换机与核心交换机　　64

4.3　扁平化数据中心网络　　65

4.3.1　数据中心通信模式　　65

4.3.2　ToR 交换机功能　　67

4.3.3　核心交换机功能　　68

4.4　机架规模架构　　70

4.4.1　资源的分布　　71

4.4.2　微型服务器　　72

4.5　网络功能虚拟化　　73

4.6　本章回顾　　75

第5章　数据中心网络标准　　76

5.1　以太网数据速率标准　　76

5.1.1　10GbE　　77

5.1.2　40GbE和100GbE　　77

5.2　虚拟局域网　　78

5.3　数据中心桥接　　79

5.3.1　基于优先权的流量控制 　　80

5.3.2　增强传输选择　　81

5.3.3　量化拥塞通知　　83

5.3.4　数据中心桥接交换协议 　　84

5.4　提高网络带宽　　84

5.4.1　生成树　　85

5.4.2　等价多路径路由　　85

5.4.3　最短路径桥接　　86

5.4.4　多链路透明互联　　87

5.5　远程直接内存访问　　88

5.5.1　数据中心需求　　89

5.5.2　互联网广域RDMA协议　　89

5.5.3　融合以太网上的RDMA 　　90

5.6　本章回顾　　90

第6章　服务器虚拟化与网络　　92

6.1　虚拟机概述　　92

6.1.1　管理程序　　93

6.1.2　VMware　　94

6.1.3　微软　　94

6.2　虚拟交换　　94

6.2.1　vSphere分布式交换机 　　95

6.2.2　Hyper-V虚拟交换机　　96

6.2.3　Open vSwitch　　97

6.2.4　虚拟机设备队列　　97

6.3　PCIe接口　　98

6.3.1　背景知识　　99

6.3.2　单根IO虚拟化　　100

6.3.3　多根IO虚拟化　　102

6.4　边缘虚拟桥接　　102

6.4.1　虚拟以太网端口聚合 　　103

6.4.2　虚拟网络标签　　104

6.4.3　行业应用　　104

6.5　虚拟机迁移　　105

6.5.1　内存迁移　　105

6.5.2　网络迁移　　106

6.5.3　供应商解决方案　　107

6.6　本章回顾　　108

第7章　网络虚拟化　　109

7.1　多租户环境　　109

7.1.1　网络需求　　110

7.1.2　MAC地址学习　　110

7.2　传统网络隧道协议　　111

7.2.1　Q-in-Q　　111

7.2.2　MPLS　　112

7.2.3　VN-Tag　　113

7.3　VXLAN　　114

7.3.1　帧格式　　114

7.3.2　VTEP封装　　115

7.3.3　VTEP拆封　　116

7.4　NVGRE　　117

7.4.1　通用路由封装　　118

7.4.2　帧格式　　118

7.4.3　NVE 封装　　118

7.4.4　NVE 拆封　　119

7.5　隧道位置　　120

7.5.1　虚拟交换机　　121

7.5.2　网卡　　121

7.5.3　ToR交换机　　121

7.6　负载均衡　　122

7.6.1　基于散列的算法　　122

7.6.2　等价多路径路由　　123

7.7　本章回顾　　124

第8章　存储网络　　125

8.1　存储器背景知识　　125

8.1.1　存储层次结构　　126

8.1.2　硬盘驱动器　　127

8.1.3　闪存　　127

8.1.4　直连存储　　128

8.1.5　存储区域网络　　129

8.1.6　网络连接存储　　130

8.2　高级存储技术　　130

8.2.1　对象存储和元数据　　131

8.2.2　数据保护与恢复　　131

8.2.3　重复数据删除　　134

8.3　存储通信协议　　135

8.3.1　SCSI　　135

8.3.2　SATA　　135

8.3.3　SAS　　136

8.3.4　光纤信道　　137

8.4　网络融合　　138

8.4.1　需求　　138

8.4.2　网络文件系统和服务器消息块　　139

8.4.3　iSCSI　　139

8.4.4　FCoE　　140

8.4.5　行业应用　　142

8.5　软件定义存储　　142

8.5.1　存储抽象　　142

8.5.2　存储虚拟化　　143

8.5.3　开放接口　　143

8.6　云数据中心存储　　143

8.6.1　分布式存储　　143

8.6.2　数据中心POD　　144

8.6.3　机架规模架构　　144

8.7　本章回顾　　146

第9章　软件定义网络　　147

9.1　数据中心软件背景知识　　147

9.1.1　传统数据中心网络软件　　148

9.1.2　不断发展的数据中心需求　　148

9.1.3　应用程序编程接口　　148

9.1.4　软件定义数据中心　　149

9.2　OpenStack　　150

9.3　OpenFlow　　151

9.3.1　Open API　　153

9.3.2　转发表的实现　　153

9.3.3　行业应用　　154

9.4　网络功能虚拟化　　154

9.4.1　背景知识　　155

9.4.2　网络安全　　156

9.4.3　负载均衡　　157

9.4.4　网络监控　　158

9.4.5　实施　　158

9.4.6　Open Daylight基金会 　　158

9.5　SDN部署　　159

9.5.1　控制器的位置　　159

9.5.2　网络边缘处的SDN　　160

9.6　本章回顾　　161

第10章　高性能计算网络　　162

10.1　HPC系统架构　　162

10.1.1　大型计算节点　　163

10.1.2　计算节点阵列　　163

10.2　多插座CPU板　　163

10.2.1　超传输技术　　164

10.2.2　英特尔快速通道互连　　165

10.2.3　RapidIO　　165

10.2.4　PCIe NTB　　165

10.3　HPC网络标准　　166

10.3.1　交换结构　　167

10.3.2　Myrinet　　167

10.3.3　InfiniBand　　168

10.3.4　以太网　　168

10.4　HPC网络性能因素　　169

10.4.1　结构接口　　169

10.4.2　交换机　　169

10.4.3　结构架构　　170

10.5　HPC网络软件　　170

10.5.1　消息传递接口　　170

10.5.2　动词　　171

10.6　本章回顾　　171

第11章　未来发展趋势　　172

11.1　机架规模架构　　172

11.1.1　资源区分　　172

11.1.2　CPU模块　　173

11.1.3　内存和存储模块　　174

11.1.4　分布式结构　　175

11.2　内存技术　　175

11.2.1　非易失性内存和存储器　　176

11.2.2　内存接口　　176

11.3　交换结构技术　　177

11.3.1　帧开销　　177

11.3.2　端口带宽　　178

11.3.3　模块化设计　　178

11.4　布线技术　　179

11.4.1　铜缆布线　　179

11.4.2　光缆布线　　180

11.4.3　无线互连　　181

11.5　软件定义基础设施　　181

11.5.1　数据中心自动化　　181

11.5.2　网络功能虚拟化　　182

11.5.3　大数据分析　　182

11.6　本章回顾　　183

第12章　总结　　184

12.1　技术发展　　184

12.2　行业标准　　185

12.3　网络设计　　185

12.4　存储器和HPC　　186

12.5　数据中心虚拟化　　186

12.6　软件定义基础设施　　187

12.7　结束语　　187

　　云网络背景概述，阐述了原有网络技术如何向分布式、基于云的网络发展

　　剖析云网络关键组件：交换结构技术，拓扑结构，网络标准

　　了解架构的发展、数据中心自动化、高性能计算、大数据分析等，展望云网络数据中心的未来

　　展示英特尔公司网络