【现货速发】云原生数据库

推荐序一

云原生数据库正在成为一种重要的数据库新形态，预计到2022年，75%的数据库会被直接部署或向云上迁移。阿里云数据库产品不仅支撑着全世界规模的高并发、低延迟电商环境，为上千万家中小企业的在线商业数据提供一站式全链路的在线数据管理与服务，而且还为政务、制造、金融、通信、海关、交通和教育等重点行业提供稳定可靠的数据存储、处理与分析服务。目前，阿里云数据库产品已服务企业用户超过10万家，让企业级数据库服务唾手可得，帮助大量的传统数据库客户大幅降低了成本，提升了运营效率，创造了新的业务场景和价值。

由于阿里电商业务对数据库庞大的并发吞吐和数据计算的需求，阿里云早在2010年就全面开展了数据库的自主研发，攻克存储计算分离、分布式、高可用、兼容性、离在线一体化、HTAP等关键技术，并针对双11等高并发业务场景进行设计和优化，持续升级内核能力和集群架构。同时，针对国产芯片及操作系统开展优化，为全面使用国产化技术栈，完全的自主可控打下基础。在这个过程中，阿里云数据库获得了世界互联网大会全球领先科技成果奖、浙江省科技进步一等奖、中国电子学会科技进步一等奖等，也成为首个进入Gartner全球数据库领导者的中国数据库厂商。
站在云计算时代际遇面前，阿里云愿意携手广大合作伙伴和开发者，一起发展云原生数据库技术，打造完善的产业生态，加速全社会数字化转型进程。

张建锋

阿里云智能事业群总裁，达摩院院长

推荐序二

数据库是计算机科学领域重要的基础系统之一，同时也是承载数字经济发展的基础系统软件，具有举足轻重的战略地位。充分有效地管理和利用各类数据资源，是进行科学研究和决策管理的前提条件，在数字经济时代尤为关键。传统数据库市场主要由大型商业数据库厂商所占据，并已经形成较为完善的数据库生态。数据库存储和处理着用户核心的数据资源，用户粘性高，迁移难度大。由于数据库生态的高度垄断，我国数据库系统在商业市场中竞争力面临很大的挑战。当前国家正在大力推进基础技术领域的创新突破战略，明确提出大力发展基础软件和高端信息技术服务，加快发展面向大数据应用的数据库系统。在这个背景下，数据库系统不应是简单的存量市场替代，更应是升级创新，适应云计算和大数据、AI等新的市场需求，从可用发展到好用。

云计算等技术的快速发展，带动了各类基础软件开始云化转型之路，企业正将新应用向云转移，对数据存储和计算分析的能力要求不断加强，云原生数据库天然具备云上的弹性，灵活性，高可用性等特点，能够提供强大的创新能力、丰富多样的产品体系、经济高效的部署方式和按需付费的支付模式。云原生分布式数据库成为一个数据库领域创新突破的重大机会，数据库云化趋势为数据库从业者提供了新的赛道。

数据库的云化经历了两个阶段，一是云托管，将原有数据库系统部署在云平台上，将数据库服务化，按需购买；二是云原生，利用云化的资源池化特点完全重构数据库的层次结构，使计算、存储、网络等资源彻底解耦，更充分灵活的利用资源池的弹性来适应业务的变化。后一个阶段对数据库的改造更为彻底，更具创新的深度和潜力，"云原生数据库：原理与实践"正是面向这一趋势应运而生的一本书。本书的主要作者李飞飞博士先是从事数据库领域的学术研究工作十余年，近年又投身工业界，潜心于数据库系统的研发，融合了理论前沿和工程实践经验，反映在这本数据库教材中，既有翔实的理论基础，也有丰富的技术实现细节，对云原生数据库的重点技术，如存储计算分离，高可用，存储引擎，分布式查询引擎，数据水平分布与自动负载均衡等都做了深入细致的分析，相信会对广大读者学习业界的数据库技术提供帮助。

信息基础技术领域的自主创新对信息化建设意义重大，此一任务任重道远，远非一朝一夕之功，也需要整个社会形成共识，辅以全局产业链的密切合作。惟有持之以恒，不断努力抓住时代发展提供的每一个机遇，方能成功。希望此书能为广大从业者在技术探索之路上带来一些启发，为建设新型的数据库系统做出贡献。

陈左宁

中国工程院院士

推荐序三

数据库管理系统是计算机科学技术领域重要的系统软件之一，更是各类信息系统不可或缺的基础性平台，其主要任务是对数据的归集、分类、组织、处理、存储、分析、应用的全生命周期提供共性技术支撑。可以说，没有数据库管理系统，就没有各行各业的信息化。自20世纪70年代开始商业化以来，数据库管理技术得到了长足发展，其中关系数据库以其简洁的概念体系和良好的抽象、强大而通用的表达能力以及对事务的一致性保障奠定了其在信息化中的主导地位，成为数据管理技术的“事实标准”。

互联网的大规模商用极大加速了数据的产生、流通和汇聚，给数据管理带来了一系列新需求和新挑战：数据规模的指数级增长使得更多的数据需要管理，数据类型的日渐丰富亟需更灵活多样的数据模式；互联网作为信息化的基础设施，各类应用面临更大规模的数据吞吐量、更大规模的并发访问以及更短的检索响应时间；互联网的无地域限制也要求业务系统不间断地提供服务，对数据库的多点高可用以及可扩展性带来了更高要求；如此，等等。这些新特征和新场景开启了数据库技术的一轮变革，催生了大量创新数据库技术和产品。其中，分布式技术的融入成为主要特点，带来了良好的扩展性和高可用能力，可以有效应对大规模数据处理与存储分析的需求。

云计算模式开启了互联网应用的新阶段，计算和存储的能力以随取随用的服务形式提供给用户，基础设施服务化之外，更是各类底层平台技术，包括数据库、中间件等的服务化，以及应用软件的服务化。云计算触发了数据库技术的又一轮变革，在分布式技术应用的基础上，需要充分利用云平台资源池的弹性能力，将数据库的计算和存储分层解耦，按应用负载提供实时弹性伸缩、全域多点可用的数据库服务。这一变革不仅是技术上的演进，也是商业模式的更新，可以为用户提供易于使用、高性价比、弹性伸缩的高可用数据库服务。由此，带来了对云原生数据库的需求。

利用云原生技术重构数据库系统，同时顺应了技术发展趋势和市场需求。李飞飞博士领衔编写的这本教材对云原生技术与数据库的结合进行了系统性阐述，回顾了数据库管理系统的历史发展脉络以及各个重要阶段的主要技术特征，梳理了数据库技术的走向及其发展到云原生形态的历程。该书在对数据库技术发展趋势做出详细分析的基础上，自底向上拆解数据库系统的技术栈，分别讲解分层解耦后的共享存储系统、存储引擎、查询引擎等部件的实现，重点阐述云原生、分布式、高可用、软硬结合等新技术如何融入并拓展数据库系统的能力，详解了使用和运维云数据库的实践和操作。全书内容布局有度，循序渐进，原理与实操兼备，适合数据库技术领域从业人士阅读参考。

数据库的云化正在成为一个重要趋势，为数据库管理技术及其相关产业发展带来了新的机遇，同时，也带来了对人才培养的需求。该教材的出版，恰逢其时。是为序。

梅宏

辛丑年孟冬于北京

前言

写作背景

数据库系统是基础系统软件“三驾马车”之一，自诞生以来已发展60余年。关系数据库以其良好的抽象，强大的表达能力，易于使用的SQL语言占据了主流地位。在长达半个世纪的发展过程中，关系数据库的理论和技术都得到了长足发展，相关书籍不计其数，每一部分的技术如SQL解析、优化与执行、事务处理、日志恢复、存储引擎、数据字典等都有详尽分析。然而，数据库技术的日臻成熟并不意味着停止发展，相反，在互联网和大数据日渐兴盛的当下，业务的复杂性、数据模型的多样性、数据规模的爆炸式增长和硬件技术的更新都为这一相对古老的技术注入了新的活力。

互联网应用以前所未有的速度全面重塑了人们的生活方式，大量的数据得以在线化，这些数据需要被存储、分析和消费，承载这些功能的数据库面临的访问量远超以往。互联网应用为适应高度变化的市场，迅速调整其业务形态和模式，也产生了更加灵活丰富的数据模型、频繁变化的负载特征，这些都要求数据库具备弹性伸缩的能力，既可以适应业务的变化，又可以尽可能地降低成本。传统的数据库大多采用单机部署，规格固定，难以满足这些要求。云计算的出现恰逢其时，它把信息化需要的基础设施作为一种服务来提供，建立超大规模的资源池，并在此基础之上提供统一的、虚拟化的抽象界面。利用容器、虚拟化、编排调度和微服务等技术在多样化硬件上建立了一个庞大的操作系统，利用云计算的能力，数据库把固定规格部署的实例变为一种服务，用户可以按需取用，并根据业务变化实时伸缩。

云原生数据库不仅仅是把传统数据库架构在云计算平台上的一种服务，而是要从整体架构上进行彻底的改造，以充分利用云计算平台资源池化的能力，将原本一体运行的数据库拆解，让计算、存储资源完全解耦，使用分布式云存储替代本地存储，将计算层变成无状态（Serverless）。云原生数据库将承载每层服务的资源池化，独立实时地伸缩资源池的大小，以匹配实时的工作负载，使得资源利用率化。

主要内容

本书详细介绍了数据库技术在云计算时代背景下的演进历程，通过具体的实例介绍云原生、分布式等技术是如何让数据库的内涵变得更加丰富的。

第1章回顾了数据库发展的简要历程，并以一条SQL语句的执行过程简要阐述典型关系数据库的结构、重要模块和实现原理。

第2章讲述数据库在云计算时代背景下的发展与变迁，如何从单机数据库进化到云原生分布式数据库。云计算发展对数据库不仅带来了技术上的变化，还有商业模式上的变革，因此本章还探讨了数据库技术的未来可能发展趋势。

第3章主要讲述架构在云平台上的云原生数据库基本架构设计理念，以及设计选择背后的原因。同时分析了目前市场上重要的几个云原生数据库，如AWS Aurora、Aliyun PolarDB、Microsoft Socrates的技术特点。

第4章到第7章分别讲述云原生数据库的几个重要组件，如存储引擎、共享存储、数据库缓存和计算引擎等的实现原理。每章都遵循相同的结构，首先讲述这些模块的理论基础、一般实现方法，然后介绍在云原生数据库中的针对性改进与优化方法。

第8章详细介绍了水平扩展的分布式技术在数据库中的应用、实现原理，以及与云原生技术融合后如何将数据库技术提升到新的水平。

第9章和第10章以PolarDB为例集中介绍云原生数据库应用实践，如何创建云上数据库实例，如何更好地使用和运维，充分发挥云数据库的弹性、高可用、安全和高性价比特性。

主要作者

本书由阿里巴巴数据库产品事业部李飞飞和华东师范大学周烜教授撰写，参与撰写内容的还有周烜团队的蔡鹏教授和张蓉教授，李飞飞团队的资深技术专家黄贵，阿里云副总裁、阿里巴巴达摩院秘书长刘湘雯。阿里云数据库团队的章颖强、王剑英、胡庆达、陈宗志、王宇辉、王波、孙月、庄泽超、应珊珊、宋昭、王康、程训焘、张海平、吴晓飞、吴学强、杨树坤等多位技术专家也提供了重要的技术素材，在此一并致谢。

特别感谢阿里云智能事业群总裁、达摩院院长张建锋，中国工程院院士陈左宁，中国科学院院士梅宏为本书作序。

特别感谢李战怀教授、杜小勇教授、周傲英校长、彭智勇教授、李国良教授、崔斌教授、陈国总经理、周彦伟会长、张文升主席为本书推荐。

感谢阿里巴巴数据库事业部生态与市场负责人胡铭娅所做的组织策划工作。感谢电子工业出版社博文视点宋亚东编辑的组织策划和出版工作。

正是所有人的努力才促成了本书的面世。

由于时间有限，书中不足之处在所难免，恳请广大读者批评指正！

作者

2021年11月

本书详细剖析了作为核心基础软件系统的数据库在云计算时代的技术演进历程，从架构设计、实现机制和系统优化等多个角度阐述传统数据库技术是如何一步步发展到云原生形态的。本书强调理论和实践的充分结合，分析MySQL、PostgreSQL等工业界“活”的系统实现数据库的SQL优化与执行、事务处理、缓存与索引等原理，在面对实际应用需求时做了哪些权衡与折中，面对复杂的应用场景如何优化，以及做出种种选择背后的原因。同时，本书结合阿里云在数据库领域的研发实践经验，着重讲述现代数据库从系统进化到服务的一系列核心技术原理，例如利用云计算资源池化技术、分布式技术实现数据库的高可用、弹性扩展和按需使用等。

本书内容翔实，兼具理论深度和实现细节，同时开放性地探索了数据库的新发展方向，能够启发读者进一步深入思考。本书可作为高等院校信息类专业的本科生和硕士研究生教材，也可作为数据库行业的内核研发和系统运维等从业人员的参考书。

李飞飞

阿里巴巴集团副总裁，阿里云智能事业群数据库产品事业部与达摩院数据库与存储实验室负责人，ACM杰出科学家。曾获ACM与IEEE多项大奖，世界互联网大会2019全球领先科技成果奖，浙江省科技进步一等奖，中国电子学会科技进步一等奖等。带领团队研发了阿里云企业级云原生数据库系统。担任多个国际及国内一流学术期刊和学术会议的编委、主席。中国计算机学会CCF大数据专家委员会副主任，数据库专业委员会常委。担任多个国际一流学术期刊和学术会议的编委、主席（VLDB 2021与IEEE ICDE 2021工业界主席）。

周烜

华东师范大学数据科学与工程学院教授、副院长。2001年本科毕业于复旦大学，2005年在新加坡国立大学取得博士学位，2005年至2010年期间先后在德国 L3S 研究中心和澳大利亚联邦科工组织从事科研工作，随后在中国人民大学任教，于2017年加入华东师范大学。他的研究兴趣包括数据库系统和信息检索技术。他曾参与和负责多个国内外的科研项目和工业合作项目，开发各种数据管理系统，在分布式数据库上的研究成果获2019年国家科技进步二等奖。

蔡鹏

华东师范大学数据科学与工程学院教授，博士生导师。2015年6月加入华东师范大学数据科学与工程学院，在此之前先后就职于IBM中国研究院和百度（中国）有限公司。在VLDB、ICDE、SIGIR、ACL等国际会议上发表多篇学术论文。目前的研究方向为内存事务处理、基于机器学习技术的自适应数据管理系统。曾获国家科技进步二等奖、*科技进步一等奖。

张蓉

华东师范大学数据科学与工程学院教授，博士生导师。自2001年起从事分布式系统、数据库相关研究与开发工作，曾作为负责人或者主要参与人员参加国家自然科学基金课题、国家863计划项目及多项企业合作项目的研究。工作成果获得上海市科技进步一等奖（排名第四）以及国家科学技术进步二等奖（排名第七）。研究兴趣包括分布式数据管理、数据流管理和大数据基准评测。

黄贵

阿里巴巴资深技术专家，阿里云数据库总架构师，在阿里巴巴一直从事分布式系统、分布式数据库内核的研发工作，曾参与自研数据库PolarDB系统的研发工作。技术专长和研究兴趣为分布式系统设计、分布式一致性协议、数据库内核实现等领域，曾在SIGMOD、FAST、VLDB等国际会议上发表多篇学术论文，获得中国电子学会科技进步一等奖。

刘湘雯

阿里云副总裁、阿里巴巴达摩院秘书长、中国计算机学会常务理事。加入阿里巴巴十多年来，先后带领团队搭建了阿里巴巴集团技术大中台战略的三层治理体系，完成了阿里巴巴达摩院从0到1的建设落地。当前任阿里云市场营销与公共事务部总经理，代表阿里云对外构建了由高校、政府、开发者、创新创业者组成的合作网络，推动数字经济时代阿里云2.0品牌的升级。

目 录 
第1章 数据库发展历程 1 
1.1 数据库发展概述 2 
1.1.1 萌芽 2 
1.1.2 商业化起步 3 
1.1.3 发展成熟 3 
1.1.4 云原生与分布式时代 4 
1.2 数据库技术发展趋势 6 
1.2.1 云原生与分布式 6 
1.2.2 大数据与数据库一体化 6 
1.2.3 软硬件一体化 7 
1.2.4 多模 7 
1.2.5 智能化运维 8 
1.2.6 安全可信 8 
1.3 关系数据库主要技术原理 8 
1.3.1 接入管理 9 
1.3.2 查询引擎 10 
1.3.3 事务处理 14 
1.3.4 存储引擎 17 
参考文献 19 
第2章 数据库与云原生 20 
2.1 数据库在云时代的发展 21 
2.1.1 云计算时代的兴起 21 
2.1.2 数据库作为一种服务 22 
2.2 数据库在云原生时代面临的挑战 23 
2.3 云原生数据库的主要特点 24 
2.3.1 分层架构 24 
2.3.2 资源解耦与池化 24 
2.3.3 弹性伸缩能力 24 
2.3.4 高可用与数据一致性 25 
2.3.5 多租户与资源隔离 26 
2.3.6 智能化运维 26 
参考文献 26 
第3章 云原生数据库架构 27 
3.1 设计理念 28 
3.1.1 云原生数据库的本质 28 
3.1.2 计算与存储分离 29 
3.2 架构设计 30 
3.3 典型的云原生数据库 31 
3.3.1 AWS Aurora 31 
3.3.2 PolarDB 37 
3.3.3 Microsoft Socrates 40 
参考文献 44 
第4章 存储引擎 45 
4.1 数据组织 46 
4.1.1 B 树 47 
4.1.2 InnoDB引擎中的B 树 49 
4.1.3 LSM-tree 52 
4.2 并发控制 56 
4.2.1 基本概念 56 
4.2.2 锁方法 56 
4.2.3 时间戳方法 58 
4.2.4 MVCC 61 
4.2.5 InnoDB MVCC的实现 63 
4.3 日志与恢复 65 
4.3.1 基本概念 65 
4.3.2 逻辑日志 66 
4.3.3 物理日志 66 
4.3.4 恢复原理 67 
4.3.5 MySQL的Binlog 68 
4.3.6 InnoDB的物理日志 68 
4.4 新型LSM存储引擎 70 
4.4.1 PolarDB X-Engine 70 
4.4.2 高性能事务处理 72 
4.4.3 软硬结合优化 75 
4.4.4 低成本分层存储 78 
4.4.5 双存储引擎技术 84 
4.4.6 实验评估 85 
参考文献 88 
第5章 高可用共享存储系统 89 
5.1 高可用基础 90 
5.1.1 Primary-Backup 90 
5.1.2 Quorum 92 
5.1.3 Paxos 93 
5.1.4 Raft 95 
5.1.5 Parallel Raft 98 
5.2 集群高可用 100 
5.2.1 MySQL集群高可用 100 
5.2.2 PolarDB高可用 103 
5.3 共享存储架构 116 
5.3.1 Aurora存储系统 117 
5.3.2 PolarFS 119 
5.4 文件系统优化 121 
5.4.1 用户态I/O计算 121 
5.4.2 近存储计算 124 
参考文献 130 
第6章 数据库缓存 131 
6.1 数据库缓存简介 132 
6.1.1 数据库缓冲作用 132 
6.1.2 缓冲池 132 
6.2 缓存恢复 133 
6.2.1 云环境对缓存的挑战 133 
6.2.2 基于CPU与内存分离的缓存恢复 133 
6.3 PolarDB的实践 135 
6.3.1 缓冲池的优化 135 
6.3.2 数据字典缓存和文件系统缓存的优化 140 
6.3.3 基于RDMA的共享内存池 141 
参考文献 146 
第7章 计算引擎 147 
7.1 查询处理概述 148 
7.1.1 数据库查询处理概述 148 
7.1.2 并行查询概述 149 
7.2 查询执行模型 151 
7.2.1 火山模型 151 
7.2.2 编译执行模型 152 
7.2.3 向量化执行模型 152 
7.3 查询优化概述 153 
7.3.1 查询优化整体介绍 153 
7.3.2 逻辑查询优化 153 
7.3.3 物理查询优化 154 
7.3.4 其他优化方法 154 
7.4 PolarDB查询引擎实践 155 
7.4.1 PolarDB的并行查询技术 155 
7.4.2 PolarDB的执行计划管理 168 
7.4.3 PolarDB的向量化执行 175 
参考文献 178 
第8章 云原生与分布式融合 179 
8.1 分布式数据库的基本原理 180 
8.1.1 分布式数据库架构 180 
8.1.2 数据分区 181 
8.1.3 分布式事务 183 
8.1.4 MPP并行查询处理 187 
8.2 分布式与云原生 188 
8.2.1 共享存储架构 189 
8.2.2 无共享存储架构 189 
8.3 云原生分布式数据库 PolarD