高性能超标量CPU:微架构剖析与设计

CPU被誉为“人类科技皇冠的明珠”，数十年来无数从业者争相撷取。在半导体工业的发展历程中，“奔腾之芯”Intel、“蓝色巨人”IBM、“性能之王”DEC、“落寞贵族”Motorola等巨头都曾是CPU界的弄潮者，命途多舛的Sun Microsystems也曾称雄一时。后来的AMD与Intel双雄争霸、Apple异军突起、ARM后来居上以及RISC-V崭露头角也为业内人士津津乐道，不断吸引着有志之士投身于此。
在计算机体系结构领域，无论对于在校生还是从业者，加州大学伯克利分校的David Patterson博士和斯坦福大学的John Hennessy博士的两部经典著作Computer Organization and Design: The Hardware/Software Interface和Computer Architecture: A Quantitative Approach都是主要参考书。笔者在求学时，这两部著作是初阶和高阶核心课程的主要参考书，主讲课程的Gandhi Puvvada教授熟稔两部著作的全部版本，被学生戏称比作者还懂自己的著作。当笔者进入业界后，导师建议的也是去阅读Computer Architecture: A Quantitative Approach一书。然而，从笔者的视角来看，经典著作与业界实际微架构设计之间是“道”与“术”的关系。“道”是本源，“术”是法门，“道”可以在微观上以不同的“术”来呈现，但是求“道”需要从“术”入手，再由“术”印证“道”，方能融会贯通。在工程实践中，从一个循序渐进的个体角度看，也许在相当长的一段时间内更多地需要引导具体实操的“术”而非高屋建瓴的“道”，直到经验积累到一定的程度之后能够回过头思考总结归纳出一套方法学。南加州大学教授Michel Dubois博士是IEEE会士，笔者认为他的著作Parallel Computer Organization and Design看来是一部非常优秀的讲解CPU设计的书籍，内容详实逻辑清晰。然而，笔者在校时Michel Dubois博士开设的课程并没有得到学生的追捧，究其原因有其个人风格的关系，但是归根结底还是偏重于高屋建瓴，这有可能会让学生对于CPU设计的“道”和“术”无法顺畅地相互印证。
笔者才疏学浅，不敢称“融会贯通”，然而这并不妨碍笔者根据自身的经验和思考为读者提供一种CPU微架构设计的视角，交流一种CPU微架构设计的思路和方法学。毫无疑问，学习CPU微架构设计的一个不错的入门方式是读架构设计文档和源代码。然而，芯片设计领域相对来讲较为封闭，很难仅凭公开材料或者开源代码就接触到核心的设计。对于绝大多数人来说，超越前人之前的一个必经阶段就是模仿和学习，在CPU设计领域也是同理，在对现有设计理解透彻之前就谈重构创新无异于空中楼阁。所谓“图难于其易，为大于其细”，笔者籍由本书，为读者展现笔者所理解的CPU微架构设计。希望读者阅读完本书后，能够自行印证业界各类相关文献，理解并逐渐找到适合自己的CPU设计方法。同时笔者和写作团队的同事们也希望通过本书的写作和出版，能够在时代的浪潮中尽一些绵薄之力，做一点微小的工作。
本书的内容分为10章，第1章介绍业界主流高性能处理器架构及超标量流水线背景知识；第2~9章对应于CPU指令的生命周期，按顺序分别展开讲解CPU各个功能单元的架构设计；第10章对经典的x86架构CPU微架构Intel P6的设计进行了详细剖析，便于读者通过设计实例来印证前9章的相关内容。具体如下所示。
第1章由李东声和任子木编写，介绍了复杂指令集与精简指令集，超标量CPU相关的基本概念，包括流水线技术、指令的顺序执行与乱序执行，以及超长指令字设计。同时介绍了当前主流的CPU指令集，从宏观上为读者搭建出CPU设计的一个大体框架，便于后续内容的理解。
第2章和第3章由李东声编写，介绍了构成超标量CPU前端的指令提取单元、译码单元，以及分支预测单元的微架构设计。其中，在介绍指令提取单元设计的同时，着重介绍了指令缓存的基本概念、分类和替换策略选择、性能衡量标准、组织方式与预取设计，而后介绍指令提取单元微架构和数据流设计。在分支预测单元的介绍中，首先介绍了分支预测的原理，之后通过分支跳转方向预测与分支跳转目标预测两个部分对分支预测单元的设计进行介绍，然后给出分支预测单元的微架构设计以及优化思路。
第4章和第5章由孙小明编写，介绍了超标量CPU乱序引擎的核心组件——寄存器重命名与发射队列的设计。在寄存器重命名单元的介绍中，对寄存器重命名的原理、过程、映射方法和实现过程，以及微架构设计空间进行了阐述，同时给出了实现方案。在发射队列的介绍中，对发射队列的原理和工作机制、操作数获取策略，以及微架构设计空间进行了阐述。
第6章和第7章由任子木编写，浮点运算单元独立于执行单元另起一章。首先介绍了执行单元中算术逻辑运算单元、定点乘法、SIMD及旁路网络设计，之后介绍了浮点数据格式和运算标准，以及浮点运算单元中的加法、乘法、除法和开方的运算原理及硬件微架构设计。
第8章由梧桐编写，介绍了访存单元的设计。内容从内存模型和数据缓存展开，进一步介绍了一级数据缓存的控制以及硬件预取设计。
第9章由孙小明编写，对重排序缓冲的原理以及微架构设计空间进行了阐述，然后给出了一个重排序缓冲运行的实例。
第10章由李东声编写，对Intel P6微架构进行了深度分析，通过经典的高性能超标量CPU设计来帮助读者对第2~9章中介绍的每一部分微架构的设计进行融会贯通，从宏观上理解超标量乱序CPU的工作流程和设计优化思路。
全书的统稿由李东声负责。内容讲解资源由任子木负责。
在本书的规划和编写过程中，得到了黄静、李伟、杨巍等业界前辈的指导和帮助；王晓天、杨宁、 滕宏峰、余浩等同事对内容提出了许多宝贵的意见和建议；机械工业出版社的李培培编辑全程给予了极大的关照和支持，这里由衷表示感谢。
CPU设计是一个宏大而复杂的工程，笔者水平有限，也深感生有涯而知无涯，写作过程中时常发觉很多知识点没能详细展开阐述。同时，笔者参阅了许多业界前辈和同仁的著作，包括且不限于专著、论文及技术博客等网络资源，在此对原作者表示敬意。在笔者自我学习之余深感有所收获，读者也可以自行查阅相关文献进行学习和相互印证。如果参考文献列表有所疏漏，在此深表歉意。对于本书内容中的疏漏和错误，敬请读者批评指正。

李东声

《高性能超标量CPU：微架构剖析与设计》基于当前主流的高性能CPU设计规格，全面介绍了高性能超标量CPU微架构的设计，并做出对应的分析。主要内容包括业界主流高性能处理器架构及超标量流水线背景知识（第1章）；CPU前端，包括指令提取单元、分支预测单元、指令译码单元的设计和优化，以及指令缓存的相关设计（第2、3章）；分支预测单元的原理、设计和优化，寄存器重命名与发射队列的原理和设计（第4、5章）；执行单元与浮点运算单元的设计实现（第6、7章）；访存单元与数据缓存设计（第8章）；重排序缓冲的原理及设计（第9章）；Intel P6 CPU微架构设计实例（第10章）。微架构设计对应于指令的生命周期，为读者提供直观和清晰的视角，便于读者对高性能CPU设计深入理解。
《高性能超标量CPU：微架构剖析与设计》提供了高清学习视频，读者可以直接扫描二维码观看。
《高性能超标量CPU：微架构剖析与设计》可作为从事高性能CPU相关研发工作专业人员的参考书，或用作高等院校计算机及集成电路相关专业研究生和高年级本科生的教学参考用书，也可供对CPU设计感兴趣的读者阅读。

李东声，处理器设计高级主任工程师，专注于高性能处理器微架构设计、性能分析优化与关键技术研究。交付多版本国产自研高性能处理器核架构/微架构设计，申请处理器IP发明专利十余项。

任子木，处理器架构高级工程师，主导多款高性能DSP/AI处理器架构与核心模块设计。谙熟业界主流高性能处理器指令集架构，在计算机体系结构、数字信号处理等方向有丰富的实践经验。

孙小明，处理器设计资深工程师，专注于高性能处理器微架构设计与性能分析。曾参与国产自研高性能处理器核微架构研制和开发，对x86、ARM、RISC-V架构有深入研究和实际交付经验。

梧桐，高性能处理器资深专家，长期从事高性能处理器Memory子系统架构研究与设计实现，主导完成了多款国产自研高性能处理器（大核）交付，在Server和Mobile领域得到广泛应用。

马恺声 清华大学助理教授、北极雄芯创始人兼首席科学家
CPU是所有通用计算的核心。本书从指令入手，以样例为抓手，同时辅助穿插整个CPU发展历史中的起伏历程，深入浅出讲解高性能超标量CPU的关键技术，是国内少见的CPU专业书籍之一，相信能对有志于在高性能CPU领域进一步深造的读者有所帮助。

李伟 北京数渡信息科技首席架构师/研发高级总监、清华创新领军工程博士生
本书针对高性能超标量CPU进行讲解，从微架构的角度阐述了CPU核的主要组成部分，内容丰富全面，深入浅出，并有实际的工程设计实例，有很强的指导意义和参考作用。对于从事CPU微架构设计的读者来说，是一本难得的中文参考书。

姚永斌 北京奕斯伟计算云处理器设计团队主管、《超标量处理器设计》作者
随着RISC-V的兴起，国内的CPU设计进入了蓬勃发展、百花齐放的时期，有越来越多的公司在向着高性能CPU的高地发起冲锋，而本书正好可以帮助读者更进一步地了解现代高性能CPU处理器内部的工作机制。作者根据自己多年的工作经验，把在高性能CPU设计中需要考虑到的知识点都进行了详细的描述，内容翔实，对于有志进入高性能CPU设计领域的读者来说，是一本难得的中文参考书。

杨巍 字节跳动CPU研发负责人
非常高兴看到本书出版，这是一本为CPU设计工程师编写的专注于处理器微架构的中文参考书，通过真实世界的实例，描述了处理器微架构的设计空间，以及如何分析、度量、取舍实现工作的系统。对于未来从事高性能处理器微架构研究实现的读者来说，本书无疑是好的一个起点。

刘宏伟 中科院计算技术研究所高级工程师
作为一个多年来一直从事CPU设计的专业人员，看到本书出版，内心非常欣喜。市面上的书籍基本上都是从教学视角或者初学者视角介绍CPU设计，而本书真正做到了从一个专业CPU设计工程师的视角来阐述CPU架构的设计理念和思考方法。这种专业性表现在以下两个方面：一方面是模块设计的深度上，微架构特性基本达到当前主流处理器的设计水平； 另一方面是不同体系结构间广度的兼顾上，既没有因面面俱到而失去重点，又给予了适当兼顾而不失偏颇。本人深耕CPU设计多年，有幸深入地剖析过多种CPU的结构，看到本书内容仍倍感亲切。因此，本书既可作为CPU爱好者深入了解处理器设计的参考读物，也可以作为从业人员仔细品读的领域著作。