AI加速器架构设计与实现

前　　言
从算法角度看，神经网络分Training（训练）和Inference（推理）两个过程，本书主要讨论Inference过程。从技术类别看，本书主要讨论神经网络硬件，尤其是芯片设计层面的内容，如何训练出优秀的模型、如何设计神经网络加速器的驱动程序和编译器等内容均非本书重点。
本书内容主要分三部分：神经网络的分析、神经网络加速器的设计及具体的实现技术。通过阅读本书，读者可以深入了解主流的神经网络结构，掌握如何从零开始设计一个能用、好用的产品级加速器。
“兵马未动，粮草先行”，在设计神经网络加速器之前，需要对主流的神经网络的结构、常见算子，以及各个算子运算细节有深入的理解。第1章介绍了目前主流图像处理领域神经网络的结构，提取出各个网络的基本块、网络算子及其参数量和运算量，阐述了加速器的编程模型和硬件架构分类。
“程序=数据结构 算法”，第2、3章分别讨论了加速器运算子系统和存储子系统的设计，并对NVDLA、TPU、GPU实现卷积运算的过程进行了详细的推演，以便读者对加速器架构设计有初步的了解。
“加速器设计需要综合能力”，仅靠零碎的灵感和天马行空的创意，设计不出能用、好用的加速器产品。第4～6章用大量篇幅讨论了加速器设计中可能遇到的问题及解决方法。
“生活不止眼前的苟且，还有诗和远方”，在加速器的设计过程中，闭门造车不可取，在埋头苦干的间歇，仰头望望天空和远方，或许有意想不到的收获。第7章对加速器进行盘点，展望了神经网络加速器的未来，希望对读者有所启发。
“一图胜千言”，很多复杂的逻辑用一张图就能轻松解释，很多烦琐的言语用一张图就能直观表达。本书包含100余幅图，希望将讲述的内容清晰地传达给读者。
“一切皆有可能”，本书在讨论具体设计问题时，一般会先给出多种建议，然后筛选出合理的方案，意在传达硬件架构设计的思维方式。很多思维方式不仅限于神经网络加速器，由此及彼，可推而广之。
感谢我的朋友姜君、周焱、王玮琪，他们总是耐心地鼓励和帮助我，我从他们身上学到很多。感谢我的太太张金艳和女儿甄溪，她们也为这本书付出了很多。
阅读本书不需要太多预备知识，需要的是求知探索的勇气和耐心。如果读者有任何问题和建议，欢迎与我联系：rill_zhen@126.com。

甄建勇
2023年3月于上海

这是一本讲解NPU硬件架构设计与技术实现的著作。作者将自己在CPU、GPU和NPU领域15年的软硬件工作经验融会贯通，将四代NPU架构设计经验融为一体，将端侧和云侧NPU架构合二为一，总结并提炼出本书内容。本书主要讨论神经网络硬件层面，尤其是芯片设计层面的内容，主要包含神经网络的分析、神经网络加速器的设计以及具体实现技术。通过阅读本书，读者可以深入了解主流的神经网络结构，掌握如何从零开始设计一个能用、好用的产品级加速器。
通过阅读本书，你将：
透彻理解与深度学习相关的机器学习算法及其实现
学会主流图像处理领域神经网络的结构
掌握加速器运算子系统和存储子系统的设计
摸清加速器设计中遇到的具体问题及其解决方法
了解NPU架构需要考虑的控制通路和数据通路

甄建勇
资深CPU、GPU、NPU三栖架构师，从事相关软硬件架构与设计工作超过15年。现就职于地平线，担任BPU首席架构师。曾就职于英伟达，担任高级架构师，作为多款CPU、NPU、GPU的核心架构师，参与了Xburst、NVDLA、TensorCore的架构设计工作。熟悉SIMT/RayTracing等模块的架构设计与实现。擅长的领域还包括经济学、法学、心理学以及Linux内核、计算机图形加速和全同态加密。

王路业
优矽科技联合创始人兼总经理，中国开放指令生态（RISC-V）联盟（CRVA）软件开源工作组副组长。曾就职于ARM安谋科技、Synopsys新思科技、ST意法半导体和中国长城计算机。

CONTENTS
目　　录
前言
第1章　卷积神经网络　1
1.1　神经网络的结构　2
1.2　GCN　4
1.3　网络的基本块　7
1.4　网络的算子　17
1.5　网络参数量与运算量　29
1.6　加速器编程模型　31
1.7　硬件加速器架构分类　33
第2章　运算子系统的设计　35
2.1　数据流设计　35
2.2　算力与带宽　38
2.2.1　算力与输入带宽　38
2.2.2　算力与输出带宽　41
2.3　卷积乘法阵列　43
2.3.1　Conv算法详解　43
2.3.2　NVDLA的乘法阵列　47
2.3.3　TPU的乘法阵列　59
2.3.4　GPU的乘法阵列　66
2.3.5　华为DaVinci的乘法阵列　74
2.4　卷积运算顺序的选择　80
2.5　池化模块的设计　81
第3章　存储子系统的设计　86
3.1　存储子系统概述　86
3.1.1　存储子系统的组成　86
3.1.2　内部缓存的设计　89
3.2　数据格式的定义　97
3.2.1　特征图的格式　98
3.2.2　权重的格式　100
第4章　架构优化技术　106
4.1　运算精度的选择　106
4.1.1　dynamic fixed point类型　109
4.1.2　bfloat16类型　110
4.2　硬件资源的复用　111
4.2.1　FC　112
4.2.2　de-Conv　115
4.2.3　dilate Conv　123
4.2.4　group Conv　123
4.2.5　3D Conv　127
4.2.6　TC Conv　130
4.2.7　3D Pool　132
4.2.8　Up Sample Pooling　136
4.2.9　多个加速器的级联　136
4.3　Winograd算法和FFT算法　138
4.3.1　Winograd算法解析　138
4.3.2　FFT算法解析　148
4.4　除法变乘法　150
4.5　LUT的使用　150
4.6　宏块并行技术　155
4.7　减少软件配置时间　156
4.8　软件优化技术　157
4.9　一些激进的优化技术　158
第5章　安全与防护　160
5.1　安全技术　160
5.2　安全性评估　162
5.3　防护　163
第6章　神经网络加速器的实现　165
6.1　乘法器的设计　165
6.1.1　整型乘法器的设计　166
6.1.2　浮点运算器的设计　171
6.2　数字电路常见基本块的设计　184
6.3　时序优化　203
6.4　低功耗设计　207
第7章　盘点与展望　211
7.1　AI加速器盘点　211
7.2　Training加速器　211
7.3　展望　218
后记　220

这是一本讲解NPU硬件架构设计与技术实现的著作。作者将自己在CPU、GPU和NPU领域15年的软硬件工作经验融会贯通，将四代NPU架构设计经验融为一体，将端侧和云侧NPU架构合二为一，总结并提炼出本书内容。本书主要讨论神经网络硬件层面，尤其是芯片设计层面的内容，主要包含神经网络的分析、神经网络加速器的设计以及具体实现技术。通过阅读本书，读者可以深入了解主流的神经网络结构，掌握如何从零开始设计一个能用、好用的产品级加速器。
通过阅读本书，你将：
透彻理解与深度学习相关的机器学习算法及其实现
学会主流图像处理领域神经网络的结构
掌握加速器运算子系统和存储子系统的设计
摸清加速器设计中遇到的具体问题及其解决方法
了解NPU架构需要考虑的控制通路和数据通路

甄建勇
资深CPU、GPU、NPU三栖架构师，从事相关软硬件架构与设计工作超过15年。现就职于地平线，担任BPU首席架构师。曾就职于英伟达，担任高级架构师，作为多款CPU、NPU、GPU的核心架构师，参与了Xburst、NVDLA、TensorCore的架构设计工作。熟悉SIMT/RayTracing等模块的架构设计与实现。擅长的领域还包括经济学、法学、心理学以及Linux内核、计算机图形加速和全同态加密。

王路业
优矽科技联合创始人兼总经理，中国开放指令生态（RISC-V）联盟（CRVA）软件开源工作组副组长。曾就职于ARM安谋科技、Synopsys新思科技、ST意法半导体和中国长城计算机。

当前，ChatGPT和自动驾驶等技术正在为人类社会带来巨大的生产力变革，其中基于深度学习和增强学习的AI计算扮演着至关重要的角色。新的计算范式需要创新的芯片架构设计，这正面临新的挑战。本书从神经网络的分析出发，总结和提炼了AI加速器架构设计中常见的难点，以及解决这些难点的技术、方法和思想，是AI软硬件架构师、设计师非常宝贵的参考资料。

—— 余 凯　地平线创始人兼CEO

本书详细总结了卷积神经网络的基本结构和算法实现，并且对卷积神经网络加速器的各种架构、具体硬件实现和优化进行了细致的阐述。本书介绍了一些关键电路设计的宝贵经验，以及对神经网络和加速器的思考和见解，为有志于神经网络加速器设计的学生和工程师提供了指引，相信读完此书一定大有裨益。

—— 何 虎　清华大学集成电路学院副教授/上海清华国际创新中心集成电路研究平台副主任

本书系统地介绍了基于CNN的AI加速器设计方法，使读者能够对该领域的架构设计有清晰的认识。本书结合作者在该领域的架构设计经验，对设计中遇到的具体问题加以讨论并引导读者思考，是一本非常实用的技术书，推荐想要从事相关设计的学生和工程技术人员阅读。

—— 梁晓峣　上海交通大学教授、博导、学科带头人

本书作者精于AI架构设计，书中对神经网络、加速器的架构及设计实现图文并茂地进行了阐述，从理论和实践两个方面深入探讨人工智能加速器的设计、优化和实现，帮助读者更好地理解人工智能加速器的本质和应用。本书非常适合AI硬件架构设计人员阅读，也推荐给对神经网络架构有兴趣的科技工作者和AI爱好者。

—— 吕坚平　天数智芯CTO

人工智能技术的快速发展在大大提高社会生产效率的同时，对算力的要求也到了前所未有的高度。同时，登纳德定律和摩尔定律的终结，更增加了算力提升的难度。在这种情况下，领域专用架构几乎成了唯一的解决方案。本书正是在这样的指引下，不仅给出了神经网络加速器的架构参考，还总结提炼了架构设计方法与思想，实属可贵，一定会对人工智能从业者大有裨益。

—— 焦李成　欧洲科学院外籍院士/俄罗斯自然科学院外籍院士