AI编译器开发指南

图书标准信息

• 作者 汪岩 著
• 出版社 机械工业出版社
• 出版时间 2022-12
• 版次 1
• ISBN 9787111716747
• 定价 119.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 316页
• 字数 467千字

【内容简介】

《AI编译器开发指南》结合专用AI加速器和GPGPU两类芯片架构，系统介绍了AI编译器的基本框架和开发流程，着重论述了在AI编译器开发过程中，针对这两类架构需要重点考虑的实现方法。全书共分为7章，内容涵盖了以TVM为代表的开源AI编译器实现分析和定制化方法，以及GPGPU编译器后端相关设计方法。在介绍AI编译器一般原理的同时，书中通过对开源编译器项目的源代码分析，使读者能通过实例对AI编译器开发过程有更直观的认识。
   《AI编译器开发指南》填补了AI编译器开发类书籍的空白，可作为从事AI软硬件设计、开发人员的参考用书，也可作为普通高等院校智能科学与技术、计算机科学与技术等专业的本科生和研究生的教辅书籍。

【作者简介】

汪岩 博士，高级工程师。目前在美国硅谷某AI芯片创业公司从事编译器开发。曾在联发科、索尼移动、摩托罗拉等公司从事软件研发管理工作，历任技术主管、研发经理、研发高级经理、软件总监等职务，在无线通信、Android系统、编译器等软件领域有17年工作经验，曾主持30余款手机产品的Android框架软件开发，参与或主持多款AI类芯片编译器的开发，并有多款芯片流片经验。发表论文20余篇，授权专利20余项。

【目录】

前言

第1章 AI编译器基础

1.1AI编译器概述

1.1.1AI芯片及其分类

1.1.2AI编译器的结构与特征

1.2常用AI编译器介绍

1.2.1TVM整体架构

1.2.2TensorFlow XLA整体架构

1.2.3Glow整体架构

1.3LLVM编译器基础

1.3.1LLVM前端工作流程

1.3.2LLVM IR格式和语法

1.3.3LLVM后端工作流程

1.4GPGPU编译器基础

1.4.1GPGPU编译器工作流程

1.4.2Clang对CUDA的处理

1.4.3GPGPU编译器的IR优化

第2章 开源AI编译器实现分析

2.1TVM的系统设计

2.1.1TVM的图级优化

2.1.2TVM的计算与调度

2.1.3TVM的自动调优框架

2.2TensorFlow XLA的系统设计

2.2.1XLA的聚类过程

2.2.2XLA的IR设计和编译过程

2.2.3开启XLA的方式

2.2.4XLA JIT的图优化过程

2.2.5XLA JIT的代码生成

2.3Glow的系统设计

2.3.1Glow的高阶IR

2.3.2Glow的低阶IR

2.3.3Glow的量化方法

2.3.4Glow的后端设计

2.4AI编译器特性总结

2.4.1AI编译器的多阶IR设计

2.4.2AI编译器的前端优化

2.4.3AI编译器的后端优化

第3章 定制化AI编译器设计与实现

3.1定制化AI编译器设计框架

3.2TVM的高阶中间表示

3.2.1TVM高阶中间表示的表达

3.2.2TVM高阶中间表示的数据表示实现

3.2.3TVM高阶中间表示的算子实现

3.3TVM的低阶中间表示

3.3.1TVM低阶中间表示的表达

3.3.2TVM代码生成的定制化开发

3.3.3TVM运行时的定制化开发

3.4TVM的前后端优化

3.4.1TVM pass的功能与实现

3.4.2TVM的前端优化

3.4.3TVM的后端优化

第4章 GPGPU编译器后端设计

4.1LLVM后端开发流程

4.1.1异构计算程序工作流程

4.1.2LLVM后端执行流程

4.1.3LLVM中的pass及其管理机制

4.2指令选择

4.2.1指令选择原理与实现方式

4.2.2基于SelectionDAG的指令选择

4.2.3快速指令选择

4.2.4全局指令选择

4.3指令调度

4.3.1指令调度原理

4.3.2LLVM中的指令调度器及其工作过程

4.3.3调度pass的定制

4.4寄存器分配

4.4.1寄存器分配原理

4.4.2LLVM寄存器分配

4.4.3贪厌寄存器分配实现过程分析

第5章 张量核的编程方法与编译器支持

5.1沃尔塔、图灵和安培架构特性

5.1.1沃尔塔架构特性

5.1.2图灵架构特性

5.1.3安培架构特性

5.2张量核编程方法

5.2.1WMMA API及其用法

5.2.2CUTLASS中的张量核编程

5.3编译器后端对张量核的支持

5.3.1wmma PTX指令及其用法

5.3.2mma和ldmatrix PTX指令及其用法

5.3.3WMMA intrinsic函数定义

5.3.4NVPTX后端对wmma PTX指令的支持

第6章 AI模型性能分析与编译器优化方法

6.1AI模型性能的衡量指标和影响因素

6.1.1计算访存比

6.1.2算术强度和操作字节比

6.1.3内存级并行性和线程束并行性

6.2SM占用率及其编程接口

6.2.1理论占用率和实际占用率

6.2.2理论占用率约束条件分析

6.2.3CUDA运行时占用率编程接口

6.3基于占用率的指令调度优化

6.3.1AMD GPU编程模型和硬件执行模型

6.3.2AMDGPU后端的指令调度算法优化

第7章 AI芯片软硬件系统接口设计

7.1GPGPU软硬件接口设计

7.1.1GPGPU主机端编程接口

7.1.2内核分派过程

7.1.3GPGPU硬件分派过程

7.2AI加速器软硬件接口设计

7.2.1AI加速器硬件架构

7.2.2AI加速器设备软件栈

7.3量化技术与实现

7.3.1量化技术原理

7.3.2算子量化和激活函数量化

7.3.3激活函数量化方法

参考文献