高效深度学习：模型压缩与设计

图书标准信息

• 作者 汪玉；宁雪妃
• 出版社 电子工业出版社
• 出版时间 2018-10
• 版次 1
• ISBN 9787121480591
• 定价 119.00元
• 装帧 其他
• 开本 16开
• 页数 264页
• 字数 344千字

【内容简介】

本书系统地介绍了高效模型压缩和模型设计的方法，在编写上兼顾理论和实践。本书主体部分详细介绍了模型压缩的方，包括高效模块设计、模型剪枝、模型量化、模型二值化、神经网络架构搜索、知识蒸馏几大部分。另外，简要介绍了定制化硬件加速器的设计及大语言模型的加速和压缩。本书适合对高效深度学领域感兴趣的初学者、科研工作者、工程师阅读。

【目录】

部分基础

1绪论2

1.1神经网络技术的发展2

1.2神经网络的高效化需求3

1.3神经网络的高效化路径4

1.4本书主要内容6

2基础知识7

2.1优化问题7

2.1.1优化问题的定义和分类7

2.1.2优化方法的分类9

2.2卷积神经网络模型10

2.2.1基础模块10

2.2.2代表模型介绍13

2.3视觉transformer模型15

2.3.1基础模块16

2.3.2模型分类与结18

第2部分高效模型压缩方

3高效模块设计20

3.1概述20

3.2代表模型介绍21

3.2.1squeeze21

3.2.2mobile系列22

3.2.3shuffle系列24

3.2.4ghost26

3.2.5convnext27

3.2.6vov系列28

3.2.7repvgg29

3.3高效模块的5个设计维度30

3.4本章小结31

4模型剪枝32

4.1模型剪枝的定义和分类32

4.2模型敏感度分析方法34

4.2.1层内和层间敏感度分析34

4.2.2层内敏感度分析指标35

4.3结构化剪枝方法37

4.3.1基于权重正则的结构化剪枝方法37

4.3.2基于搜索的结构化剪枝方法39

4.3.3给定资源的条件下的结构化剪枝方法44

4.4近似低秩分解方法47

4.5非结构化剪枝方法48

4.6半结构化剪枝方法51

4.7针对激活值的剪枝方法53

4.8剪枝方法的经验选择55

4.8.1剪枝流程的选择55

4.8.2剪枝稀疏模式的选择56

4.8.3关于任务能的经验56

4.9grousso结构化剪枝的实践案例57

4.10本章小结60

5模型量化61

5.1模型量化的定义和分类61

5.2模型量化过程和量化推理过程64

5.3量化格式和作65

5.3.1均匀量化格式66

5.3.2非均匀量化格式68

5.3.3三种量化作71

5.4量化参数73

5.4.1缩放系数73

5.4.2零点位置74

5.4.3量化位宽74

5.5训练后量化75

5.5.1训练后量化的流程75

5.5.2重参数化76

5.5.3缩放系数的选取方法80

5.5.4量化值调整83

5.6量化感知训练87

5.6.1基础与流程87

5.6.2调整模型架构的方法90

5.6.3量化器设计的92

5.6.4常用的训练97

5.7混合位宽量化97

5.7.1基于敏感度指标的混合位宽量化97

5.7.2基于搜索的混合位宽量化99

5.8量化方法的经验选择100

5.8.1量化流程的选择100

5.8.2数据表示的设计和决定100

5.8.3算子的选择与处理和计算图的调整102

5.8.4关于任务能的经验104

5.9拓展：低比特推理硬件实现104

5.9.1定点计算的硬件效率104

5.9.2浮点计算转定点计算的105

5.9.3非均匀量化格式的计算111

5.9.4典型的计算单元和加速器架构112

5.10拓展：低比特训练简介115

5.10.1应用背景115

5.10.2挑战分析116

5.10.3相关工作116

5.11本章小结117

6模型二值化118

6.1模型二值化的定义和分类118

6.2模型二值化的基础：以xnor-为例120

6.3二值化方式122

6.3.1朴素二值化方式123

6.3.2间接二值化方式127

6.4训练131

6.4.1修改损失函数132

6.4.2降低梯度估计误差133

6.4.3多阶段的训练方法135

6.4.4训练经验136

6.5架构设计137

6.5.1模型架构的调整138

6.5.2模型架构搜索141

6.5.3集成方法与动态模型142

6.6模型二值化在其他任务与架构中的应用142

6.7本章小结144

7神经网络架构搜索146

7.1神经网络架构搜索的定义和分类146

7.2搜索空间149

7.2.1人工设计搜索空间150

7.2.2自动设计搜索空间154

7.2.3结156

7.3搜索策略157

7.3.1基于强化学的搜索策略157

7.3.2基于进化算法的搜索策略159

7.3.3搜索策略160

7.3.4基于架构能预测器的搜索策略160

7.3.5结164

7.4评估策略165

7.4.1独立训练策略166

7.4.2基于权重共享的单次评估策略167

7.4.3基于权重生成的单次评估策略172

7.4.4零次评估策略172

7.5可微分神经网络架构搜索175

7.5.1连续松弛方法175

7.5.2优化方法176

7.5.3搜索坍缩问题177

7.5.4更高效的可微分搜索算法179

7.6虑硬件效率的神经网络架构搜索180

7.6.1虑硬件效率的搜索空间设计181

7.6.2硬件效率指标的加速评估方法182

7.6.3虑多种硬件效率目标的搜索策略184

7.6.4面向多种硬件设备及约束的神经网络架构搜索方法186

7.7本章小结188

8知识蒸馏190

8.1知识蒸馏的定义和分类190

8.2知识类型和知识分量：“学什么”192

8.2.1基于响应的知识192

8.2.2基于特征的知识194

8.2.3基于关系的知识197

8.3知识来源：“向谁学”199

8.3.1离线蒸馏199

8.3.2互学199

8.3.3自蒸馏200

8.4本章小结201

第3部分拓展和前沿

9相关领域：高效灵活的ai推理硬件

和系统203

9.1概述203

9.2硬件加速器设计和软硬件协同优化204

9.2.1从cpu到硬件加速器204

9.2.2ai加速器中的软硬件协同优化206

9.2.3roofline分析模型207

9.2.4基于指令集的ai加速器210

9.3神经网络计算资源虚拟化211

9.3.1虚拟化的概念211

9.3.2ai加速器的时分复用与空分复用虚拟化212

9.3.3相关工作简介214

9.4本章小结215

10前沿应用：大语言模型的加速和压缩218

10.1大语言模型的发展218

10.2大语言模型的架构和推理过程219

10.3大语言模型的高效分析220

10.3.1效率瓶颈220

10.3.2优化路径221

10.4典型的大语言模型的压缩方法：量化223

10.5本章小结226

后记227

参文献229