深度学习之模型优化 核心算法与案例实践 言有三 著

图书标准信息

• 作者 言有三
• 出版社 电子工业出版社
• 出版时间 2024-07
• 版次 1
• ISBN 9787121481529
• 定价 89.00元
• 装帧 其他
• 开本 其他
• 页数 244页
• 字数 351千字

【内容简介】

本书由浅入深、系统性地介绍了深度学习模型压缩与优化的核心技术。本书共9 章，主要内容有：深度学习模型性能评估、模型可视化、轻量级模型设计、模型剪枝、模型量化、迁移学习与知识蒸馏、自动化模型设计、模型优化与部署工具。本书理论知识体系完备，同时提供了大量实例，供读者实战演练。

【目录】

第1章  引言1
1.1  人工智能时代背景1
1.2  数据处理2
1.2.1  大数据时代背景2
1.2.2  数据获取3
1.2.3  数据清洗与整理5
1.3  算法基础7
1.3.1  卷积的概念7
1.3.2  CNN基本概念8
1.4  计算芯片12
1.4.1  GPU12
1.4.2  ARM15
1.5  深度学习框架16
1.5.1  Caffe16
1.5.2  TensorFlow17
1.5.3  PyTorch17
第2章  模型性能评估19
2.1  性能指标19
2.1.1  基准模型19
2.1.2  参数量20
2.1.3  计算量与内存访问代价21
2.1.4  计算速度22
2.1.5  并行化程度23
2.1.6  能耗24
2.2  学术与产业竞赛24
第3章  模型可视化26
3.1  模型可视化基础26
3.1.1  为什么要研究模型可视化26
3.1.2  模型可视化的研究方向27
3.2  模型结构可视化27
3.2.1  Netscope可视化方法27
3.2.2  TensorBoard模型结构可视化33
3.2.3  Graphiz可视化工具35
3.2.4  Netron可视化工具38
3.3  模型参数与特征可视化44
3.3.1  参数可视化44
3.3.2  激活值可视化46
3.3.3  工具46
3.4  输入区域重要性可视化48
3.4.1  基本原理48
3.4.2  基于反向传播的输入可视化49
3.4.3  类激活映射可视化50
3.5  输入激活模式可视化52
3.5.1  概述53
3.5.2  梯度计算法53
3.5.3  反卷积法56
3.5.4  网络反转法58
3.5.5  小结58
3.6  模型可视化分析实践59
3.6.1  基于梯度计算法的可视化59
3.6.2  反卷积可视化62
3.6.3  CAM可视化68
3.6.4  小结71
第4章  轻量级模型设计72
4.1  卷积核的使用和设计72
4.1.1  全连接层的压缩72
4.1.2  小卷积核的应用73
4.2  卷积拆分与分组77
4.2.1  卷积拆分操作78
4.2.2  分组卷积Xception与MobileNet79
4.2.3  ShuffleNet80
4.2.4  级连通道分组网络81
4.2.5  多分辨率卷积核通道分组网络82
4.2.6  多尺度通道分组网络83
4.2.7  多精度分组网络84
4.3  特征与参数重用设计85
4.3.1  特征重用85
4.3.2  参数重用86
4.4  动态自适应模型设计87
4.4.1  什么是动态模型87
4.4.2  基于提前终止与模块丢弃原理的动态模型89
4.4.3  基于注意力感知的动态模型93
4.5  卷积乘法操作优化和设计94
4.5.1  移位网络94
4.5.2  加法网络98
4.5.3  移位网络与加法网络结合99
4.6  重参数化技巧99
4.6.1  网络层合并100
4.6.2  分支合并101
4.7  新颖算子设计102
4.8  低秩稀疏化设计104
第5章  模型剪枝105
5.1  模型剪枝基础105
5.1.1  什么是模型剪枝105
5.1.2  模型剪枝的粒度106
5.2  模型稀疏学习107
5.2.1  权重正则化约束107
5.2.2  基于网络结构的设计109
5.3  非结构化剪枝技术110
5.3.1  基于优化目标的方法110
5.3.2  基于权重幅度的方法112
5.3.3  向量剪枝技术113
5.4  结构化剪枝技术114
5.4.1  基于重要性因子的剪枝算法114
5.4.2  基于输出重建误差的通道剪枝算法116
5.4.3  基于优化目标敏感性的剪枝算法117
5.4.4  卷积核剪枝和通道剪枝的差异119
5.5  模型剪枝的一些问题119
5.5.1  剪枝的必要性119
5.5.2  训练策略119
5.5.3  整个网络同时剪枝120
5.5.4  运行时剪枝121
5.6  图像分类模型结构化剪枝实战122
5.6.1  模型定义与数据集122
5.6.2  模型训练124
5.6.3  模型剪枝127
5.6.4  残差网络130
5.6.5  小结134
第6章  模型量化135
6.1  模型量化基础135
6.1.1  什么是模型量化135
6.1.2  量化的优势135
6.2  二值量化算法137
6.2.1  基于阈值映射函数的方法137
6.2.2  基于重建误差的方法138
6.2.3  从二值量化模型到三值量化模型140
6.2.4  二值量化的主要问题140
6.3  8bit量化141
6.3.1  基于变换函数的非对称量化142
6.3.2  基于信息损失的对称量化143
6.4  混合精度量化算法145
6.4.1  一般混合精度量化算法145
6.4.2  自动位宽学习146
6.5  半精度浮点数训练算法147
6.6  模型量化的一些其他问题148
6.6.1  非均匀量化148
6.6.2  更稳定地训练量化模型149
6.6.3  量化训练与离线量化的比较151
6.7  基于TensorRT框架的模型量化推理实践152
6.7.1  项目简介152
6.7.2  量化算法实现153
6.7.3  TensorRT模型量化与推理158
第7章  迁移学习与知识蒸馏167
7.1  迁移学习与知识蒸馏基础167
7.1.1  迁移学习的基本概念167
7.1.2  知识蒸馏的基本概念168
7.2  基于优化目标驱动的知识蒸馏168
7.2.1  预训练大模型框架169
7.2.2  大模型与小模型共同学习框架171
7.2.3  小结172
7.3  基于特征匹配的知识蒸馏172
7.3.1  基本框架172
7.3.2  注意力机制的使用173
7.4  自蒸馏框架174
7.4.1  深度协同学习174
7.4.2  自监督学习174
7.4.3  自进化学习175
7.5  知识蒸馏的一些问题176
7.5.1  教师模型是否越强越好176
7.5.2  学生模型与教师模型的相互学习176
7.6  基于经典知识蒸馏的图像分类实战177
7.6.1  基准模型定义177
7.6.2  基准模型训练179
7.6.3  知识蒸馏学习180
7.6.4  小结183
第8章  自动化模型设计184
8.1  自动化机器学习基础184
8.1.1  什么是AutoML184
8.1.2  AutoML在数据工程中的应用185
8.1.3  AutoML在超参数优化中的典型应用186
8.1.4  现有的AutoML系统187
8.2  神经网络结构搜索基础188
8.2.1  什么是NAS189
8.2.2  NAS的搜索空间190
8.2.3  NAS的搜索策略192
8.2.4  NAS的评估192
8.3  基于栅格搜索的NAS193
8.3.1  网络基础参数搜索193
8.3.2  网络拓扑结构搜索194
8.4  基于强化学习的NAS194
8.4.1  强化学习基础195
8.4.2  基本方法197
8.4.3  NASNet199
8.4.4  MNASNet201
8.5  基于进化算法的NAS203
8.5.1  进化算法简介203
8.5.2  Genetic CNN算法204
8.5.3  与NASNet的结合206
8.6  可微分NAS207
8.7  NAS与其他模型压缩方法结合209
8.7.1  自动化模型剪枝209
8.7.2  自动化模型量化210
8.7.3  自动化模型蒸馏211
8.8  当前NAS的一些问题212
第9章  模型优化与部署工具213
9.1  模型优化工具213
9.1.1  TensorFlow和PocketFlow框架213
9.1.2  PaddlePaddle框架214
9.1.3  PyTorch和Distiller框架215
9.1.4  NNI框架216
9.1.5  小结216
9.2  模型部署工具216
9.2.1  模型部署基础217
9.2.2  ONNX标准217
9.2.3  NVIDIA GPU推理框架TensorRT218
9.2.4  特定框架专用模型推理框架220
9.2.5  通用移动端模型推理框架221
9.2.6  小结221
9.3  基于NCNN的模型优化部署实战222
9.3.1  软硬件平台介绍222
9.3.2  模型格式转换223
9.3.3  模型部署测试224
9.3.4  小结230