PyTorch实战

本书以PyTorch作为深度学习框架，主要包括4部分。第1部分（第1、2章），主要概述PyTorch基础知识与常见深度学习算法实现，例如，CNN、LSTM，即CNN-LSTM；第2部分（第3～5章）高级神经网络实现，主要包括常见的深度学习网络结构，例如CNN、RNN及最新的Transformer等模型；第3部分（第6～9章）生成式AI和深度强化学习，主要包括GAN、GPT和DQN等算法；第4部分（第10～14章）生产中PyTorch落地的几个关键性主题，分布式训练、自动机器学习管道构建和硬件快速部署。

Ashish Ranjan Jha拥有IIT Roorkee（印度）电气工程学士学位，EPFL（瑞士）计算机科学硕士学位。EPFL（瑞士）计算机科学硕士学位，Quantic商学院（华盛顿）MBA学位，并都以优异成绩毕业。Ashish曾在甲骨文、索尼及初创科技公司等多家科技公司工作，在Revolut担任机器学习工程师
郭涛，四川省农业科学院遥感应用研究所智慧农业科学技术中心、遥感监测（粮食安全）研究中心工程师，TIT Lab发起人，主要从事机器学习与模式识别、地理人工智能（GeoAI）与时空大数据挖掘与分析、智能机器人技术和软件工程技术等前沿交叉研究。《复杂性思考：复杂性科学与计算模型》和《神经网络实战》等译者。目前发表学术论文12篇，申请软件著作权12项，参与编写教材3本，译著5本。

第1部分 PyTorch概述 
第 1 章 使用PyTorch概述深度学习 003 
1.1 技术要求 005 
1.2 回顾深度学习 005 
1.2.1 激活函数 011 
1.2.2 优化模式 014 
1.3 探索PyTorch库 018 
1.3.1 PyTorch模块 019 
1.3.2 Tensor模块 021 
1.4 使用PyTorch训练神经网络 025 
1.5 总结 033 
第 2 章 结合CNN和LSTM 035 
2.1 技术要求 036 
2.2 使用CNN和LSTM构建神经网络 036 
2.3 使用PyTorch构建图像文字描述生成器 038 
2.3.1 下载图像文字描述数据集 039 
2.3.2 预处理文字描述（文本）数据 041 
2.3.3 预处理图像数据 043 
2.3.4 定义图像文字描述数据加载器 045 
2.3.5 定义CNN-LSTM模型 047 
2.3.6 训练CNN-LSTM模型 050 
2.3.7 使用已经训练的模型生成图像文字描述 054 
2.4 总结 057 
第2部分 使用高级神经网络架构 
第 3 章 深度CNN架构 061 
3.1 技术要求 062 
3.2 为什么CNN如此强大？ 062 
3.3 CNN架构的演变 065 
3.4 从零开始开发LeNet 068 
3.4.1 使用PyTorch构建LeNet 070 
3.4.2 训练LeNet 076 
3.4.3 测试LeNet 077 
3.5 微调AlexNet模型 079 
3.6 运行预训练的VGG模型 090 
3.7 探索GoogLeNet和Inception v3 094 
3.7.1 Inception模块 094 
3.7.2 1×1卷积 097 
3.7.3 全局平均池化 097 
3.7.4 辅助分类器 097 
3.7.5 Inception v3 099 
3.8 讨论ResNet和DenseNet架构 102 
3.9 了解EfficientNets和CNN架构的未来 109 
3.10 总结 111 
第 4 章 深度循环模型架构 113 
4.1 技术要求 114 
4.2 探索循环网络的演变 115 
4.2.1 循环神经网络的类型 115 
4.2.2 RNN 117 
4.2.3 双向RNN 118 
4.2.4 LSTM 119 
4.2.5 扩展和双向LSTM 121 
4.2.6 多维RNN 121 
4.2.7 堆叠LSTM 122 
4.2.8 GRU 123 
4.2.9 Grid LSTM 124 
4.2.10 门控正交循环单元 124 
4.3 训练RNN进行情感分析 124 
4.3.1 加载和预处理文本数据集 125 
4.3.2 实例化和训练模型 131 
4.4 构建双向LSTM 137 
4.4.1 加载和预处理文本数据集 137 
4.4.2 实例化和训练LSTM模型 139 
4.5 讨论GRU和基于注意力的模型 141 
4.5.1 GRU和PyTorch 142 
4.5.2 基于注意力的模型 142 
4.6 总结 144 
第 5 章 混合高级模型 146 
5.1 技术要求 147 
5.2 构建用于语言建模的Transformer模型 147 
5.2.1 回顾语言建模 147 
5.2.2 理解Transforms模型架构 148 
5.3 从头开始开发RandWireNN模型 160 
5.3.1 理解RandWireNN 161 
5.3.2 使用PyTorch开发RandWireNN 162 
5.4 总结 174 
第3部分 生成模型和深度强化学习 
第 6 章 使用PyTorch生成音乐和文本 179 
6.1 技术要求 180 
6.2 使用PyTorch构建基于Transformer的文本生成器 180 
6.2.1 训练基于Transformer的语言模型 181 
6.2.2 保存和加载语言模型 182 
6.2.3 使用语言模型生成文本 182 
6.3 使用预训练的GPT-2模型作为文本生成器 184 
6.3.1 使用GPT-2生成便捷的文本 184 
6.3.2 使用PyTorch的文本生成策略 185 
6.4 使用PyTorch与LSTM生成MIDI音乐 192 
6.4.1 加载MIDI音乐数据 193 
6.4.2 定义LSTM模型和训练例程 197 
6.4.3 训练和测试音乐生成模型 199 
6.5 总结 202 
第 7 章 神经风格转移 204 
7.1 技术要求 205 
7.2 理解如何在图像之间传递风格 205 
7.3 使用PyTorch实现神经风格迁移 209 
7.3.1 加载内容图像和风格图像 209 
7.3.2 构建神经风格迁移模型 213 
7.3.3 训练风格迁移模型 214 
7.3.4 尝试风格迁移系统 219 
7.4 总结 222 
第 8 章 深度卷积GAN 224 
8.1 技术要求 225 
8.2 定义生成器和判别器网络 226 
8.3 使用PyTorch训练DCGAN 229 
8.3.1 定义生成器 229 
8.3.2 定义判别器 232 
8.3.3 加载图像数据集 233 
8.3.4 DCGAN的训练循环 234 
8.4 使用GAN进行风格迁移 239 
8.5 总结 248 
第 9 章 深度强化学习 249 
9.1 技术要求 250 
9.2 回顾强化学习概念 251 
9.2.1 强化学习算法类型 253 
9.3 讨论Q-学习 256 
9.4 理解深度Q-学习 261 
9.4.1 使用两个独立的DNN 262 
9.4.2 经验回放缓冲器 262 
9.5 在PyTorch中构建DQN模型 263 
9.5.1 初始化主和目标CNN模型 263 
9.5.2 定义经验回放缓冲区 266 
9.5.3 设置环境 267 
9.5.4 定义CNN优化函数 269 
9.5.5 管理和运行迭代 270 
9.5.6 训练DQN模型以学习Pong 273 
9.6 总结 277 
第4部分 生产系统中的PyTorch 
第 10 章 将PyTorch模型投入生产中 281 
10.1 技术要求 282 
10.2 PyTorch中的模型服务 283 
10.2.1 创建PyTorch模型推理流水线 283 
10.2.2 构建基本模型服务器 290 
10.2.3 创建模型微服务 298 
10.3 使用TorchServe为PyTorch模型提供服务 304 
10.3.1 安装TorchServe 305 
10.3.2 启动和使用TorchServe服务器 305 
10.4 使用TorchScript和ONNX导出通用PyTorch模型 310 
10.4.1 了解TorchScript的功能 310 
10.4.2 使用TorchScript进行模型跟踪 311 
10.4.3 使用TorchScript编写模型脚本 315 
10.4.4 在C  中运行PyTorch模型 318 
10.4.5 使用ONNX导出PyTorch模型 322 
10.5 在云端提供PyTorch模型 325 
10.5.1 将PyTorch与AWS结合使用 326 
10.5.2 在Google Cloud上提供PyTorch模型 330 
10.5.3 使用Azure为PyTorch模型提供服务 332 
10.6 总结 334 
参考资料 335 
第 11 章 分布式训练 337 
11.1 技术要求 338 
11.2 使用PyTorch进行分布式训练 338 
11.2.1 以常规方式训练MNIST模型 339 
11.2.2 以分布式方式训练MNIST模型 342 
11.3 使用CUDA在GPU上进行分布式训练 350 
11.4 总结 353 
第 12 章 PyTorch和AutoML 355 
12.1 技术要求 355 
12.2 使用AutoML寻找最佳神经架构 356 
12.3 使用Optuna进行超参数搜索 365 
12.4 定义模型架构和加载数据集 366 
12.4.1 定义模型训练例程和优化计划 369 
12.4.2 运行Optuna的超参数搜索 370 
12.5 总结 373 
第 13 章 PyTorch和AI可解释 375 
13.1 技术要求 376 
13.2 PyTorch中的模型可解释性 376 
13.2.1 训练手写数字分类器—回顾 376 
13.2.2 可视化模型的卷积过滤器 379 
13.2.3 可视化模型的特征图 381 
13.3 使用Captum解释模型 384 
13.3.1 设置Captum 384 
13.3.2 探索Captum的可解释性工具 386 
13.4 总结 390 
第 14 章 使用PyTorch进行快速原型设计 391 
14.1 技术要求 392 
14.2 使用fast.ai快速设置模型训练 392 
14.2.1 设置fast.ai并加载数据 393 
14.2.2 使用fast.ai训练MNIST模型 395 
14.2.3 使用fast.ai评估和解释模型 397 
14.3 在任何硬件上使用PyTorch Lightning训练模型 399 
14.3.1 在PyTorch Lightning中定义模型组件 399 
14.3.2 使用PyTorch Lightning训练并评估模型 401 
14.4 总结 405

本书以PyTorch作为深度学习框架，主要包括4部分。第1部分（第1、2章），主要概述PyTorch基础知识与常见深度学习算法实现，例如，CNN、LSTM，即CNN-LSTM；第2部分（第3～5章）高级神经网络实现，主要包括常见的深度学习网络结构，例如CNN、RNN及最新的Transformer等模型；第3部分（第6～9章）生成式AI和深度强化学习，主要包括GAN、GPT和DQN等算法；第4部分（第10～14章）生产中PyTorch落地的几个关键性主题，分布式训练、自动机器学习管道构建和硬件快速部署。

Ashish Ranjan Jha拥有IIT Roorkee（印度）电气工程学士学位，EPFL（瑞士）计算机科学硕士学位。EPFL（瑞士）计算机科学硕士学位，Quantic商学院（华盛顿）MBA学位，并都以优异成绩毕业。Ashish曾在甲骨文、索尼及初创科技公司等多家科技公司工作，在Revolut担任机器学习工程师
郭涛，四川省农业科学院遥感应用研究所智慧农业科学技术中心、遥感监测（粮食安全）研究中心工程师，TIT Lab发起人，主要从事机器学习与模式识别、地理人工智能（GeoAI）与时空大数据挖掘与分析、智能机器人技术和软件工程技术等前沿交叉研究。《复杂性思考：复杂性科学与计算模型》和《神经网络实战》等译者。目前发表学术论文12篇，申请软件著作权12项，参与编写教材3本，译著5本。