PyTorch速查手册

前言
这是一个让人欢欣鼓舞的时代！有些人很幸运，经历了技术的一个个巨大进步——个人计算机的发明、互联网的诞生，手机的广泛使用，以及社交媒体的出现。如今，人工智能领域正在取得重大突破！
注视这一变化并成为这个变化的一部分着实令人兴奋。我想我们才刚刚起步，想到未来十年世界将会发生怎样的变化，简直无法想象。我们生活在这样的时代，能够参与人工智能的蓬勃扩张，这真是太棒了！
毫无疑问，PyTorch 促使深度学习和人工智能领域取得了一些巨大的进步。PyTorch 可以免费下载和使用，任何人只要有计算机或者能上网就可以开展人工智能实验。除了类似本书的比较全面的参考资料，还有很多免费和便宜的培训课程、博客文章和教程可以帮助你。任何人都可以使用PyTorch 着手研究机器学习和人工智能。
本书面向的读者对象
这本书既面向初学者，又面向对机器学习和人工智能感兴趣的高级用户。如果你有编写Python 代码的一些经验，对数据科学和机器学习有基本的了解，这会很有帮助。
如果你刚接触机器学习，这本书会帮助你了解PyTorch 的基础知识，并提供一些简单的示例。如果你使用过其他框架，如TensorFlow、Caffe2 或MXNet，这本书会帮助你熟悉PyTorch API 及其编程思维，来拓展你的技能。如果你使用过PyTorch，这本书会帮助你扩充一些高级主题的知识，如加速和优化，并提供快速参考资源，帮助你在日常开发中使用PyTorch。
为什么写这本书
学习和掌握PyTorch 可能很令人兴奋。有太多的东西需要探索！我刚开始学习PyTorch 时，很希望有一个资源能教会我一切。我希望它能提供一个很好的高层概述，使我了解PyTorch 提供了什么，还希望它能提供一些示例，在我需要更深入地研究时能提供足够多的详细信息。
关于PyTorch 有一些非常好的书和课程，不过它们通常侧重于张量和深度学习模型的训练。PyTorch 在线文档也很好，提供了大量详细信息和示例。不过，我发现使用文档往往很麻烦。我必须不停地点击来学习，或者用Google 搜索我需要知道的知识。我希望书桌上能有一本合适的书，在我编写代码时可以查阅和参考。
我的目标是让这成为你的终极PyTorch 参考书。除了通读全书，对可用的PyTorch 资源有一个高层认识，我还希望你能重点查阅关键的部分来完成你的开发工作，并把这本书留在案头。这样一来，如果你忘记了某个内容，就能立即得到答案。如果你更喜欢电子书或在线书，还可以在线加书签。不论你如何使用这本书，我希望它能帮助你用PyTorch 创造出令人惊叹的新技术！
本书组织
如果你刚开始学习PyTorch，应当从第1 章开始，按顺序阅读每一章。这些章节将从入门级逐步转入高级主题。如果你对PyTorch 已经有一些经验，可能想直接跳到你感兴趣的主题。不要忘记查看有关PyTorch 生态系统的第8 章。你肯定能发现一些新东西！
本书的组织结构如下：
• 第1 章对PyTorch 提供了一个简要介绍，将帮助你建立开发环境，并提供了一个有趣的例子让你自己尝试。
• 第2 章介绍张量，这是PyTorch 的基本构建模块，它是PyTorch 中所有一切的基础。
• 第3 章全面介绍了如何使用PyTorch 完成深度学习，第4 章提供了一些示例参考设计，以便你了解PyTorch 的实际使用。
• 第5 章和第6 章介绍更高级的主题。第5 章介绍如何为你自己的工作定制PyTorch 组件。第6 章则介绍如何加速训练和优化你的模型。
• 第7 章介绍如何通过本地机器、云服务器和移动或边缘设备将PyTorch 部署到生产环境。
• 第8 章介绍PyTorch 生态系统，描述流行的包，并列出另外一些培训资源，来指导你下一步的工作。
本书使用约定
本书使用以下排版约定：
斜体（Italic）
表示新术语、URL、email 地址、文件名和文件扩展名。
定宽字体（Constant width）
用于程序代码清单，以及在段落中用来指示程序元素，如变量或函数名、数据库、数据类型、环境变量、语句和关键字。
定宽粗体（Constant width bold）
表示要由用户键入的命令或其他文字。另外，在表格中粗体还用来强调函数。
定宽斜体（Constant width italic）
表示用定宽斜体显示的文字要替换为用户提供的值或由上下文确定的值。另外，表格中用斜体显示的变换目前TorchScript 还不支持。
使用代码示例
这本书的补充材料（代码示例，练习等）可以从https://github.com/joe-papa/pytorch-book 下载。
如果你有技术问题，或者使用代码示例时遇到问题，请发送电子邮件至bookquestions@oreilly.com。
本书的目的是要帮助你完成工作。一般来讲，如果书中提供了示例代码，你可以在你的程序和文档中使用这些示例代码，不需要联系我们来得到许可，除非你直接复制了大部分的代码。例如，如果你在编写一个程序，使用了本书中的多段代码，这并不需要得到许可。但是出售或发行O’Reilly 书的示例代码则需要得到许可。回答问题时如果引用了这本书的文字和示例代码，这不需要得到许可。但是如果你的产品文档借用了本书中的大量示例代码，则需要得到许可。
我们希望但不严格要求标明引用出处。引用信息通常包括书名、作者、出版商和ISBN。例如，“PyTorch Pocket Reference by Joe Papa (O’Reilly). Copyright 2021 Mobile Insights Technology Group, LLC, 978-1-492-09000-7”。
如果你认为你在使用代码示例时超出了合理使用范围或者上述许可范围，可以随时联系我们：permissions@oreilly.com。
O’Reilly 在线学习平台（O’Reilly Online Learning）
近40 年来，O’Reilly Media 致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。
我们有一群独家专家和创新者，他们通过图书、文章、会议和在线学习平台分享知识和技术。O’Reilly 的在线学习平台提供按需访问的直播培训课程、详细的学习路径、交互式编程环境，以及由O’Reilly 和其他200 多家出版社出版的书籍和视频。详情请访问http://oreilly.com。
联系方式
请将你对本书的评价和问题发给出版社：
美国：
O’Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
中国：
北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035）
针对这本书，我们还建有一个网页，列出了有关勘误、示例和其他信息。可以通过以下地址访问这个页面：https://oreil.ly/PyTorch-pocket。
如果对这本书有什么意见，或者询问技术上的问题，请发送电子邮件至errata@oreilly.com.cn。
要了解关于我们的图书和课程的新闻和信息，请访问我们的网站：http://www.oreilly.com。
我们的Facebook：http://facebook.com/oreilly。
我们的Twitter：http://twitter.com/oreillymedia。
我们的YouTube：http://www.youtube.com/oreillymedia。
致谢
作为一个读者，每当我看到其他作者的致谢时都很有感触。写一本书不是件简单的任务，特别是写一本好书需要很多人的支持。阅读这些致谢会不断提醒我们：仅凭我们自己是无法完成这个任务的。
要感谢我的朋友Matt Kirk 的支持和鼓励，他是我多年前在O’Reilly 会议上认识的。他对个人开发的热情激励着他不断创作图书和课程，帮助其他人在个人和职业领域充分发挥潜能。疫情期间，我们每周的Zoom 聊天和自助项目确实对我很有帮助，使我能保持理智。没有Matt，就不可能有这本书。
我要感谢Rebecca Novack 建议启动这个项目，并给了我一个机会，还要感谢O’Reilly 的工作人员让这个项目成为现实。
写一本书需要付出努力，不过要写一本好书，还需要有关心读者的敬业的审校人员。我要感谢Mike Drob、Axel Sirota 和Jeff Bleiel 花时间审阅这本书，并提出了无数的建议。由于Mike 的建议，我增加了很多原本可能忽略的实用资源。他确保我们使用的工具和实践，这是在线文档中找不到的。Axel 对细节的关注真是令人难以置信。非常感谢他的鼓励和努力，感谢他审阅了本书中的代码和技术细节。Jeff 是一个了不起的编辑。非常感谢他对这本书的顺序和组织提出的建议。他的帮助使我成为一个更好的作者。
PyTorch 是一个真正的社区项目。非常感谢Facebook 的人员以及超过1700 位开发这个机器学习框架的贡献者。特别要感谢那些创建文档和教程的人，这些文档和教程能帮助像我这样的人快速学习PyTorch。
对我帮助的人包括Suraj Subramanian、Seth Juarez、Cassie Breviu、Dmitry Soshnikov、Ari Bornstein、Soumith Chintala、Justin Johnson、Jeremy Howard、Rachel Thomas、Francisco Ingham、Sasank Chilamkurthy、Nathan Inkawhich、Sean Robertson、Ben Trevett、Avinash Sajjanshetty、James Reed、Michael Suo、Michela Paganini、Shen Li、Seb Arnold、Rohan Varma、Pritam Damania、Jeff Tang，以及无数研究PyTorch 主题的博客博主和油管主播。
非常感谢Manbir Gulati 介绍我认识了PyTorch，还要感谢Rob Miller 给我机会领导使用PyTorch 完成人工智能项目。很高兴与我的朋友Isaac Privitera 分享这本书中的深度学习想法。当然，如果没有我母亲Grace 的辛勤工作和奉献，我不可能取得任何成就，是她给了我和我哥哥生命，让我们成长。每天我都很想念她。
特别感谢我的哥哥Vinnie，他对我的家庭项目提供了很大帮助，让我有更多的时间写作。我要感谢我的继父Lou，感谢他在我写这本书时给予的鼓励。还要感谢我的孩子们，Savannah、Caroline 和George，感谢他们在爸爸工作时的耐心和理解。
后，我要感谢我的妻子Emily。在我的生命里，她一直支持着我的想法和梦想。当然，当我着手写这本书时，她又一次成为我的依靠。在疫情期间，照顾我们的三个孩子并承担新的责任实在是一项艰巨的任务。
尽管如此，她一直是我完成写作必不可少的支撑。事实上，写这本书的时候，我们发现将迎来我们的第四个孩子！我的妻子总是用微笑和一句玩笑（“总是我出钱”）迎接一切，这让我更爱她。

• 学习基本PyTorch语法和设计模式。
• 创建定制模型和数据变换。
• 使用GPU和TPU训练和部署模型。
• 训练和测试一个深度学习分类器。
• 使用优化和分布式训练加速训练。
• 利用PyTorch库和PyTorch生态系统。

Joe Papa在研究和开发领域有超过25年的经验，是TeachMe.AI的创始人。他拥有电机工程硕士学位，并在Booz Allen Hamilton和Perspecta Labs领导使用PyTorch的AI研究团队。Joe指导过成百上千的数据科学家，并在Udemy教过全世界超过6000名学生。

目录
前言 . 1
第1 章 PyTorch 简介 9
1.1 PyTorch 是什么? .9
1.2 为什么使用PyTorch? .10
1.3 新手指南 12
1.3.1 在Google Colaboratory 中运行 13
1.3.2 在本地计算机上运行 .16
1.3.3 在云平台上运行 17
1.3.4 验证你的PyTorch 环境 20
1.4 一个有趣的例子 20
第2 章 张量 29
2.1 张量是什么？ .30
2.1.1 简单CPU 示例 .30
2.1.2 简单GPU 示例 .31
2.1.3 在CPU 和GPU 之间移动张量 .32
2.2 创建张量 33
2.2.1 张量属性37
2.2.2 数据类型38
2.2.3 由随机样本创建张量 .40
2.2.4 创建类似其他张量的张量 42
2.3 张量操作 42
2.3.1 张量索引、切片、合并和拆分 .43
2.3.2 张量数学运算 47
2.3.3 自动微分（Autograd） .54
第3 章 使用PyTorch 的深度学习开发 . 57
3.1 完整过程 58
3.2 数据准备 60
3.2.1 数据加载60
3.2.2 数据变换65
3.2.3 数据批处理 .69
3.2.4 一般数据准备（torch.utils.data） 70
3.3 模型开发 74
3.3.1 模型设计75
3.3.2 训练 90
3.3.3 验证 98
3.3.4 测试 .102
3.4 模型部署 .103
3.4.1 保存模型104
3.4.2 部署到PyTorch Hub 105
3.4.3 部署到生产环境 106
第4 章 神经网络开发参考设计 107
4.1 使用迁移学习完成图像分类 .108
4.1.1 数据处理108
4.1.2 模型设计 111
4.1.3 训练和验证 113
4.1.4 测试和部署 115
4.2 用Torchtext 完成情感分析 117
4.2.1 数据处理 117
4.2.2 模型设计123
4.2.3 训练和验证 125
4.2.4 测试和部署 127
4.3 生成式学习—用DCGAN 生成Fashion-MNIST 图像 129
4.3.1 数据处理130
4.3.2 模型设计132
4.3.3 训练 .135
4.3.4 测试和部署 140
第5 章 定制PyTorch 143
5.1 定制层和激活函数 .144
5.1.1 定制层示例（Complex Linear） 146
5.1.2 定制激活示例（Complex ReLU） 150
5.2 定制模型架构 151
5.3 定制损失函数 154
5.4 定制优化器算法 .156
5.5 定制训练、验证和测试循环 .160
第6 章 PyTorch 加速和优化 . 165
6.1 TPU 上使用PyTorch 166
6.2 （单机）多个GPU 上使用PyTorch .170
6.2.1 数据并行处理 .170
6.2.2 模型并行处理 .175
6.2.3 结合数据并行处理和模型并行处理.177
6.3 （多机）分布式训练 180
6.4 模型优化 .182
6.4.1 超参数调优 182
6.4.2 量化 .190
6.4.3 剪枝 .194
第7 章 PyTorch 部署到生产环境 201
7.1 PyTorch 部署工具和库 202
7.1.1 通用示例模型 .203
7.1.2 Python API 204
7.1.3 TorchScript 205
7.1.4 TorchServe 209
7.1.5 ONNX .218
7.1.6 Mobile 库 219
7.2 部署到Flask 应用 221
7.3 Colab Flask 应用 .224
7.4 用TorchServe 部署到云227
7.5 Docker 快速入门.227
7.6 部署到移动和边缘设备 229
7.6.1 iOS229
7.6.2 Android 232
7.6.3 其他边缘设备 .236
第8 章 PyTorch 生态系统和其他资源 239
8.1 PyTorch 生态系统 240
8.2 面向图像和视频的Torchvision 248
8.2.1 数据集和I/O249
8.2.2 模型 .251
8.2.3 变换、操作和实用工具 .253
8.3 用于NLP 的Torchtext 261
8.3.1 创建一个数据集对象 261
8.3.2 预处理数据 262
8.3.3 创建一个Dataloader 批处理 263
8.3.4 数据（torchtext.data） 264
8.3.5 数据集（torchtext.datasets） 265
8.3.6 词汇表（torchtext.vocab） 268
8.4 用于可视化的TensorBoard 269
8.4.1 SCALARS 显示学习曲线 .272
8.4.2 GRAPHS 显示模型架构 273
8.4.3 IMAGES、TEXT 和PROJECTOR 显示数据 .274
8.4.4 DISTRIBUTIONS 和HISTOGRAMS 显示权重分布 .275
8.4.5 HPARAMS 显示超参数 .276
8.4.6 TensorBoard API 277
8.5 Papers with Code 280
8.6 其他PyTorch 资源 .280
8.6.1 教程 .281
8.6.2 图书 .283
8.6.3 在线课程和现场培训 284

• 学习基本PyTorch语法和设计模式。


• 创建定制模型和数据变换。


• 使用GPU和TPU训练和部署模型。


• 训练和测试一个深度学习分类器。


• 使用优化和分布式训练加速训练。


• 利用PyTorch库和PyTorch生态系统。

Joe Papa在研究和开发领域有超过25年的经验，是TeachMe.AI的创始人。他拥有电机工程硕士学位，并在Booz Allen Hamilton和Perspecta Labs领导使用PyTorch的AI研究团队。Joe指导过成百上千的数据科学家，并在Udemy教过全世界超过6000名学生。