PyTorch深度学习指南：序列与自然语言处理 卷III

当今，深度学习已经成为计算机科学领域的一个热门话题，主要包括自然语言处理（如文本分类、情感分析、机器翻译等）、计算机视觉（如图像分类、目标检测、图像分割等）、强化学习（如通过与环境的交互来训练智能体，实现自主决策和行为等）、生成对抗网络（如利用两个神经网络相互对抗的方式来生成逼真的图像、音频或文本等）、自动驾驶技术（如利用深度学习技术实现车辆的自主驾驶等）、语音识别（如利用深度学习技术实现对语音信号的识别和转换为文本等）、推荐系统（如利用深度学习技术实现个性化推荐，以提高用户体验和购物转化率等）。
目前，主流的深度学习框架包括PyTorch、TensorFlow、Keras、Caffe、MXNet等。而PyTorch 作为一个基于Python的深度学习框架，对初学者十分友好，原因如下：
 PyTorch具有动态计算图的特性，这使得用户可以更加灵活地定义模型，同时还能够使用Python中的流程控制语句等高级特性。这种灵活性可以帮助用户更快地迭代模型，同时也可以更好地适应不同的任务和数据。
 PyTorch提供了易于使用的接口（如nn.Module、nn.functional等），使得用户可以更加方便地构建和训练深度学习模型。这些接口大大减少了用户的编码工作量，并且可以帮助用户更好地组织和管理模型。
 PyTorch具有良好的可视化工具（如TensorBoard等），这些工具可以帮助用户更好地理解模型的训练过程，并且可以帮助用户更好地调试模型。
 PyTorch在GPU上的性能表现非常出色，可以大大缩短模型训练时间。
综上所述，PyTorch是一个非常适合开发深度学习模型的框架，它提供了丰富的工具和接口。同时，还具有灵活和良好的可视化工具，可以帮助用户更快、更好地开发深度学习模型。
市场上有许多讲解PyTorch的书籍，但“PyTorch深度学习指南”这套丛书与众不同、独具特色，其表现为：
 全面介绍PyTorch，包括其历史、体系结构和主要功能。
 涵盖深度学习的基础知识，包括神经网络、激活函数、损失函数和优化算法。
 包括演示如何使用PyTorch构建和训练各种类型的神经网络（如前馈网络、卷积网络和循环网络等）的分步教程和示例。
 涵盖高级主题，如迁移学习、Seq2Seq模型和Transformer。
 提供使用PyTorch的实用技巧和最佳实践，包括如何调试代码、如何使用大型数据集以及如何将模型部署到生产中等。
 每章都包含实际示例和练习，以帮助读者加强对该章内容的理解。
例如，目前最火爆的ChatGPT是基于GPT模型的聊天机器人，而GPT是一种基于Transformer架构的神经网络模型，用于自然语言处理任务，如文本生成、文本分类、问答系统等。GPT模型使用了深度学习中的预训练和微调技术，通过大规模文本数据的预训练来学习通用的语言表示，然后通过微调来适应具体的任务。Transformer架构模型、预训练、微调等技术，在这套丛书中都有所涉及。相信读者在读完本丛书后，也能生成自己的聊天机器人。
此外，本丛书结构合理且易于理解，对于每个知识点的讲解，作者都做到了循序渐进、娓娓道来，而且还略带幽默。
总之，本丛书就是专为那些没有PyTorch或深度学习基础的初学者而设计的。
丛书的出版得到了译者所在单位合肥大学相关领导和同事的大力支持，在此表示诚挚的感谢。
鉴于译者水平有限，书中难免会有错误和不足之处，真诚欢迎各位读者给予批评指正。

本书涵盖了从梯度下降的基础知识一直到使用HuggingFace库微调大型自然语言处理模型（BERT和GPT-2）。它分为四个部分——第一部分：基础知识（梯度下降，在PyTorch中训练线性和逻辑回归）；第二部分：计算机视觉（更深层次的模型和激活函数、卷积、迁移学习、初始化方案）；第三部分：序列（RNN、GRU、LSTM、序列到序列模型、注意力、自注意力、转换器）；第四部分：自然语言处理（词元化、嵌入、上下文词嵌入、ELMo、BERT、GPT-2）。 该书以三卷的形式呈现给大家，第一部分为第一卷，第二部分为第二卷，第三部分和第四部分为第三卷。 在第三卷中，您将了解与序列相关的所有内容：循环神经网络及其变体、序列到序列模型、注意力、自注意力和转换器。本卷还包括有关自然语言处理的速成教程，从单词词元化的基础知识一直到使用HuggingFace库微调大型模型（BERT和GPT-2）。本卷比其他两卷要求更高，如果您已经对深度学习模型有扎实的理解，您会更喜欢它。这其中包括： ？循环神经网络（RNN、GRU和LSTM）和一维卷积。 ？序列到序列模型、注意力、掩码和位置编码。 ？转换器、层归一化和视觉转换器（ViT）。 ？BERT、GPT-2、词嵌入和HuggingFace库。

丹尼尔•沃格特•戈多伊是一名数据科学家、开发人员、作家和教师。自2016年以来，他一直在柏林历史最悠久的训练营Data Science Retreat讲授机器学习和分布式计算技术，帮助数百名学生推进职业发展。
丹尼尔还是两个Python软件包——HandySpark和DeepReplay的主要贡献者。
他拥有在多个行业20多年的工作经验，这些行业包括银行、政府、金融科技、零售和移动出行等。

赵春江，博士，毕业于上海交通大学。现任职于合肥学院，副教授，在信息处理领域有着十余年丰富的教学和科研经验。共主持过3项省级教科研项目，在国内外期刊和会议中共发表20多篇学术论文，其中被SCI或EI检索共计12篇，曾出版过四本关于数字信号处理、图像处理、以及机器学习方面的书籍。

前　言
致　谢
关于作者
译者序
常见问题
　　为什么选择PyTorch？
　　为什么选择这套书？
　　谁应该读这套书？
　　我需要知道什么？
　　如何阅读这套书？
　　下一步是什么？
设置指南
　　官方资料库
　　环境
　　　　谷歌Colab
　　　　Binder
　　　　本地安装
　　继续
第8章　序列
　　剧透
　　Jupyter Notebook
　　　　导入
　　序列
　　　　数据生成
　　循环神经网络（RNN）
　　　　RNN单元
　　　　RNN层
　　　　形状
　　　　堆叠RNN
　　　　双向RNN
　　　　正方形模型
　　　　可视化模型
　　　　我们能做得更好吗？
　　门控循环单元（GRU）
　　　　GRU单元
　　　　GRU层
　　　　正方形模型Ⅱ——速成
　　　　模型配置和训练
　　　　可视化模型
　　　　我们能做得更好吗？
　　长短期记忆（LSTM）
　　　　LSTM单元
　　　　LSTM层
　　　　正方形模型Ⅲ——巫师
　　　　模型配置和训练
　　　　可视化隐藏状态
　　可变长度序列
　　　　填充
　　　　打包
　　　　解包（至填充）
　　　　打包（从填充）
　　　　可变长度数据集
　　　　数据准备
　　　　正方形模型Ⅳ——打包
　　　　模型配置和训练
　　一维卷积
　　　　形状
　　　　多特征或通道
　　　　膨胀
　　　　数据准备
　　　　模型配置和训练
　　　　可视化模型
　　归纳总结
　　　　固定长度数据集
　　　　可变长度数据集
　　　　选择一个合适的模型
　　　　模型配置和训练
　　回顾
第9章（上）：序列到序列
　　剧透
　　Jupyter Notebook
　　　　导入
　　序列到序列
　　　　数据生成
　　编码器-解码器架构
　　　　编码器
　　　　解码器
　　　　编码器 解码器
　　　　数据准备
　　　　模型配置和训练
　　　　可视化预测
　　　　我们能做得更好吗？
　　注意力
　　　　“值”
　　　　“键”和“查询”
　　　　计算上下文向量
　　　　评分方法
　　　　注意力分数
　　　　缩放点积
　　　　注意力机制
　　　　源掩码
　　　　解码器
　　　　编码器 解码器 注意力机制
　　　　模型配置和训练
　　　　可视化预测
　　　　可视化注意力
　　　　多头注意力
第9章（下）：序列到序列
　　剧透
　　自注意力
　　　　编码器
　　　　交叉注意力
　　　　解码器
　　　　编码器 解码器 自注意力机制
　　　　模型配置和训练
　　　　可视化预测
　　　　不再有序
　　位置编码（PE）
　　　　编码器 解码器 位置编码
　　　　模型配置和训练
　　　　可视化预测
　　　　可视化注意力
　　归纳总结
　　　　数据准备
　　　　模型组装
　　　　编码器 解码器 位置编码
　　　　自注意力的“层”
　　　　注意力头
　　　　模型配置和训练
　　回顾
第10章　转换和转出
　　剧透
　　Jupyter Notebook
　　　　导入
　　转换和转出
　　狭义注意力
　　　　分块
　　　　多头注意力
　　堆叠编码器和解码器
　　包裹“子层”
　　Transformer编码器
　　Transformer解码器
　　层归一化
　　　　批量与层
　　　　我们的Seq2Seq问题
　　　　投影或嵌入
　　Transformer
　　　　数据准备
　　　　模型配置和训练
　　　　可视化预测
　　PyTorch的Transformer
　　　　模型配置和训练
　　　　可视化预测
　　视觉Transformer
　　　　数据生成和准备
　　　　补丁
　　　　特殊分类器词元
　　　　模型
　　　　模型配置和训练
　　归纳总结
　　　　数据准备
　　　　模型组装
　　　　模型配置和训练
　　回顾
第11章　Down the Yellow Brick Rabbit Hole
　　剧透
　　Jupyter Notebook
　　　　附加设置
　　　　导入
　　“掉进黄砖兔子洞（Down the Yellow Brick Rabbit Hole）”
　　构建数据集
　　　　句子词元化
　　　　HuggingFace的数据集
　　　　加载数据集
　　单词词元化
　　　　词汇表
　　　　HuggingFace的词元化器
　　单词嵌入之前
　　　　独热（One-Hot）编码（OHE）
　　　　词袋（BoW）
　　　　语言模型
　　　　N元（N-gram）
　　　　连续词袋（CBoW）
　　单词嵌入
　　　　Word2Vec
　　　　什么是嵌入？
　　　　预训练的Word2Vec
　　　　全局向量（GloVe）
　　　　使用单词嵌入
　　　　模型Ⅰ——GloVE 分类器
　　　　模型Ⅱ——GloVe Transformer
　　上下文单词嵌入
　　　　ELMo
　　　　BERT
　　　　文档嵌入
　　　　模型Ⅲ——预处理嵌入
　　BERT
　　　　词元化
　　　　输入嵌入
　　　　预训练任务
　　　　输出
　　　　模型Ⅳ——使用BERT进行分类
　　使用HuggingFace进行微调
　　　　序列分类（或回归）
　　　　词元化数据集
　　　　训练器
　　　　预测
　　　　管道
　　　　更多管道
　　GPT-2
　　归纳总结
　　　　数据准备
　　　　模型配置和训练
　　　　生成文本
　　回顾
　　谢谢您！

本书涵盖了从梯度下降的基础知识一直到使用HuggingFace库微调大型自然语言处理模型（BERT和GPT-2）。它分为四个部分——第一部分：基础知识（梯度下降，在PyTorch中训练线性和逻辑回归）；第二部分：计算机视觉（更深层次的模型和激活函数、卷积、迁移学习、初始化方案）；第三部分：序列（RNN、GRU、LSTM、序列到序列模型、注意力、自注意力、转换器）；第四部分：自然语言处理（词元化、嵌入、上下文词嵌入、ELMo、BERT、GPT-2）。 该书以三卷的形式呈现给大家，第一部分为第一卷，第二部分为第二卷，第三部分和第四部分为第三卷。 在第三卷中，您将了解与序列相关的所有内容：循环神经网络及其变体、序列到序列模型、注意力、自注意力和转换器。本卷还包括有关自然语言处理的速成教程，从单词词元化的基础知识一直到使用HuggingFace库微调大型模型（BERT和GPT-2）。本卷比其他两卷要求更高，如果您已经对深度学习模型有扎实的理解，您会更喜欢它。这其中包括： ？循环神经网络（RNN、GRU和LSTM）和一维卷积。 ？序列到序列模型、注意力、掩码和位置编码。 ？转换器、层归一化和视觉转换器（ViT）。 ？BERT、GPT-2、词嵌入和HuggingFace库。

丹尼尔•沃格特•戈多伊是一名数据科学家、开发人员、作家和教师。自2016年以来，他一直在柏林历史最悠久的训练营Data Science Retreat讲授机器学习和分布式计算技术，帮助数百名学生推进职业发展。
丹尼尔还是两个Python软件包——HandySpark和DeepReplay的主要贡献者。
他拥有在多个行业20多年的工作经验，这些行业包括银行、政府、金融科技、零售和移动出行等。

赵春江，博士，毕业于上海交通大学。现任职于合肥学院，副教授，在信息处理领域有着十余年丰富的教学和科研经验。共主持过3项省级教科研项目，在国内外期刊和会议中共发表20多篇学术论文，其中被SCI或EI检索共计12篇，曾出版过四本关于数字信号处理、图像处理、以及机器学习方面的书籍。