精通Transformer:从零开始构建最先进的NLP模型

AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！

在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。

本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。

萨瓦斯 ·伊尔蒂利姆 (Savas Yldmnm) 毕业于伊斯坦布尔技术大学计算机工程系，拥有自然 语言处理 (Natural Language Processing,NLP)专业的博士学位。目前，他是土耳其伊斯坦布尔 比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员， 具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件 和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全 面的咨询服务。

第1部分导论：相关领域的最新发展概述、环境安装和Hello World 应用程序

第1章从词袋到Transformer

1.1技术需求//004

1.2自然语言处理到Transformer的演变历程//005

1.3理解分布式语义//007

1.3.1词袋技术的实现//008

1.3.2克服维度问题//009

1.3.3语言建模与生成//010

1.4利用深度学习//012

1.4.1学习单词嵌入//012

1.4.2循环神经网络概述//014

1.4.3长短期记忆网络和门控循环单元//015

1.4.4卷积神经网络概述//018

1.5 Transformer体系结构概述//021

1.5.1注意力机制//021

1.5.2多头注意力机制//023

1.6 在迁移学习中结合使用Transformer//027

1.7本章小结//029

第2章 Transformer的实践操作入门

2.1技术需求//032

2.2 使用Anaconda安装Transformer//032

2.2.1在Linux操作系统中安装Anaconda//032

2.2.2在Windows操作系统中安装Anaconda//033

2.2.3在macOS操作系统中安装Anaconda//034

2.2.4 安装TensorFlow、PyTorch和Transformer//035

2.2.5 使用Google Colab安装环境//037

2.3使用语言模型和分词器//037

2.4使用社区提供的模型//034

2.5使用基准测试和数期集//042

2.5.1重要的基准酬试//042

2.5.2使用应用程序编程接口访间数据集//0442.

o速度和内存的基准渊试//0522.7本章小结//050

第2部分 Transformer模型：从自编码模型到自回归模型

第3章 自编码语言模型3.1技术需求//060

3.2既R：一种自编码语言模型//060

3.2.1 BET语言模型预训练任务//061

3.2.2对BEHT语言模型的深人研究//062

8.3适用于任何语言的自编码语言模型训练//064

3.4与社区共享模型//073

3.5了解其他自编码模型//074

3.5.1 Alben 模型概述//074

3.5.2 RoBERTa模型//077

3.5.3 LIEACTRA模型//078

3.6 使用分词算法//079

3.6.1字节对编码//081

3.6.2 WordPiecs分词算佳//082

3.6.3_ Bentenceliece分词算法//082

3.6,4 tokeniens fe//083

3.7本章小结//08%

第4章 自回归和其他语言模型4.1技术需求//090

4.2 使用自固归语言模型//091

4.2.1生成式须训练模型的介绍与训练//091

4.2.2 Transformer-XL模型//093

4.2.3%1Net模型//694

4.3 使用序列到序列模型//094

4.3.1 T5模型//095

4.3.2 BART概述//096

4.4 自到自语育模型训练//098

……

第3部分高级主题

第8章 使用高效的 Transformer

8.1技术需求//184

8.2高效、轻便、快速的Transformer概述//185

8.3模型规模缩减的实现//186

8.3.1 使用DistilBERT进行知识提炼//186

8.3.2剪枝//188

8.3.3 量化//190

8.4使用高效的自注意力机制//192

8.4.1固定模式下的稀疏注意力机制//192

8.4.2可学习的模式//202

8.4.3低秩因子分解、核函数和其他方法//207

8.5 本章小结//207

第9章 跨语言和多语言建模

9.1技术需求//209

9.2翻译语言建模与跨语言知识共享//210

9.3 跨语言的语言模型和来自Transformer 的多语言双向编码器表

9.3.1 mBERT//212

9.3.2 XLM//213

9.4跨语言相似性任务//216

9.4.1跨语言文本相似性//216

9.4.2可视化跨语言文本相似性//218

9.5跨语言分类//222

9.6跨语言零样本学习//226

9.7多语言模型的基本局限性//229

9.8微调多语言模型的性能//230

9.9本章小结//232

第10章 部署Transformer模型

10,1技术需求//234

10.2 FastAPl Transforrmer模型服务//235

10.3 容器化API//237

10.4 使用TFX提供更快的Transfotmer模型服务//238

10.5 使用Locust 进行负载测试//241

10.6 木章小结//243

第11章注意力可视化与实验眼踪

11.1技术需求//245

11.2解读注意力头//246

11.2.1使用exBERT对注意力头进行可视化//246

11.2.2使用BentVis实现注意力头的多尺度可视化//251

11.2.3使用探测分类器理解BEBT的内部结构//259

11.3跟踪模型度量指标//259

11,3.1 使用TensorBoard 限踪模型训练过程//260

11.3.2使用W&B及时跟踪模型训练过程//263

11，4本章小结//266

  本章将回顾自然语言处理过去20年的发展历程。在过去的20年中，自然语言处理经历了不同的范式，最终进入Transformer体系结构时代。所有这些范式都将有助于用户更好地表达用于解决问题的单词和文档。分布式语义学使用向量表示法描述单词或文档的含义，通过一组文档查看分布式证据。向量表示法可以解决监督学习和非监督学习管道中的许多问题。对于语言生成问题，多年来n-gram语言模型一直被作为一种传统方法来使用。然而，这些传统方法存在许多缺点，本章将讨论这些缺点。

  本章将进一步讨论经典的深度学习体系结构，如循环神经网络(Recurrent NeuralNetwork,RNN)、前馈神经网络（Feed-Forward Neural Network,FFNN)和卷积神经网络(Convolutional Neural Network，CNN）。这些体系结构提高了自然语言处理的性能，并克服了传统方法的局限性。然而，这些模型也存在不同的问题。近年来，Transformer模型因其在所有自然语言处理任务(从文本分类到文本生成）中的有效性而获得了极大的关注。这主要原因在于Transformer有效地提高了多语言和多任务（以及单语言和单任务）自然语言处理的性能。这些贡献提高了自然语言处理中迁移学习(Transfer Learning，TL）的可行性，从而使模型可以用于不同的任务或不同的语言。

  本章从注意力机制开始，简要讨论Transforer体系结构，以及Transformer体系结构与之前自然语言处理模型的差异；在进行理论讨论的同时，展示流行的自然语言处理框架的实际应用例子；为了简洁起见，选择尽可能短小的介绍性代码示例。

在本章中，将介绍以下主题。

（1）自然语言处理到Transformer的演变历程。

（2）理解分布式语义。

（3）利用深度学习。

(4）Transfommer 体系结构概述。

（5）在迁移学习中结合使用Transformer。

1.1技术需求

本章使用Jupyter Notebook运行编码练习，要求Python版本至少为3.6.0，并需要使用pip install 命令安装以下软件包。

(1) sklearn;

（2）nltk（3.5.0版本）；

（3）genism（3.8.3版本）；

(4) fasttext;

（5）keras（不低于2.3.0版本）；

(6）Transformers（不低于4.0.0版本）。

可以通过以下GitHub链接获得本章中所有编码练习的Jupyter Notebook：

https://github. com/PacktPublishing/Advanced - Natural - LanguageProcessing - with -Transformers/tree/main/CH01。

ChatGPT红得发紫，强得让人类心悸。

但在它的背后，还隐藏着一位真正的大佬。

它的名字叫做——Transformer！

在大数据和人工智能时代，机器学习 (Machine Learning,ML) 和 深 度 学 习 (DeepLeamning,DL) 已经成为各行各业解决问题的有效方法，自然语言处理 (Natural Language Processing,NLP) 是深度学习的重要应用领域之一。在过去的二十年中，自然语言处理经历了翻天 覆地的变化：从传统的自然语言处理方法 (n-gram 语言模型、基于TF-IDF 的信息检索模型、独热编码文档术语矩阵等)到深度学习方法 (RNN、CNN、FFNN、LSTM 等),再到Transformer。

目前，基于Transformer 的语言模型主导了自然语言处理领域的研究，已经成为一种新的范式。 Transformer模型是谷歌公司于2017年推出的自然语言处理经典模型。在自然语言处理任务中，Transformer 的表现超越了RNN 和 CNN,只需编码器/解码器就能达到很好的效果，并且可以实现 高效的并行化。 Transformer 社区提供的大量预训练模型为自然语言处理的研究和生成部署提供了最前沿的基准。

本书涵盖了Transformer 深度学习体系结构的理论知识和实践指南。借助 Hugging Face 社区 的Transformer 库，本书循序渐进地提供了各种自然语言处理问题的解决方案。本书采用理论和实 践相结合的方式，系统地阐述了自然语言处理的相关理论和技术，详细介绍了使用Transformer 训练、微调和部署自然语言处理解决方案的流程。

通过本书的学习，读者可以利用Transformer 库探索最先进的自然语言处理解决方案；使用 Transformer体系结构训练任何语言模型；微调预训练的语言模型以执行多个下游任务；监控训练过 程、可视化解释Transformer 内部表示以及部署生产环境。

本书的读者对象主要包括深度学习研究人员、自然语言处理从业人员、教师和学生。本书要求读者具有良好的Python 基础知识以及机器学习和深度学习的基本知识。

AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！

在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。

本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。