精通Transformer

AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！

在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。

本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。

本书由Savas Yldmnm专业人士编写

萨瓦斯 ·伊尔蒂利姆 (Savas Yldmnm) 毕业于伊斯坦布尔技术大学计算机工程系，拥有自然 语言处理 (Natural Language Processing,NLP)专业的博士学位。目前，他是土耳其伊斯坦布尔 比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员， 具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件 和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全 面的咨询服务。

ChatGPT红得发紫，强得让人类心悸。

但在它的背后，还隐藏着一位真正的大佬。

它的名字叫做——Transformer！

在大数据和人工智能时代，机器学习 (Machine Learning,ML) 和 深 度 学 习 (DeepLeamning,DL) 已经成为各行各业解决问题的有效方法，自然语言处理 (Natural Language Processing,NLP) 是深度学习的重要应用领域之一。在过去的二十年中，自然语言处理经历了翻天 覆地的变化：从传统的自然语言处理方法 (n-gram 语言模型、基于TF-IDF 的信息检索模型、独热编码文档术语矩阵等)到深度学习方法 (RNN、CNN、FFNN、LSTM 等),再到Transformer。

目前，基于Transformer 的语言模型主导了自然语言处理领域的研究，已经成为一种新的范式。 Transformer模型是谷歌公司于2017年推出的自然语言处理经典模型。在自然语言处理任务中，Transformer 的表现超越了RNN 和 CNN,只需编码器/解码器就能达到很好的效果，并且可以实现 高效的并行化。 Transformer 社区提供的大量预训练模型为自然语言处理的研究和生成部署提供了最前沿的基准。

本书涵盖了Transformer 深度学习体系结构的理论知识和实践指南。借助 Hugging Face 社区 的Transformer 库，本书循序渐进地提供了各种自然语言处理问题的解决方案。本书采用理论和实 践相结合的方式，系统地阐述了自然语言处理的相关理论和技术，详细介绍了使用Transformer 训练、微调和部署自然语言处理解决方案的流程。

通过本书的学习，读者可以利用Transformer 库探索最先进的自然语言处理解决方案；使用 Transformer体系结构训练任何语言模型；微调预训练的语言模型以执行多个下游任务；监控训练过 程、可视化解释Transformer 内部表示以及部署生产环境。

本书的读者对象主要包括深度学习研究人员、自然语言处理从业人员、教师和学生。本书要求读者具有良好的Python 基础知识以及机器学习和深度学习的基本知识。