精通Transformer:从零开始构建最先进的NLP模型

图书标准信息

• 作者 [伊朗]梅萨姆·阿斯加里-切纳格卢 著；江红 余青松 余靖 译；[土耳其]萨瓦斯·伊尔蒂利姆
• 出版社 北京理工大学出版社
• 出版时间 2023-04
• 版次 1
• ISBN 9787576322279
• 定价 99.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 280页
• 字数 388千字

【内容简介】

AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！
  在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。
  本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。

【作者简介】

本书由Savas Yldmnm专业人士编写

萨瓦斯 ·伊尔蒂利姆 (Savas Yldmnm) 毕业于伊斯坦布尔技术大学计算机工程系，拥有自然 语言处理 (Natural  Language  Processing,NLP)专业的博士学位。目前，他是土耳其伊斯坦布尔  比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员， 具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件  和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全  面的咨询服务。

【目录】

部分 导论：相关领域的近期新发展概述、环境安装和hello world应用程序

章 从词袋到transformer

1.1 技术需求

1.2 自然语言处理到transformer的演变历程

1.3 理解分布式语义

1.3.1 词袋技术的实现

1.3.2 克服维度问题

1.3.3 语言建模与生成

1.4 利用深度学

1.4.1 学单词嵌入

1.4.2 循环神经网络概述

1.4.3 长短期记忆网络和门控循环单元

1.4.4 卷积神经网络概述

1.5 transformer体系结构概述

1.5.1 注意力机制

1.5.2 多头注意力机制

1.6 在迁移学中结合使用transformer

1.7 本章小结

第2章 transformer的实践作入门

2.1 技术需求

2.2 使用anaconda安装transformer

2.2.1 在linux作系统中安装anaconda

2.2.2 在windows作系统中安装anaconda

2.2.3 在macos作系统中安装anaconda

2.2.4 安装tensorflow、pytorch和transformer

2.2.5 使用google colab安装环境

2.3 使用语言模型和分词器

2.4 使用社区提供的模型

2.5 使用基准测试和数据集

2.5.1 重要的基准测试

2.5.2 使用应用程序编程接访问数据集

2.6 速度和内存的基准测试

2.7 本章小结

第2部分 transformer模型：从自编码模型到自回归模型

第3章 自编码语言模型

3.1 技术需求

3.2 bert：一种自编码语言模型

3.2.1 bert语言模型预训练任务

3.2.2 对bert语言模型的深入研究

3.3 适用于任何语言的自编码语言模型训练

3.4 与社区共享模型

3.5 了解其他自编码模型

3.5.1 albert模型概述

3.5.2 roberta模型

3.5.3 electra模型

3.6 使用分词算法

3.6.1 字节对编码

3.6.2 wordpiece分词算法

3.6.3 sentencepiece分词算法

3.6.4 tokenizers库

3.7 本章小结

第4章 自回归和其他语言模型

4.1 技术需求

4.2 使用自回归语言模型

4.2.1 生成式预训练模型的介绍与训练

4.2.2 transformer-xl模型

4.2.3 xl模型

4.3 使用序列到序列模型

4.3.1 t5模型

4.3.2 bart概述

4.4 自回归语言模型训练

4.5 使用自回归模型的自然语言生成

4.6 使用simpletransformers进行结和机器翻译微调

4.7 本章小结

第5章 微调文本分类语言模型

5.1 技术需求

5.2 文本分类导论

5.3 微调bert模型以适用于单句二元分类

5.4 使用原生pytorch训练分类模型

5.5 使用自定义数据集对多类别分类bert模型进行微调

5.6 微调bert模型以适用于句子对回归

5.7 使用run_glue.py对模型进行微调

5.8 本章小结

第6章 微调标记分类语言模型

6.1 技术需求

6.2 标记分类概述

6.2.1 理解命名实体识别

6.2.2 理解词标注

6.2.3 理解问题回答系统

6.3 微调语言模型以适用于命名实体识别任务

6.4 基于标记分类的问题回答系统

6.5 本章小结

第7章 文本表示

7.1 技术需求

7.2 句子嵌入概述

7.2.1 交与双向

7.2.2 句子相似模型的基准测试

7.2.3 使用bart模型进行零样本学

7.3 使用flair进行语义相似实验

7.3.1 均词嵌入

7.3.2 基于循环神经网络的文档嵌入

7.3.3 基于transformer的bert嵌入

7.3.4 sentence-bert嵌入

7.4 基于sentence-bert的文本聚类

7.4.1 基于paraphrase-distilroberta-base-v1的主题建模

……