自然语言处理迁移学习实战

图书标准信息

• 作者 保罗·阿祖雷（加纳）
• 出版社 人民邮电出版社
• 出版时间 2023-07
• 版次 1
• ISBN 9787115615718
• 定价 79.80元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 207页
• 字数 276千字

【内容简介】

迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理（NLP）、语音识别等领域都得到广泛应用。本书是迁移学习技术的实用入门图书，能够带领读者深入实践自然语言处理模型。首先，本书回顾了机器学习中的关键概念，并介绍了机器学习的发展历史，以及NLP迁移学习的进展；其次，深入探讨了一些重要的NLP迁移学习方法—NLP浅层迁移学习和NLP深度迁移学习；最后，涵盖NLP迁移学习领域中重要的子领域—以Transformer作为关键功能的深度迁移学习技术。读者可以动手将现有的先进模型应用于现实世界的应用程序，包括垃圾电子邮件分类器、IMDb电影评论情感分类器、自动事实检查器、问答系统和翻译系统等。
  本书文字简洁、论述精辟、层次清晰，既适合拥有NLP基础的机器学习和数据科学相关的开发人员阅读，也适合作为高等院校计算机及相关专业的学生参考用书。

【作者简介】

Paul Azunre拥有麻省理工学院计算机科学博士学位，曾担任美国国防部高级研究计划局（DARPA）的多个研究项目的主任研究员。由他创建的Algorine公司致力于推进AI/ML技术并让这些技术产生重大社会影响。Paul还参与创建了Ghana NLP开源社区。该社区专注于NLP技术的应用，尤其是对加纳语和其他低资源语言进行迁移学习。

【目录】

第 一部分 导论

第 1章 迁移学习简介 3

1.1 NLP领域典型任务概述 5

1.2 理解人工智能背景下的NLP技术 6

1.2.1 人工智能 7

1.2.2 机器学习 7

1.2.3 自然语言处理 11

1.3 NLP发展简史 12

1.3.1 NLP简介 12

1.3.2 迁移学习的进展 14

1.4 计算机视觉中的迁移学习 16

1.4.1 概述 16

1.4.2 ImageNet预训练模型 17

1.4.3 ImageNet预训练模型的微调 18

1.5 NLP迁移学习成为一个令人兴奋的研究课题的原因 19

小结 20

第 2章 从头开始：数据预处理 21

2.1 垃圾电子邮件分类任务中示例数据的预处理 23

2.1.1 加载并检视Enron电子邮件语料库 24

2.1.2 加载并检视欺诈电子邮件数据集 26

2.1.3 将电子邮件文本转换为数值 30

2.2 电影评论情感分类任务中示例数据的预处理 32

2.3 广义线性模型 35

2.3.1 逻辑斯谛回归 36

2.3.2 支持向量机 38

小结 38

第3章 从头开始：基准测试和优化 41

3.1 基于决策树的模型 41

3.1.1 随机森林 42

3.1.2 梯度提升机 42

3.2 神经网络模型 47

3.2.1 语言模型嵌入 47

3.2.2 BERT模型简介 52

3.3 效果优化 56

3.3.1 手动超参调优 56

3.3.2 系统化超参调优 57

小结 58

第二部分 基于循环神经网络的浅层迁移学习和深度迁移学习

第4章 NLP浅层迁移学习 63

4.1 基于预训练词嵌入的半监督学习 65

4.2 基于高级表示的半监督学习 69

4.3 多任务学习 71

4.3.1 问题的提出以及浅层神经网络单任务基线 72

4.3.2 双任务实验 74

4.4 领域适配 75

小结 78

第5章 基于循环神经网络的深度迁移学习实验的数据预处理 79

5.1 表格分类数据的预处理 81

5.1.1 获取并检视表格数据 82

5.1.2 预处理表格数据 85

5.1.3 对预处理数据进行数字编码 87

5.2 预处理示例数据的事实核查 87

5.2.1 特殊问题考量 88

5.2.2 加载并检视事实核查数据 88

小结 89

第6章 基于循环神经网络的NLP深度迁移学习 91

6.1 SIMOn 91

6.1.1 通用神经网络结构概述 92

6.1.2 表格数据建模 93

6.1.3 SIMOn在表格数据分类中的应用 93

6.2 ELMo 100

6.2.1 ELMo双向语言建模 101

6.2.2 ELMo在虚假新闻检测任务中的应用 102

6.3 ULMFiT 104

6.3.1 以语言模型为目标任务的微调 104

6.3.2 以分类为目标任务的微调 105

小结 105

第三部分 基于Transformer的深度迁移学习以及适配策略

第7章 基于Transformer的深度迁移学习和GPT 109

7.1 Transformer 110

7.1.1 transformers库简介与注意力可视化 113

7.1.2 自注意力 115

7.1.3 残差连接、编码器-解码器注意力和位置编码 117

7.1.4 预训练的编码器-解码器在机器翻译任务中的应用 120

7.2 GPT 121

7.2.1 模型结构概述 122

7.2.2 Transformer pipeline及其在文本生成任务中的应用 124

7.2.3 聊天机器人任务中的应用 126

小结 128

第8章 基于BERT和mBERT的NLP深度迁移学习 129

8.1 BERT 130

8.1.1 BERT模型结构 131

8.1.2 在自动问答任务中的应用 134

8.1.3 在空白填写和后续句预测任务中的应用 136

8.2 mBERT的跨语言学习 138

8.2.1 JW300数据集概述 139

8.2.2 用预训练分词器将mBERT迁移到Twi单语言数据 139

8.2.3 根据Twi单语言数据从头训练mBERT模型和分词器 142

小结 143

第9章 ULMFiT与知识蒸馏的适配策略 145

9.1 逐步解冻和差别式微调 146

9.1.1 预训练语言模型微调 147

9.1.2 以分类为目标任务的微调 149

9.2 知识蒸馏 151

小结 156

第 10章 ALBERT、适配器和多任务适配策略 157

10.1 嵌入因子分解与跨层参数共享 158

10.2 多任务微调 162

10.2.1 GLUE数据集 163

10.2.2 GLUE单任务微调 164

10.2.3 序列化适配 167

10.3 适配器 169

小结 171

第 11章 总结 173

11.1 关键概念概述 174

11.2 其他新兴研究趋势 179

11.2.1 RoBERTa 180

11.2.2 GPT-3 180

11.2.3 XLNet 182

11.2.4 BigBird 182

11.2.5 Longformer 182

11.2.6 Reformer 183

11.2.7 T5 183

11.2.8 BART 184

11.2.9 XLM 185

11.2.10 TAPAS 185

11.3 NLP迁移学习的发展方向 186

11.4 伦理和环境因素 187

11.5 最新进展 189

11.5.1 Kaggle和Zindi比赛 189

11.5.2 arXiv 190

11.5.3 新闻与社交媒体 190

11.6 写在最后 191

附录A Kaggle入门 193

A.1 通过Kaggle Kernel免费使用GPU 193

A.2 竞赛、讨论区和博客 198

附录B 深度学习的基础工具简介 201

B.1 随机梯度下降 202

B.2 TensorFlow 203

B.3 PyTorch 206

B.4 Keras、fast.ai库和Hugging Face的transformers库 207