赠ChatGPT中文范例的自然语言处理入门书

图书标准信息

• 作者 陈佳伟 译；[美]c原圣人(Masato Hagiwara)著 叶伟民；叶孟良
• 出版社 清华大学出版社
• 出版时间 2023-09
• 版次 1
• ISBN 9787302639602
• 定价 98.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸

【内容简介】

虽然训练计算机以解释和生成语音和文本这个挑战很大，但是它在减少劳动力和改进人机交互方面所带来的回报也很大！自然语言处理（NLP）领域目前正在快速发展，诞生了大量新的工具和实践。这本独特的书可以给读者带来一系列可以应用于机器翻译、语音助手、文本生成等领域的创新NLP技术。 　　《赠ChatGPT中文范例的自然语言处理入门书》将展示如何构建实用的、可以改变人类和计算机协同工作方式的NLP应用程序。本书通过对每个核心NLP主题进行清晰、直观的解释和指导，帮助你创建许多有趣的应用程序，包括情感分析器和聊天机器人。在该过程中，你将使用Python和开源库(AllenNLP和Hugging Face Transformers)加快开发过程。● 设计、开发和部署实用的NLP应用程序 ● 构建命名实体标注器 ● 构建机器翻译系统 ● 构建语言生成系统和聊天机器人

【作者简介】

Masato  Hagiwara 于 2009 年获得名古屋大学计算机科学博士学位。他曾在 Google 和 Microsoft 研究院实习，并在北京多邻国科技有限公司担任过高级机器学习工程师。他现在经营自己的研究和咨询公司。

【目录】

第Ⅰ部分  基础

第1章　自然语言处理简介 3

1.1  什么是自然语言处理 4

1.1.1  什么是NLP 4

1.1.2  什么不是NLP 5

1.1.3  AI、机器学习、深度学习和

NLP之间的关系 7

1.1.4  为什么学习NLP 9

1.2  典型的NLP应用和任务 11

1.2.1  NLP应用 11

1.2.2  NLP任务 13

1.3  构建NLP应用 18

1.3.1  NLP应用的开发 18

1.3.2  NLP应用的结构 21

1.4  本章小结 22

第2章  你的第一个NLP应用 23

2.1  情感分析简介 23

2.2  NLP的数据集 24

2.2.1  什么是数据集 24

2.2.2  斯坦福情感树库 25

2.2.3  训练集、验证集和测试集 26

2.2.4  使用AllenNLP加载SST

数据集 28

2.3  使用词嵌入 29

2.3.1  什么是词嵌入 30

2.3.2  如何在情感分析中使用词嵌入 31

2.4  神经网络 32

2.4.1  什么是神经网络 32

2.4.2  循环神经网络和线性层 33

2.4.3  情感分析的神经网络架构 34

2.5  损失函数及优化器 36

2.6  训练你自己的分类器 38

2.6.1  批量处理 38

2.6.2  把所有组件整合在一起 39

2.7  评估分类器 39

2.8  部署应用 40

2.8.1  进行预测 40

2.8.2  通过Web提供预测服务 41

2.9  本章小结 42

第3章  词嵌入与文档嵌入 43

3.1  嵌入简介 43

3.1.1  什么是嵌入 43

3.1.2  为什么嵌入很重要 44

3.2  语言的构建块：字符、单词

和短语 45

3.2.1  字符 45

3.2.2  单词、词元、语素和短语 46

3.2.3  n-gram 47

3.3  词元化、词干提取和词形

还原 47

3.3.1  词元化 47

3.3.2  词干提取 49

3.3.3  词形还原 49

3.4  Skip-gram和CBOW 50

3.4.1  词嵌入的数字从何而来 50

3.4.2  通过单词相关性推导得出 51

3.4.3  线性层 52

3.4.4  softmax 54

3.4.5  使用AllenNLP实现Skip-gram 55

3.4.6  CBOW模型 59

3.5  GloVe 60

3.5.1  GloVe如何学习词嵌入 61

3.5.2  使用预训练GloVe向量 62

3.6  fastText 64

3.6.1  使用子词信息 64

3.6.2  使用fastText工具包 66

3.7  文档级嵌入 66

3.8  对嵌入可视化 69

3.9  本章小结 71

第4章  句子分类 73

4.1  循环神经网络(RNN) 73

4.1.1  处理可变长度的输入 73

4.1.2  RNN抽象结构 75

4.1.3  Simple RNN和非线性函数 76

4.2  长短期记忆(LSTM)和门控

循环单元(GRU) 79

4.2.1  梯度消失问题 79

4.2.2  长短期记忆 81

4.2.3  门控循环单元 83

4.3  准确率、查准率、查全率和

F-度量 84

4.3.1  准确率 84

4.3.2  查准率和查全率 85

4.3.3  F-度量 86

4.4  构建AllenNLP训练流水线 86

4.4.1  实例和字段 87

4.4.2  词表和词元索引器 88

4.4.3  词元嵌入和RNN 89

4.4.4  构建个人模型 90

4.4.5  把所有东西整合在一起 91

4.5  配置AllenNLP训练流水线 92

4.6  实战示例：语言检测 94

4.6.1  使用字符作为输入 95

4.6.2  创建数据集读取器 95

4.6.3  构建训练流水线 97

4.6.4  用新的实例预测 99

4.7  本章小结 100

第5章  序列标注和语言模型 101

5.1  序列标注简介 101

5.1.1  什么是序列标注 101

5.1.2  使用RNN编码序列 103

5.1.3  实现AllenNLP的Seq2Seq

编码器 105

5.2  构建词性标注器 106

5.2.1  读取数据集 106

5.2.2  定义模型和损失值 107

5.2.3  构建训练流水线 109

5.3  多层和双向RNN 110

5.3.1  多层RNN 110

5.3.2  双向RNN 112

5.4  命名实体识别 114

5.4.1  什么是命名实体识别 114

5.4.2  标注span 115

5.4.3  实现命名实体识别器 115

5.5　语言模型 117

5.5.1　什么是语言模型 117

5.5.2　为什么语言模型很有用 118

5.5.3　训练RNN语言模型 119

5.6　使用RNN生成文本 120

5.6.1　向RNN提供字符 120

5.6.2　构建语言模型 121

5.6.3  使用语言模型生成文本 123

5.7  本章小结 125

第Ⅱ部分  高级模型

第6章  序列到序列(Seq2Seq)

模型 129

6.1  介绍序列到序列模型 129

6.2  机器翻译入门 131

6.3  构建你的第一个翻译器 134

6.3.1  准备数据集 134

6.3.2  训练模型 137

6.3.3  运行翻译器 139

6.4  Seq2Seq模型的工作原理 140

6.4.1  编码器 140

6.4.2  解码器 142

6.4.3  贪婪解码算法 144

6.4.4  束搜索解码 147

6.5  评估翻译系统 148

6.5.1  人工评估 148

6.5.2  自动评估 149

6.6  实战示例：构建聊天

机器人 150

6.6.1  对话系统简介 150

6.6.2  准备数据集 151

6.6.3  训练和运行聊天机器人 152

6.6.4  下一步 154

6.7  本章小结 155

第7章  卷积神经网络 157

7.1  卷积神经网络(CNN)简介 157

7.1.1  RNN简介及其缺点 157

7.1.2  使用模式匹配进行句子分类 159

7.1.3  卷积神经网络 159

7.2  卷积层 160

7.2.1  使用过滤器匹配模式 160

7.2.2  整流线性单元(ReLU) 162

7.2.3  组合分数 163

7.3  汇聚层 164

7.4  实战示例：文本分类 165

7.4.1  回顾文本分类 166

7.4.2  使用CNN编码器

(CnnEncoder) 166

7.4.3  训练和运行分类器 167

7.5  本章小结 168

第8章  注意力机制和Transformer

模型 169

8.1  什么是注意力机制 169

8.1.1  普通Seq2Seq模型的局限性 170

8.1.2  注意力机制 170

8.2  用于Seq2Seq模型的注意力

机制 172

8.2.1  编码器-解码器注意力机制 172

8.2.2  通过机器翻译比较带注意力

和不带注意力的Seq2Seq

模型 173

8.3  Transformer模型和自注意

力机制 175

8.3.1  自注意力机制 176

8.3.2  Transformer模型 179

8.3.3  实验 181

8.4  基于Transformer模型的

语言模型 183

8.4.1  基于Transformer的语言

模型 184

8.4.2  Transformer-XL 185

8.4.3  GPT-2 188

8.4.4  XLM 190

8.5  实战示例：拼写检查器 191

8.5.1  像机器翻译一样看待拼写

检查器 191

8.5.2  训练拼写检查器 193

8.5.3  改进拼写检查器 195

8.6  本章小结 198

第9章  使用预训练语言模型进行

迁移学习 199

9.1  迁移学习 199

9.1.1  传统的机器学习 199

9.1.2  词嵌入 200

9.1.3  什么是迁移学习 201

9.2  BERT 202

9.2.1  词嵌入的局限性 202

9.2.2  自监督学习 204

9.2.3  预训练BERT 204

9.2.4  适应BERT 206

9.3  实战示例1：使用BERT

进行情感分析 208

9.3.1  对输入词元化 209

9.3.2  构建模型 211

9.3.3  训练模型 212

9.4  其他预训练语言模型 215

9.4.1  ELMo 215

9.4.2  XLNet 216

9.4.3  RoBERTa 217

9.4.4  DistilBERT 218

9.4.5  ALBERT 219

9.5  实战示例2：使用BERT

进行自然语言推理 221

9.5.1  什么是自然语言推理 221

9.5.2  使用BERT进行句子对分类 222

9.5.3  使用AllenNLP构建Transformer

模型 224

9.6  本章小结 228

第Ⅲ部分  投入生产

第10章  开发NLP应用的

最佳实践 233

10.1  批量处理实例 233

10.1.1  填充 233

10.1.2  排序 235

10.1.3  掩码 236

10.2  神经网络模型中的词元化 238

10.2.1  未知词 238

10.2.2  字符模型 239

10.2.3  子词模型 240

10.3  避免过拟合 242

10.3.1  正则化 242

10.3.2  早停法 244

10.3.3  交叉验证 245

10.4  处理不平衡的数据集 246

10.4.1  使用恰当的评估指标 246

10.4.2  上采样与下采样 247

10.4.3  损失加权 248

10.5  超参数调优 249

10.5.1  超参数的例子 249

10.5.2  网格搜索与随机搜索 250

10.5.3  使用Optuna调优 251

10.6  本章小结 253

第11章  部署和应用NLP应用 255

11.1  NLP应用架构 256

11.1.1  全面考虑后再开始

机器学习 256

11.1.2  按实时性选择正确的应用

形式 257

11.1.3  项目结构 258

11.1.4  版本控制 258

11.2  部署NLP模型 260

11.2.1  测试 260

11.2.2  训练-服务偏差 261

11.2.3  监控 262

11.2.4  使用GPU 263

11.3　实战示例：对外提供服务

和部署NLP应用 265

11.3.1  通过TorchServe对外

提供服务 265

11.3.2  部署模型 269

11.4  解释和可视化模型预测 271

11.5  展望 274

11.6  本章小结 275