基于PyTorch的自然语言处理

图书标准信息

• 作者 Delip、Rao、Brian、McMahan 著
• 出版社 中国电力出版社
• 出版时间 2020-07
• 版次 1
• ISBN 9787519845988
• 定价 68.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 260页
• 字数 306千字

【内容简介】

探索计算图和监督学习范式。掌握PyTorch优化张量库的基础。概述传统的NLP概念和方法。学习构建神经网络的基本思想。检查前馈神经网络，例如多层感知器。使用嵌入方式来表示单词、句子、文档等。了解如何使用递归神经网络对序列数据建模。探索序列预测并生成sequence-to-sequence模型。学习用于构建NLP系统的设计模式。

 

【作者简介】

Delip Rao是Joostware的创始人，Joostware是一家总部位于旧金山的咨询公司，专门从事机器学习和NLP研究。他还是Fake News Challenge的联合创始人，该活动旨在将黑客和AI研究人员召集在一起，共同研究新闻中与事实相关的问题。Delip之前曾在Twitter和Amazon（Alexa）从事NLP研究和产品的工作。

 

 

 

Brian McMahan是Wells Fargo的NLP研究科学家。 在此之前，他曾在Joostware从事NLP研究。

 

【目录】

目录

 

前言 1

 

第1 章 概述 7

 

监督学习范式 9

 

随机梯度下降法  11

 

样本和目标编码  12

 

独热表示（one-hot）  12

 

词频表示（TF）  14

 

TF-IDF 表示  15

 

目标编码  16

 

计算图  17

 

PyTorch 基础  19

 

动态与静态计算图  19

 

安装PyTorch  20

 

创建张量  21

 

张量的类型和大小  23

 

张量操作  25

 

索引、切片、连接  27

 

张量和计算图  31

 

CUDA 张量  32

 

练习题  34

 

答案  35

 

小结  36

 

参考文献  36

 

第2 章 自然语言处理 37

 

语料库、词和类型  38

 

特征工程  40

 

一元，二元，三元,…，n 元模型  41

 

词形还原和词干提取  41

 

文档分类  42

 

单词分类: 词性标注  42

 

广度分类: 分块和命名实体识别  43

 

句子结构  44

 

词义与语义  45

 

小结  46

 

参考文献  47

 

第3 章 神经网络基础 49

 

感知器: 最简单的神经网络  49

 

激活函数  51

 

sigmoid  52

 

Tanh  53

 

ReLU  53

 

Softmax  54

 

损失函数  55

 

均方误差损失  56

 

分类交叉熵损失  56

 

交叉熵损失 58

 

深入监督训练  59

 

构造样例数据  59

 

综合起来: 基于梯度的监督学习  62

 

辅助训练的概念  63

 

正确度量模型性能：评估指标  64

 

正确度量模型性能：分割数据集  64

 

知道何时停止训练  65

 

找到合适的超参数  65

 

规范化  66

 

案例: 餐馆评论分类  67

 

Yelp 评论数据集  68

 

理解PyTorch 的数据集表示  70

 

词汇表(Vocabulary)、矢量化器(Vectorizer) 和数据转换器(DataLoader) 73

 

一种感知器分类器  79

 

训练程序  80

 

评估、推断和检查  86

 

测试数据评估  87

 

小结  90

 

参考文献  91

 

第4 章 用于自然语言处理的前馈网络 93

 

多层感知器  94

 

一个简单的例子: 二分类  96

 

在PyTorch 中实现MLP  98

 

示例：用MLP 进行姓氏分类  102

 

姓氏数据集 103

 

Vocabulary、Vectorizer 和DataLoader  104

 

姓氏分类器模型  106

 

训练程序  108

 

模型评估及预测  110

 

正则化MLP: 权重正则化和结构正则化( 或Dropout) 112

 

卷积神经网络  114

 

CNN 超参数  115

 

在PyTorch 中实现CNN  120

 

示例：使用CNN 对姓氏进行分类  123

 

姓氏数据集类  124

 

词汇表、矢量化程序和数据转换器  125

 

用卷积网络重新实现姓氏分类器  126

 

培训程序  128

 

模型评估及预测  129

 

CNN 中的杂项主题  130

 

池化  130

 

批规范化(BatchNorm)  131

 

网络中的网络连接(1x1 卷积)  131

 

残差连接/ 残差块  132

 

小结  133

 

参考文献  134

 

第5 章 嵌入单词和类型  135

 

为什么学习嵌入?  136

 

嵌入的效率 137

 

学习单词嵌入的方法  138

 

预置字的实际使用  138

 

示例：连续词袋模型的嵌入  145

 

Frankenstein 数据集  146

 

Vocabulary、Vectorizer 和DataLoader  148

 

CBOWClassifier 模型  149

 

训练程序  150

 

模型评估及预测  151

 

示例：使用预先训练的嵌入进行文档分类  151

 

新闻数据集 152

 

Vocabulary、Vectorizer 和DataLoader  153

 

NewsClassifier 模型  156

 

训练程序  159

 

模型评估及预测  160

 

小结  161

 

参考文献  162

 

第6 章 自然语言处理的序列建模  165

 

递归神经网络简介  166

 

实现Elman RNN  169

 

示例：使用字符RNN 对姓氏国籍进行分类  171

 

SurnameDataset 类  171

 

矢量化数据结构  173

 

姓氏分类器模型  174

 

训练程序和结果  177

 

小结  178

 

参考文献  178

 

第7 章 自然语言处理的中级序列建模  179

 

普通RNN（或Elman RNN）的问题  180

 

用门控方法解决普通RNN 存在的问题  181

 

示例：用于生成姓氏的字符RNN  183

 

SurnameDataset 类  183

 

矢量化数据结构  185

 

从ElmanRNN 到GRU  187

 

模型1：无条件的姓氏生成模型  187

 

模型2：条件姓氏生成模型  189

 

训练程序和结果  190

 

训练序列模型的技巧和窍门  196

 

参考文献  198

 

第8 章 自然语言处理的高级序列建模  199

 

序列到序列模型，编码器- 解码器模型和条件生成  199

 

从序列中捕获更多信息：双向递归模型  203

 

从序列中捕获更多信息：注意力  205

 

深度神经网络中的注意力  207

 

评估序列生成模型  209

 

示例：神经机器翻译  211

 

机器翻译数据集  212

 

NMT 的矢量化管道  213

 

NMT 模型中的编码和解码  218

 

训练程序和结果  229

 

小结  231

 

参考文献  232

 

第9 章 经典，前沿与下一步发展  235

 

到目前为止，我们学到了什么？  235

 

NLP 中的永恒主题  236

 

对话与交互系统  236

 

话语  237

 

信息提取与文本挖掘  239

 

文件分析与检索  239

 

NLP 前沿  239

 

生产NLP 系统的设计模式  241

 

接下来呢？  246

 

参考文献  247

 

作者介绍  249

 

封面介绍  249