HuggingFace自然语言处理详解——基于BERT中文模型的任务实战

图书标准信息

• 作者 李福林
• 出版社 清华大学出版社
• 出版时间 2023-04
• 版次 1
• ISBN 9787302628538
• 定价 69.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 240页
• 字数 338.000千字

【内容简介】

本书综合性讲解HuggingFace社区提供的工具集datasets和transformers，书中包括基础的工具集的用例演示，也包括具体的项目实战，以及预训练模型的底层设计思路和实现原理的介绍。通过本书的学习，读者可以快速掌握HuggingFace工具集的使用方法，掌握自然语言处理项目的一般研发流程，并能研发自己的自然语言处理项目。 本书共14章，分为工具集基础用例演示篇（第1~6章），详细讲解HuggingFace工具集的基本使用方法。中文项目实战篇（第7~12章），通过几个实战项目演示使用HuggingFace工具集研发自然语言处理项目的一般流程。预训练模型底层原理篇（13~14章），详细阐述了预训练模型的设计思路和计算原理。 本书将使用简单浅显的语言，带领读者快速地了解HuggingFace工具集的使用方法。通过本书中实战项目的学习，读者可以掌握一般的自然语言处理项目的研发流程。通过本书中预训练模型底层原理的学习，能够让读者知其然也知其所以然，做到融会贯通。 本书适合有PyTorch编程基础的读者阅读，也适合作为对自然语言处理感兴趣的读者的参考图书。

【作者简介】

李福林， 一个在it领域摸爬滚打十多年的老程序员、培训师，精通多种it技术，具有软件设计师职称。分享了多部ai技术教程，受到了读者的广泛赞誉。现任职于阳狮集团，担任算法工程师职位。风格追求化繁为简，务实而不空谈，课程设计思路清晰，课程演绎说理透彻，对ai领域技术有自己独到的见解。

【目录】

工具集基础用例演示篇

第1章  HuggingFace简介 3

第2章  使用编码工具 6

2.1  编码工具简介 6

2.2  编码工具工作流示意 6

2.3  使用编码工具 8

2.4  小结 15

第3章  使用数据集工具 16

3.1  数据集工具介绍 16

3.2  使用数据集工具 17

3.2.1  数据集加载和保存 17

3.2.2  数据集基本操作 19

3.2.3  将数据集保存为其他格式 24

3.3  小结 25

第4章  使用评价指标工具 26

4.1  评价指标工具介绍 26

4.2  使用评价指标工具 26

4.3  小结 27

第5章  使用管道工具 28

5.1  管道工具介绍 28

5.2  使用管道工具 28

5.2.1  常见任务演示 28

5.2.2  替换模型执行任务 34

5.3  小结 35

第6章  使用训练工具 36

6.1  训练工具介绍 36

6.2  使用训练工具 36

6.2.1  准备数据集 36

6.2.2  定义模型和训练工具 39

6.2.3  训练和测试 43

6.3  小结 47

中文项目实战篇 

第7章  实战任务1：中文情感分类 51

7.1  任务简介 51

7.2  数据集介绍 51

7.3  模型架构 52

7.4  实现代码 53

7.4.1  准备数据集 53

7.4.2  定义模型 58

7.4.3  训练和测试 60

7.5  小结 64

第8章  实战任务2：中文填空 65

8.1  任务简介 65

8.2  数据集介绍 65

8.3  模型架构 66

8.4  实现代码 67

8.4.1  准备数据集 67

8.4.2  定义模型 73

8.4.3  训练和测试 76

8.5  小结 79

第9章  实战任务3：中文句子关系推断 81

9.1  任务简介 81

9.2  数据集介绍 81

9.3  模型架构 82

9.4  实现代码 83

9.4.1  准备数据集 83

9.4.2  定义模型 88

9.4.3  训练和测试 90

9.5  小结 92

第10章  实战任务4：中文命名实体识别 93

10.1  任务简介 93

10.2  数据集介绍 93

10.3  模型架构 95

10.4  实现代码 96

10.4.1  准备数据集 96

10.4.2  定义模型 102

10.4.3  训练和测试 105

10.5  小结 115

第11章  使用TensorFlow训练 116

11.1  任务简介 116

11.2  数据集介绍 116

11.3  模型架构 116

11.4  实现代码 117

11.4.1  准备数据集 117

11.4.2  定义模型 121

11.4.3  训练和测试 123

11.5  小结 132

第12章  使用自动模型 133

12.1  任务简介 133

12.2  数据集介绍 134

12.3  模型架构 134

12.4  实现代码 135

12.4.1  准备数据集 135

12.4.2  加载自动模型 137

12.4.3  训练和测试 138

12.5  深入自动模型源代码 141

12.6  小结 147

预训练模型底层原理篇

第13章  手动实现Transformer 151

13.1  Transformer架构 151

13.2  注意力 152

13.2.1  为什么需要注意力 152

13.2.2  注意力的计算过程 153

13.2.3  注意力计算的矩阵形式 155

13.2.4  多头注意力 156

13.3  位置编码 157

13.3.1  为什么需要位置编码 157

13.3.2  位置编码计算过程 157

13.4  MASK 159

13.4.1  PAD MASK 159

13.4.2  上三角MASK 160

13.5  Transformer计算流程 161

13.5.1  编码器 161

13.5.2  整体计算流程 162

13.5.3  解码器解码过程详细讲解 163

13.5.4  总体架构 164

13.6  简单翻译任务 165

13.6.1  任务介绍 165

13.6.2  定义数据集 166

13.6.3  定义MASK函数 169

13.6.4  定义Transformer工具子层 171

13.6.5  定义Transformer模型 176

13.6.6  训练和测试 180

13.7  两数相加任务 184

13.7.1  任务介绍 184

13.7.2  实现代码 185

13.7.3  训练和测试 186

13.8  小结 189

第14章  手动实现BERT 190

14.1  BERT架构 190

14.2  数据集处理 191

14.2.1  数据处理过程概述 191

14.2.2  数据集介绍 193

14.2.3  数据处理实现代码 193

14.3  PyTorch提供的Transformer工具层介绍 201

14.4  手动实现BERT模型 211

14.4.1  准备数据集 211

14.4.2  定义辅助函数 215

14.4.3  定义BERT模型 217

14.4.4  训练和测试 219

14.5  小结 226

　　

VI

VII