Python自然语言理解:自然语言理解系统开发与应用实战9787111758389

黛博拉·达尔（Deborah A.Dahl）是 Conversational Technologies 公司的负责人，在自

然语言理解技术领域拥有超过 30 年的经验。她为科研机构、商业机构和政府部门开发了多个自然语言处理系统，其中包括为 NASA 开发的自然语言理解系统以及为安卓系统开发的语音和自然语言组件。多年来，黛博拉为众多客户提供了自然语言处理方面的咨询服务，积极参与了 20 多个自然语言处理方面的研讨会，并撰写了 70 多篇技术论文。本书是黛博拉在自然语言理解方面撰写的第四本著作。黛博拉在明尼苏达大学获得了语言学博士学位，并曾在宾夕法尼亚大学从事博士后研究，研究方向为认知科学。

前言

审校者简介

第一部分　自然语言理解技术入门

第 1 章　自然语言理解方法与应用程序 2

1.1 自然语言基础知识 3

1.2 自然语言与字符编码 3

1.3 对话式人工智能与自然语言理解 4

1.4 交互式应用程序—聊天机器人与语音助手 5

1.4.1 通用语音助手 6

1.4.2 企业助手 6

1.4.3 翻译 7

1.4.4 教育 7

1.5 非交互式应用程序 8

1.5.1 分类 9

1.5.2 情感分析 9

1.5.3 垃圾邮件与网络钓鱼检测 9

1.5.4 虚假新闻检测 10

1.5.5 文档检索 10

1.5.6 分析 10

1.5.7 信息抽取 11

1.5.8 机器翻译 11

1.5.9 其他应用程序 11

1.5.10 应用程序类型总结 12

1.6 Python 自然语言处理展望 12

1.7 本章小结 13

第 2 章　识别自然语言理解问题 14

2.1 识别适合当前技术水平的问题 15

2.1.1 自然语言理解难以解决的问题 17

2.1.2 不需要自然语言理解的应用程序 21

2.1.3 训练数据 24

2.1.4 应用数据 25

2.2 开发成本 25

2.3 维护成本 26

2.4 决定是否使用自然语言理解的流程 27

2.5 本章小结 28

第二部分　自然语言理解系统开发与测试

第 3 章　自然语言理解方法 30

3.1 基于规则的方法 30

3.1.1 词与词典 31

3.1.2 词性标注 31

3.1.3 语法 32

3.1.4 句法分析 32

3.1.5 语义分析 32

3.1.6 语用分析 33

3.1.7 pipeline 33

3.2 传统的机器学习算法 34

3.2.1 文档表示 35

3.2.2 文档分类 35

3.3 深度学习方法 36

3.4 预训练模型 37

3.5 选择自然语言理解方法需要考虑的因素 37

3.6 本章小结 38

第 4 章　用于自然语言理解的Python 库与工具 39

4.1 技术要求 40

4.2 安装 Python 40

4.3 安装 JupyterLab 和 GitHub 41

4.3.1 JupyterLab 41

4.3.2 GitHub 42

4.4 常用的自然语言处理Python 库 42

4.4.1 NLTK 43

4.4.2 spaCy 45

4.4.3 Keras 47

4.4.4 其他自然语言处理Python 库 47

4.4.5 自然语言处理 Python库的选择 47

4.4.6 其他有用的 Python 库 48

4.5 一个示例 49

4.5.1 设置 JupyterLab 49

4.5.2 处理一句话 51

4.5.3 查看语料库属性 52

4.6 本章小结 56

第 5 章　数据收集与数据预处理 57

5.1 数据收集与数据标注 57

5.1.1 收集应用程序所需数据 58

5.1.2 收集科研项目所需数据 59

5.1.3 元数据 60

5.1.4 常用语料库 61

5.2 确保数据的隐私性并遵守道德准则 62

5.2.1 确保训练数据的隐私 63

5.2.2 确保运行时数据的隐私 63

5.2.3 人道地对待实验参与者 63

5.2.4 人道地对待众包工作者 63

5.3 数据预处理 64

5.3.1 删除非文本数据 64

5.3.2 文本正则化 66

5.3.3 拼写错误校正 72

5.4 针对具体应用程序的数据预处理 74

5.4.1 用类 token 替换单词和数字 74

5.4.2 修改数据 75

5.4.3 特定领域的停用词 75

5.4.4 删除 HTML 标记 75

5.4.5 数据不平衡问题 75

5.4.6 文本预处理 pipeline 75

5.5 选择合适的数据预处理方法 76

5.6 本章小结 77

第 6 章　数据探索与数据可视化 78

6.1 为什么要进行数据可视化 78

6.2 数据探索 80

6.2.1 频率分布 80

6.2.2 文档相似性度量 93

6.3 数据可视化注意事项 99

6.4 基于数据可视化信息对后续数据处理做出决策 102

6.5 本章小结 102

第 7 章　自然语言处理方法选择与数据表示 103

7.1 自然语言处理方法选择 103

7.1.1 选择适合任务的方法 104

7.1.2 从数据出发 104

7.1.3 计算效率 105

7.1.4 初步研究 105

7.2 自然语言处理应用程序中的语言表示 106

7.3 使用数学向量表示语言 108

7.4 使用上下文无关向量表示单词 114

7.5 使用上下文相关向量表示单词 117

7.6 本章小结 117

第 8 章　基于规则的方法 118

8.1 基于规则的方法简介 118

8.2 为什么要使用规则 119

8.3 正则表达式 119

8.3.1 使用正则表达式识别、分析和替换字符串 120

8.3.2 常用的正则表达式技巧 122

8.4 词汇级分析 122

8.4.1 词形还原 123

8.4.2 本体 123

8.5 句子级分析 125

8.5.1 句法分析 125

8.5.2 语义分析与槽填充 128

8.6 本章小结 133

第 9 章　机器学习第１部分—统计机器学习 134

9.1 模型评估方法简介 135

9.2 基于词频逆文档频率的文档表示与基于朴素贝叶斯算法的文档分类 136

9.2.1 词频逆文档频率 136

9.2.2 朴素贝叶斯文档分类 136

9.2.3 基于词频逆文档频率的文档表示与基于朴素贝叶斯算法的文档分类示例 137

9.3 基于支持向量机的文档分类 139

9.4 基于条件随机场模型的槽填充 141

9.5本章小结

……

第10章机器学习第2部分——神经网络与深度学习

第11章机器学习第3部分Transformer与大语言模型

第12章无监督学习方法应用

第13章模型评估

第三部分自然语言理解系统的大规模应用

第14章如果系统不工作怎么办

第15章总结与展望

1.4交互式应用程序聊天机器人与语音助手

NLP应用可以被大致分为两类:一类为交互式应用程序，其重点关注的是人机对话;另一类为非交互式应用程序，其重点关注的是一个文档或一组文档。

在交互式应用程序中，用户与系统能够实时交谈或互发信息。常见的交互式应用程序包括聊天机器人和语音助手，如智能音箱和客户服务应用程序等。这些应用程序的交互性要求系统要做出快速、几乎即时的响应，因为用户正在等待系统的响应。根据交谈习惯，用户通常不会容忍延迟超过几秒钟的回复。这些应用的另一个特点是用户输入通常很短，在口语交互情景下，用户的语音输人可能只有几个词或只持续几秒钟。这意味着依赖于大量可用文本的分析方法将无法很好地适用于这些应用程序。

除了NLU本身之外，实现一个交互式应用程序很可能还需要图1.2中的一个或多个其他模块。显然，具有语音输人的应用程序将需要语音识别模块，而对用户以语音或文本做出响应的应用程序则需要自然语言生成模块和文本到语音转换模块(如果系统的响应是语音)。任何需要完成多轮对话的应用程序还需要某种形式的对话管理，用于跟踪用户之前在对话中说了什么，并在后续组织系统响应时将这些信息考虑在内。

……

适读人群 ：本书适合语言学家、数据科学家、开发人员，以及本领域的学生阅读。

本书是一本全面介绍自然语言理解技术的实用指南，涵盖自然语言理解的常用技术和众多资源。书中不仅通过实际示例逐步解释自然语言理解方面的基本概念、常用技术及其应用方法，还详细讲解了每种技术的适用场景。此外，本书还介绍了实用的自然语言理解Python库，以及常见问题的解决方案，如数据收集、系统评估以及自然语言理解应用程序的部署等。通过阅读本书，你将熟悉自然语言理解、深度学习和大语言模型方面的基础知识，并掌握足够的技能，可以将所学知识应用于自然语言理解学术研究和实际的应用项目中。

本书的目标是为Python开发人员提供坚实的NLU基础知识。本书将深入探索自然语言理解相关实用技术，并帮助读者创建各种新颖实用的自然语言理解应用程序。本书共分为三部分：第一部分介绍了NLU的背景以及如何开始一个NLU项目；第二部分探讨了完成NLU任务所需要使用的Python工具和相关技术；第三部分讨论了在管理和部署NLU应用程序时应该考虑的因素，以及对NLU未来的展望。