动手学自然语言处理

图书标准信息

• 作者 屠可伟 王新宇 曲彦儒 俞勇
• 出版社 人民邮电出版社
• 出版时间 2019
• 版次 1
• ISBN 9787115636461
• 定价 89.80元
• 装帧 平装
• 开本 16开
• 页数 248页
• 字数 407千字

【内容简介】

本书介绍自然语言处理的和方法及其代码实现，是一本着眼于自然语言处理实践的图书。
本书分为3个部分。部分介绍基础技术，包括文本规范化、文本表示、文本分类、文本聚类。第二部分介绍自然语言的序列建模，包括语言模型、序列到序列模型、预训练语言模型、序列标注。第三部分介绍自然语言的结构建模，包括成分句法分析、依存句法分析、语义分析、篇章分析。本书将自然语言处理的理论与实践相结合，提供所介绍方法的代码示例，能够帮助读者掌握理论知识并进行动手实践。
本书适合作为高校自然语言处理课程的教材，也可作为相关行业的研究人员和开发人员的参资料。

【作者简介】

屠可伟，上海科技大学信息科学与技术学院长聘副教授、研究员、博士生导师。研究方向包括自然语言处理、机器学等，主要研究将符号、统计和神经方法相结合用于语言结构的表示、学与利用。发表100余篇，主要发表在acl、emnlp、aaai 等人工智能领域很好会议。担任多个很好会议程序委员会委员和领域。曾获acl 2023杰出奖，以及emeval 2022和emeval 2023很好系统奖。
王新宇，上海科技大学博士，长期从事自然语言处理研究工作，在acl、emnlp、naacl等很好会议上发表10余篇，担任acl、naacl会议的领域以及acl滚动审查（acl rolling review）执行编辑。曾获得中国中文信息学会博士提名、emeval 2022很好系统奖等荣誉。
曲彦儒，伊利诺伊大学厄巴纳香槟分校博士生，长期从事自然语言处理研究工作，在acl、naacl、aaai、iclr等会议上发表了多篇。
俞勇，上海交通大学acm班创办人，重量名师，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学acm班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养很好的人工智能算法工程师和研究员。

精彩书评：

本书深度整合了自然语言处理的理论精髓与实战智慧，内容讲解深入浅出、代码实例丰富易学，为培养自然语言处理领域的实战型人才提供了坚实的理论基石与丰富的实战资源，是渴望学自然语言处理的读者的入门宝典。
——文继荣 民大学高瓴人工智能学院执行院长、信息学院院长
在智能化浪潮下，懂技术、知应用的实战型人工智能人才的重要益凸显。本书以深入浅出的理论讲解为基础，辅以清晰明了的代码解析，帮助读者将自然语言处理的理论与实战融会贯通，值得广大读者深度研读。
——周明 澜舟科技创始人，acl 原，ccf 原副理事长，微软亚洲研究院原副院长
学自然语言处理需要将理论与实战相结合。本书凭借其详尽的理论阐述、可运行的代码实例以及配套的题与资源，构建了一座连接理论与实战的桥梁。无论是新手还是老手，均可使用本书深化对自然语言处理的理解并提升实战能力。
——邱锡鹏 复旦大学计算机科学技术学院教授
本书具有两大亮点。一是以序列和结构为主线来组织自然语言处理的关键技术。序列、结构和语义是语言文字的3个重要属，语言文字是离散符号的序列，文本又由带有语义信息的结构组成。二是以指导动手实战为目标，每个章节均提供可执行代码，并加以解读。本书非常适合作为自然语言处理领域的高校教材，也适合作为工程师的常备工具书。
——李磊 卡内基梅隆大学计算机科学学院助理教授
本书作为一本全面且系统的自然语言处理教材，深入浅出地讲解了自然语言处理的基本概念和关键方法，无论是还是行业人士，都能够通过本书有效掌握自然语言处理的知识体系并进行动手实战。
——杨笛一 斯坦福大学计算机科学系助理教授

【目录】

章初探自然语言处理1

1．1自然语言处理是什么1

1．2自然语言处理的应用2

1．3自然语言处理的难点3

1．4自然语言处理的方4

1．5小结5

部分基础

第2章文本规范化8

2．1分词8

2．1．1基于空格与标点符号的分词8

2．1．2基于正则表达式的分词9

2．1．3词间不含空格的语言的分词12

2．1．4基于子词的分词13

2．2词规范化17

2．2．1大小写折叠17

2．2．2词目还原18

2．2．3词干还原19

2．3分句19

2．4小结20

第3章文本表示22

3．1词的表示22

3．2稀疏向量表示24

3．3稠密向量表示25

3．3．1word2vec25

3．3．2上下文相关词嵌入30

3．4文档表示30

3．4．1词-文档共现矩阵31

3．4．2tf-idf加权31

3．4．3文档的稠密向量表示33

3．5小结33

第4章文本分类35

4．1基于规则的文本分类35

4．2基于机器学的文本分类36

4．2．1朴素贝叶斯36

4．2．2逻辑斯谛回归42

4．3分类结果评价45

4．4小结47

第5章文本聚类49

5．1k均值聚类算法49

5．2基于高斯混合模型的优选期望值算法53

5．2．1高斯混合模型53

5．2．2优选期望值算法53

5．3无监督朴素贝叶斯模型57

5．4主题模型60

5．5小结61

第二部分序列

第6章语言模型64

6．1概述64

6．2n元语法模型66

6．3循环神经网络67

6．3．1循环神经网络67

6．3．2长短期记忆73

6．3．3多层双向循环神经网络76

6．4注意力机制80

多头注意力83

6．5transformer模型85

6．6小结91

第7章序列到序列模型93

7．1基于神经网络的序列到序列模型93

7．1．1循环神经网络94

7．1．2注意力机制96

7．1．3transformer98

7．2学101

7．3解码106

7．3．1贪心解码106

7．3．2束搜索解码107

7．3．3其他解码问题与解决110

7．4指针网络111

7．5序列到序列任务的延伸112

7．6小结113

第8章预训练语言模型114

8．1elmo：基于语言模型的上下文相关词嵌入114

8．2bert：基于transformer的双向表示115

8．2．1掩码语言模型115

8．2．2bert模型116

8．2．3预训练116

8．2．4微调与提示117

8．2．5bert代码演示117

8．2．6bert模型扩展121

8．3gpt：基于transformer的生成式预训练语言模型122

8．3．1gpt模型的历史122

8．3．2gpt-2训练演示123

8．3．3gpt的使用125

8．4基于-的预训练语言模型128

8．5基于huggingface的预训练语言模型使用129

8．5．1文本分类129

8．5．2文本生成130

8．5．3问答130

8．5．4文本摘要131

8．6小结131

第9章序列标注133

9．1序列标注任务133

9．1．1词标注133

9．1．2中文分词134

9．1．3命名实体识别134

9．1．4语义角标注135

9．2隐马尔可夫模型135

9．2．1模型135

9．2．2解码136

9．2．3输入序列的边际概率137

9．2．4单个标签的边际概率138

9．2．5监督学139

9．2．6无监督学139

9．2．7部分代码实现141

9．3条件场146

9．3．1模型146

9．3．2解码147

9．3．3监督学148

9．3．4无监督学149

9．3．5部分代码实现149

9．4神经序列标注模型154

9．4．1神经softmax154

9．4．2神经条件场154

9．4．3代码实现155

9．5小结156

第三部分结构

0章成分句法分析160

10．1成分结构160

10．2成分句法分析概述161

10．2．1歧义与打分161

10．2．2解码162

10．2．3学162

10．2．4评价指标163

10．3基于跨度的成分句法分析163

10．3．1打分164

10．3．2解码165

10．3．3学170

10．4基于转移的成分句法分析173

10．4．1与转移173

10．4．2转移的打分174

10．4．3解码175

10．4．4学176

10．5基于上下文无关文法的成分句法分析177

10．5．1上下文无关文法177

10．5．2解码和学178

10．6小结179

1章依存句法分析181

11．1依存结构181

11．1．1投182

11．1．2与成分结构的关系182

11．2依存句法分析概述184

11．2．1打分、解码和学184

11．2．2评价指标184

11．3基于图的依存句法分析185

11．3．1打分185

11．3．2解码186

11．3．3eisner算法186

11．3．4mst算法191

11．3．5高阶方法194

11．3．6监督学194

11．4基于转移的依存句法分析195

11．4．1与转移196

11．4．2打分、解码与学196

11．5小结198

2章语义分析200

12．1显式和隐式的语义表示200

12．2词义表示201

12．2．1word201

12．2．2词义消歧203

12．3语义表示204

12．3．1专用和通用的语义表示204

12．3．2一阶逻辑205

12．3．3语义图205

12．4语义分析206

12．4．1基于句法的语义分析206

12．4．2基于神经网络的语义分析207

12．4．3弱监督学209

12．5语义角标注209

12．5．1语义角标注标准209

12．5．2语义角标注方法211

12．6信息提取211

12．7小结212

3章篇章分析213

13．1篇章213

13．1．1连贯关系213

13．1．2篇章结构214

13．1．3篇章分析215

13．2共指消解215

13．2．1提及检测216

13．2．2提及聚类216

13．3小结220

结与展望221

参文献223

中英文术语对照表228

附录234