自然语言处理基础与大模型

图书标准信息

• 作者 宗成庆、 赵阳、飞桨教材编写组
• 出版社 清华大学出版社
• 出版时间 2024-01
• 版次 1
• ISBN 9787302651550
• 定价 98.00元
• 装帧 平装
• 开本 16开
• 页数 304页
• 字数 461千字

【内容简介】

本书在简要介绍自然语言处理代表模型和方法的基础上，通过具体案例详细展现了相关模型和算法的实现过程，并给出了可执行的程序代码、数据集和运行结果。全书内容既有经典的统计语言模型，也有神经网络基础模型和大语言模型前沿技术。应用案例从情感分析、信息抽取、自动摘要和文本语义匹配，到阅读理解、意图理解、文本生成和机器翻译，全方位地展示自然语言处理从理论到实践的全貌，书中提供的所有代码都已通过调试，并以jupyter notebook形式托管在百度ai tudio星河社区上，读者按照书中的说明可以直接使用ai tudio提供的费计算资源在线编译运行书中的程序代码，为读者实践、练提供了极大的便利。
本书可作为高等院校相关专业高年级本科生和学自然语言处理课程的辅导书，也可供对自然语言处理技术感兴趣的初学者或者从事相关技术研发的工程技术人员参。

【目录】

章绪论

1.1自然语言处理方法概述

1.2本书的内容组织

1.3本书的实践台

1.3.1本地运行

1.3.2ai studio星河社区运行

1.3.3本书使用的api

1.3.4本书使用的数据集

第2章神经网络基础

2.1概述

2.2神经元与感知机

2.2.1神经元

2.2.2感知机

2.2.3常见的激活函数

2.3前馈神经网络

2.4卷积神经网络

2.4.1卷积

2.4.2池化

2.4.3卷积神经网络

2.5循环神经网络

2.5.1简单循环神经网络

2.5.2长短时记忆网络

2.5.3门控循环单元

2.5.4循环神经网络拓展知识

第3章分布式表示

3.1词的分布式表示

3.1.1静态词向量

3.1.2动态词向量

3.2短语的分布式表示

3.3句子的分布式表示

3.3.1基于循环神经网络的表示方法

3.3.2基于预训练语言模型的表示方法

第4章序列生成模型

4.1基于循环神经网络的seq2seq模型

4.1.1基于rnn的seq2seq模型

4.1.2解码策略

4.2融合注意力机制的seq2seq模型

4.3基于transformer的seq2seq模型

4.3.1自注意力模型

4.3.2transformer的网络结构

4.3.3transformer

4.3.4transformer

4.3.5知识延伸： 基于transformer结构的模型

第5章基础语言模型

5.1统计语言模型

5.1.1模型定义

5.1.2数据滑方法

5.1.3语言模型评价

5.2神经网络语言模型

5.2.1前馈神经网络语言模型

5.2.2循环神经网络语言模型

5.2.3语言模型与词向量

第6章预训练大模型

6.1gpt语言模型

6.1.1gpt模型预训练

6.1.2gpt在下游任务中的应用

6.2bert语言模型

6.2.1bert模型的预训练任务

6.2.2bert在下游任务中的应用

6.3ernie 语言模型

6.4预训练大模型

6.4.1基础大模型

6.4.2指令微调

6.4.3基于人类反馈的强化学

第7章词语切分

7.1基于bert实现中文分词

7.1.1任务目标

7.1.2实现思路及流程

7.1.3数据处理

7.1.4模型构建

7.1.5训练配置

7.1.6模型训练

7.1.7模型评估

7.1.8模型预测

7.2基于bpe算法实现子词切分

7.2.1任务目标

7.2.2实现思路及流程

7.2.3构建bpe词表

7.2.4文本子词切分

7.2.5语料还原

7.3实验思

第8章文本情感分类方法实践

8.1基于lstm模型的情感分类方法

8.1.1任务目标

8.1.2实现思路及流程

8.1.3数据处理

8.1.4模型构建

8.1.5训练配置

8.1.6模型训练

8.1.7模型评估

8.1.8模型预测

8.2基于bert模型实现情感分类

8.2.1数据处理

8.2.2模型构建

8.2.3训练配置

8.2.4模型训练

8.2.5模型评估

8.2.6模型预测

8.3基于bert的属级情感分类

8.3.1任务目标

8.3.2实现思路及流程

8.3.3属和观点抽取

8.3.4属级情感分类

8.3.5全流程模型推理

8.4实验思

第9章信息抽取实践

9.1基于bi-lstm和crf的命名实体识别方法

9.1.1任务目标和实现流程

9.1.2数据处理

9.1.3模型构建

9.1.4训练配置

9.1.5模型训练

9.1.6模型评估

9.1.7模型预测

9.2基于ernie-uie实现实体关系抽取

9.2.1任务目标和实现流程

9.2.2数据处理

9.2.3模型构建

9.2.4训练配置

9.2.5模型训练

9.2.6模型评估

9.2.7模型预测

9.3实验思

0章文本语义匹配实践

10.1基于sim的文本语义匹配

10.1.1任务目标和实现流程

10.1.2数据处理

10.1.3模型构建

10.1.4训练配置

10.1.5模型训练

10.1.6模型评估

10.1.7模型预测

10.2基于rocketqa的文本语义匹配

10.2.1任务目标和实现流程

10.2.2数据处理

10.2.3模型构建

10.2.4训练配置

10.2.5模型训练

10.2.6模型评估

10.2.7模型预测

10.3实验思

1章基于pegasus的中文文本摘要实践

11.1任务目标和实现流程

11.2数据处理

11.2.1数据集确定

11.2.2数据加载

11.2.3将数据转换成特征形式

11.2.4构造dataloader

11.3模型构建

11.4训练配置

11.4.1bleu算法

11.4.2rouge算法

11.5模型训练

11.6模型评估

11.7模型预测

11.8实验思

2章基于ernie 3.0实现意图识别

12.1任务目标和实现流程

12.2数据处理

12.2.1数据集确定

12.2.2数据加载

12.2.3将数据转换成特征形式

12.2.4构造dataloader

12.3模型构建

12.4训练配置

12.5模型训练

12.6模型评估

12.7模型预测

12.8实验思

3章机器阅读理解实践

13.1任务目标

13.2实现流程

13.3数据处理

13.3.1数据集确定

13.3.2数据加载

13.3.3将数据转换成特征形式

13.3.4构造dataloader

13.4模型构建

13.5训练配置

13.6模型训练

13.7模型评估

13.8模型预测

13.9实验思

4章机器翻译实践

14.1任务目标和实现流程

14.2数据处理

14.2.1数据集确定

14.2.2数据加载

14.2.3将数据转换成特征形式

14.2.4构建dataloader

14.2.5后处理

14.3模型构建

14.3.1嵌入层的代码实现

14.3.2组装transformer模型

14.4训练配置

14.5模型训练

14.6模型评估

14.6.1数据读取

14.6.2权重加载

14.6.3模型评估

14.7模型预测

14.8实验思

5章基于大模型的自动问答实践

15.1任务目标和设计方案

15.2通过飞桨零代码开发工具实现

15.3通过paddlenlp实现

15.3.1代码实现逻辑

15.3.2配置大模型

15.3.3配置向量检索模型

15.3.4定义document store

15.3.5构建文档索引

15.3.6构建问答应用

15.3.7(可选)在线推理部署

15.4实验思

附录 术语与缩略语

参文献