ChatGPT原理与应用开发

图书标准信息

• 作者 郝少春、黄玉琳、易华挥
• 出版社 人民邮电出版社
• 出版时间 2024-02
• 版次 1
• ISBN 9787115631572
• 定价 99.80元
• 装帧 平装
• 开本 16开
• 页数 204页
• 字数 211千字

【内容简介】

随着chatgpt的出现，大语言模型的能力得到了业内外的认可，新的商业模式不断涌现，旧的设计和实现都将重构。本书主要介绍基于chatgpt开发算法相关的应用或服务，侧重于介绍与自然语言处理相关的常见任务和应用，以及如何使用类似chatgpt的大语言模型服务来实现以前只有算法工程师才能完成的工作。
全书共8章内容，章介绍与chatgpt相关的基础知识，第2～5章分别介绍相似匹配、句词分类、文本生成和复杂推理方面的任务，第6～8章分别介绍chatgpt的工程实践、局限与不足，以及商业应用，以帮助读者更好地构建自己的应用。
本书以实践为主，尤其注重任务的讲解和设计，但同时也对自然语言处理相关算法的基本和基础知识进行科普介绍，适合所有对大语言模型感兴趣的开发者阅读。

【作者简介】

郝少春
某ai大语言模型公司的算法工程师，开源组织datawhale成员；拥有7 年算法和工程架构经验及丰富的项目和产品经历，涉及文本、音频、、图像等多种模态。

黄玉琳
上海财经大学硕士，算法工程师，开源组织datawhale成员；从事智能供应链领域的算法研究及应用工作；主要研究方向为机器学、自然语言处理、运筹优化。

易华挥
四川大学华西医院生物大数据中心的科研助理，开源组织datawhale成员；主要研究方向为多模态表征学及其在医学影像分析中的应用；发表顶会3篇。

精彩书评：

生成式人工智能所训练的大语言模型在内容合成等任务上取得了令人吃惊的进步，可产生新颖甚至是意料之外的结果——这与早期仅仅只会生硬地产生可预测结果的人工智能模型有很大不同，为探索通用人工智能的实现提供了一种方式，引起了各行业的广泛关注。因此我们所处的这个时期被誉为“人工智能的iphone 时刻”。
这本书是由datawhale 所推出的力作，秉承了datawhale“为了学者”的一贯理念，基于志愿者团队精彩的开源学内容精心编纂而成，深入浅出地介绍大语言模型的和工程实践，对于初学者了解chatgpt 非常有帮助！
——吴飞，浙江大学人工智能研究所所长

以chatgpt 为代表的大语言模型技术推动了人工智能的发展，但如何应用大语言模型技术为用户赋能，产生更大的实用价值，仍然有很多现实问题需要去面对和解决。这本书是datawhale 开源团队结合优质学内容推出的又一力作，它帮助读者理解大语言模型背后的系统设计，进而能够利用大语言模型来研发自己的ai 产品。书中内容围绕自然语言处理任务展开，很多设计思路和细节其实可以应用到多个领域。期望读者多学多练，能够在实践中提升自我。
——周明，澜舟科技创始人兼ceo，创新工场首席科学家

这本书介绍了如何在大语言模型时代开发自然语言处理算法任务，让普通工程师借助大语言模型也能很快完成自然语言处理任务，在程度上降低了人工智能开发的门槛，让更多人有机会参与到人工智能行业的发展中。值得一提的是，这本书虽然以chatgpt 作为示例，但绝大部分内容都可以无缝切换为其他大语言模型。这得益于本书基于以“自然语言处理算法任务”为核心的设计理念，因而这本书具有更长的生命周期。另外，书中提供的实践经验对自然语言处理算法工程师也具有实践指导意义。
——朱信忠，浙江师范大学人工智能研究院副院长，浙江省专家，datawhale 首席科学家

随着chatgpt 相关技术的快展，越来越多的人关心如何利用大语言模型的强大能力来解决具体问题。这是一本有关大语言模型应用和服务的实践指导书，详细介绍了如何开发基于大语言模型算法的应用和服务。这本书注重实际任务的设计及实现的思路讲解，并提供了对自然语言处理基础知识和算法的科普介绍。相信无论是对大语言模型感兴趣的开发者还是算法工程师，都能从这本书中获益。
——张俊林，新技术研发负责人

chatgpt 已经成为公众关注的焦点，人工智能再次备受瞩目。虽然市面上已经有许多关于如何利用chatgpt 提高工作效率的图书，但对于深入探讨chatgpt 本质及其底层的大模型技术的作品却不多见。这本书以明晰而简洁的文字，阐述了大语言模型的工作，堪称杰作。更为可贵的是，书中还详细介绍了chatgpt 的工程实施策略。对于那些渴望深入理解chatgpt 和大模型技术的读者，我强烈阅读这本书。
——金耀辉，上海交通大学人工智能研究院工程师、教授

【目录】

章 基础知识——大语言模型背后1

1.1 自然语言背景1

1.1.1 语言是智能的标志1

1.1.2 从图灵测试到chatgpt2

1.2 语言模型基础6

1.2.1 小语义单位token与embed6

1.2.2 语言模型是怎么回事8

1.3 chatgpt基础14

1.3.1 不错表示架构transformer设计与演变14

1.3.2 生成语言模型gpt进化与逆袭18

1.3.3 利器强化学rlhf流程与思想25

1.4 本章小结30

第2章 相似匹配——万物皆可embed31

2.1 相似匹配基础31

2.1.1 更好的embed表示31

2.1.2 如何度量embed相似度36

2.2 chatgpt接使用37

2.2.1 embed接37

2.2.2 chatgpt+提示词40

2.3 相关任务与应用41

2.3.1 简单问答：以问题找问题42

2.3.2 聚类任务：物以类聚也以群分50

2.3.3 应用：都是embed55

2.4 本章小结64

第3章 句词分类——句子token都是类别65

3.1 句词分类基础65

3.1.1 如何对一句话进行分类68

3.1.2 从句子分类到token分类71

3.2 chatgpt接使用72

3.2.1 基础版gpt续写72

3.2.2 版chatgpt指令77

3.3 相关任务与应用82

3.3.1 文档问答：给定文档问问题82

3.3.2 模型微调：满足个化需要94

3.3.3 智能对话：大语言模型=自主控制的机器人106

3.4 本章小结117

第4章 文本生成——理解更智能119

4.1 文本生成任务基础119

4.2 文本摘要121

4.2.1 什么是文本摘要121

4.2.2 常见的文本摘要技术121

4.2.3 基于openai接的文本摘要实验123

4.3 文本纠错131

4.3.1 什么是文本纠错131

4.3.2 常见的文本纠错技术132

4.3.3 基于openai接的文本纠错实验135

4.4 机器翻译136

4.4.1 什么是机器翻译136

4.4.2 常见的机器翻译技术137

4.4.3 基于openai接的机器翻译实验138

4.5 本章小结144

第5章 复杂推理——更加像人一样思145

5.1 什么是复杂推理145

5.2 复杂推理能力的激活和改善147

5.2.1 初步评估chatgpt的推理能力147

5.2.2 复杂推理能力的激活150

5.2.3 大语言模型复杂推理能力的改善156

5.3 大语言模型复杂推理能力的探讨168

5.4 本章小结170

第6章 工程实践——真实场景大不同172

6.1 评测：决定是否上线的标准172

6.1.1 为什么评测172

6.1.2 nlu常用评测指标173

6.1.3 nlg常用评测指标175

6.2 安全：必须认真对待的话题178

6.2.1 前/后处理178

6.2.2 提示词179

6.2.3 可控文本生成179

6.3 网络：接调用并不是成功180

6.3.1 失败181

6.3.2 延迟182

6.3.3 扩展183

6.4 本章小结185

第7章 局限与不足——工具不是的186

7.1 事实错误186

7.1.1 错误示例186

7.1.2 原因分析188

7.1.3 解决方法189

7.2 实时更新190

7.2.1 问题示例190

7.2.2 原因分析191

7.2.3 解决方法192

7.3 能瓶颈193

7.3.1 背景描述193

7.3.2 原因分析193

7.3.3 解决方法194

7.4 本章小结194

第8章 商业应用——llm是星辰大海196

8.1 相关背景196

8.2 影响分析197

8.3 商业赋能198

8.4 本章小结204