大语言模型应用指南：以ChatGPT为起点，从入门到精通的AI实践教程（全彩）

图书标准信息

• 作者 万俊
• 出版社 电子工业出版社
• 出版时间 2024-05
• 版次 1
• ISBN 9787121475986
• 定价 118.00元
• 装帧 平装
• 开本 16开
• 页数 360页
• 字数 453.6千字

【内容简介】

本书是一本对人工智能小白读者非常友好的大语言模型应用指南，有两大特点：一是以通俗易懂的方式解释复杂概念，通过实例和案例讲解大语言模型的工作和工作流程、基本使用方法，包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆，以及外部工具等，使读者能够全面了解和掌握这一优选技术的应用和二次开发；二是紧跟当前大语言模型技术的更新动态，介绍gpt的创建，以gpt4v和gemini为例讲述多模态模型的应用，还包括无梯度优化、自主agent系统、大语言模型微调、rag框架微调、大语言模型安全技术等。无论是学术研究者、工程师，还是对大语言模型感兴趣的普通读者，都可以通过本书获得大语言模型的前沿研究成果、技术进展和应用案例，从而更好地应用大语言模型解决实际问题。

【作者简介】

万俊，大学计算数学专业本硕；现任中国瑞银软件工程师；oppo前数据挖掘工程师 ；集团前机器学、数据工程师 ；udacity前机器学和深度学讲师；曾多次在各类数据竞赛中获奖（kaggle keci data catle）；已发表ccf a类一篇，ei一篇，神经网络测试专利一个 ；leetcode专栏作家，著有“enlighten ai”专栏。

精彩书评：

"本书系统地解析了大语言模型的内在与实战应用，内容由浅入深，兼顾理论与实用，无论是初学者还是专家，皆能有所收获。作者的无私分享，以及与读者的积极互动，必将激发读者对ai技术的探索热情与创新动力。 
tori技术副裁  高澜 

本书不仅深入浅出地解释了大语言模型的工作，更重要的是，还提供了一系列的应用及对应的实践案例，引导读者有效地应用大语言模型解决实际问题。从chatgpt的基本作到调优方法，展示了实战经验和作者的深入见解。本书不仅是一本技术手册，更像指引我们未来方向的指南针。 
大学软件学院副院长、副教授  刘嘉 

作为从业人员，我对部分技术已有较深的了解，但本书对相关技术清晰全面的梳理仍然让我觉得收获良多。无论您是大模型的开发者还是使用者，本书都不容错过，它将为您打开ai的黑盒，照亮通向智能未来的道路。   
google ai 研究员 李思扬 

身为一名互联网教育公司的cto，我对教育技术的应用和发展保持着持续的关注。本书不仅为我提供了宝贵的知识资源，也启发了我思如何将大语言模型技术融入教育领域，以创造更加个化的互动学体验。 
指南者留学联合创始人兼cto  陆文斌 

本书是全面深入探讨大语言模型的著作，不仅详细地介绍了人工智能的基本概念、和技术，还探讨了chatgpt应用、优化的方法及，与此同时，介绍了大语言模型应用，例如自主agent系统、微调技术等，不仅适合初学者，也适合行业专家和作为参。 
欧加集团营销技术负责人  孟凡超 

本书为大语言模型提供了一幅清晰的技术蓝图，从基础背景、入门概念、理论到未来展望，一应俱全。 
哥伦比亚大学博士、深度学专家、华东师范大学计算机系教授  王骏 

本书以通俗易懂的语言系统介绍了大语言模型的核心概念、技术要点和应用方法，对于希望探索人工智能前沿技术的读者来说，是的指南。 
meta机器学工程师  邹方宇"

【目录】

篇 基础

章 从人工智能的起源到大语言模型 2

1.1 人工智能的起源 2

1.1.1 机器能思吗 2

1.1.2 达特茅斯会议 3

1.2 什么是机器学 4

1.2.1 演绎推理与归纳推理 4

1.2.2 人工编程与自动编程 5

1.2.3 机器学的过程 5

1.2.4 机器学的分类 8

1.3 什么是神经网络 9

1.3.1 还原论与涌现 9

1.3.2 神经网络的发展历史 10

1.3.3 神经网络基础 11

1.3.4 神经网络的三要素 13

1.4 自然语言处理的发展历程 17

1.4.1 什么是自然语言处理 17

1.4.2 文本的向量化 18

1.4.3 神经网络中的自监督学 21

1.5 大语言模型 24

1.5.1 什么是大语言模型 24

1.5.2 语言模型中的token 25

1.5.3 自回归模型与文本生成 33

1.5.4 统一自然语言任务 41

1.5.5 大语言模型的训练过程 44

1.5.6 大语言模型的局限 46

第2篇 入门

第2章 交互格式 50

2.1 pletion交互格式 50

2.2 chatml交互格式 52

2.3 chat pletion交互格式 54

第3章 提示工程 57

3.1 什么是提示工程 57

3.2 提示的构成 58

3.3 提示的基础 62

3.3.1 在提示的末尾重复关键指令 63

3.3.2 使用更清晰的语法 63

3.3.3 尽量使用示例 65

3.3.4 明确要求大语言模型回复高质量的响应 65

3.4 chat pletion交互格式中的提示 65

3.5 提示模板与多轮对话 69

第4章 工作记忆与长短期记忆 72

4.1 什么是工作记忆 72

4.2 减轻工作记忆的负担 74

4.2.1 chain-of-thought 74

4.2.2 self-consistency 76

4.2.3 least-to-most 76

4.2.4 tree-of-tought和graph -of-tought 79

4.2.5 algorithm-of-tought 85

4.2.6 chain-of-density 88

4.3 关于大语言模型的思能力 90

4.4 长短期记忆 91

4.4.1 什么是记忆 91

4.4.2 短期记忆 92

4.4.3 长期记忆 105

第5章 外部工具 122

5.1 为什么需要外部工具 122

5.2 什么是外部工具 122

5.3 使用外部工具的基本 124

5.4 基于提示的工具 126

5.4.1 self-ask 框架 126

5.4.2 react 框架 128

5.4.3 改进react框架 134

5.5 基于微调的工具 137

5.5.1 toolformer 137

5.5.2 gorilla 140

5.5.3 function calling 141

第6章 chatgpt接与扩展功能详解 149

6.1 openai大语言模型简介 149

6.2 chatgpt扩展功能 151

6.2.1 网页实时浏览 152

6.2.2 执行python代码 153

6.2.3 图像生成 154

6.2.4 本地文件浏览 157

6.3 chat pletion接参数详解 158

6.3.1 模型响应返回的参数 158

6.3.2 向模型发起请求的参数 159

6.4 assistants api 162

6.4.1 工具 162

6.4.2 线程 163

6.4.3 运行 163

6.4.4 assistants api整体执行过程 164

6.5 gpts与gpt商店 164

6.5.1 gpts功能详解 165

6.5.2 gpt商店介绍 172

6.5.3 案例：私人邮件助手 174

第3篇 

第7章 无梯度优化 184

7.1 单步优化 184

7.2 强化学入门 188

7.3 多步优化中的预测 191

7.4 多步优化中的训练 194

7.5 多步优化中的训练和预测 201

第8章 自主agent系统 210

8.1 自主agent系统简介 210

8.2 自主agent系统的基本组成 211

8.3 自主agent系统案例分析（一） 213

8.3.1 agi 213

8.3.2 autogpt 216

8.3.3 beebot 221

8.3.4 open interpreter 228

8.3.5 memgpt 232

8.4 自主agent系统案例分析（二） 243

8.4.1 camel 243

8.4.2 chateval 246

8.4.3 generative agents 250

第9章 微调 262

9.1 三类微调方法 262

9.2 transformer详解 264

9.2.1 transformer的原始输入 264

9.2.2 静态编码和位置编码 264

9.2.3 transformer层 265

9.3 高效参数微调 268

9.3.1 adapter高效微调 268

9.3.2 prompt高效微调 269

9.3.3 lora高效微调 272

9.3.4 高效微调结 274

9.4 微调rag框架 275

9.4.1 rag框架微调概述 275

9.4.2 数据准备和参数微调 276

9.4.3 效果评估 276

0章 大语言模型的安全技术 280

10.1 提示注入攻击 280

10.1.1 攻击策略 281

10.1.2 御策略 284

10.2 越狱攻击与数据投毒 285

10.2.1 的目标与不匹配的泛化 285

10.2.2 对抗样本 286

10.2.3 数据投毒 289

10.3 幻觉和偏见问题 292

10.4 为大语言模型添加水印 294

第4篇 展望

1章 大语言模型的生态与未来 298

11.1 多模态大语言模型 298

11.1.1 什么是多模态 298

11.1.2 gpt-4v简介 300

11.1.3 gemini简介 303

11.2 大语言模型的生态系统 308

11.3 大语言模型的：尺度定律 311

11.3.1 什么是尺度定律 312

11.3.2 尺度定律的质 313

11.3.3 尺度定律的未来 320

11.4 通向通用人工智能：压缩即智能 321

11.4.1 编码与无损压缩 322

11.4.2 自回归与无损压缩 331

11.4.3 无损压缩的极限 336

11.5 图灵机与大语言模型：可计算与时间复杂度 342

11.5.1 图灵机与神经网络 342

11.5.2 智能的可计算 346

11.5.3 逻辑推理的时间复杂度 349

参文献 352