大语言模型通识

周苏，男，1958年出生，苏州人。浙江大学城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。周苏教授的主要教学和研究方向为软件工程、操作系统和多媒体技术等，仅从自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验。

前言

课程教学进度表

第1章 概述1

1.1 人工智能基础1

1.1.1 人工智能的定义1

1.1.2 人工智能的实现途径2

1.1.3 机器学习和深度学习3

1.1.4 监督学习与无监督学习4

1.2 大语言模型的定义5

1.3 大语言模型形成基础6

1.3.1 Blockhead思维实验7

1.3.2 大模型的历史基础7

1.3.3 基于Transformer模型8

1.3.4 大模型的学习能力9

1.3.5 大模型的世界模型问题9

1.3.6 文化知识传递和语言支持10

1.4 通用人工智能11

1.4.1 什么是通用人工智能11

1.4.2 大模型与通用人工智能11

1.4.3 人工智能生成内容12

【作业】13

【实践与思考】了解典型的开源大语言模型14

第2章 大模型基础17

2.1 什么是语言模型17

2.1.1 语言模型的定义17

2.1.2 注意力机制18

2.1.3 开源还是闭源19

2.2 大模型发展三阶段21

2.2.1 基础模型阶段21

2.2.2 能力探索阶段21

2.2.3 突破发展阶段22

2.3 Transformer模型22

2.3.1 Transformer过程22

2.3.2 Transformer结构25

2.3.3 Transformer模块26

2.4 生成式预训练语言模型GPT27

2.5 大模型的结构28

2.5.1 LLaMA的模型结构28

2.5.2 LLaMA的注意力机制28

【作业】30

【实践与思考】基于ChatGPT的免费工具：ChatAI小组件31

第3章 大模型的架构35

3.1 大模型生成原理35

3.1.1 上下文学习36

3.1.2 指令微调37

3.1.3 零样本/少样本37

3.1.4 深度学习架构37

3.1.5 训练策略及优化技术38

3.2 多模态语言模型38

3.2.1 多模态指令微调39

3.2.2 多模态上下文学习39

3.2.3 多模态思维链40

3.2.4 大模型辅助视觉推理40

3.3 应用技术架构41

3.3.1 指令工程41

3.3.2 函数调用42

3.3.3 检索增强生成42

3.3.4 微调42

3.4 OpenAI的Sora大模型42

3.4.1 Sora技术报告分析43

3.4.2 Sora主要技术特点43

3.4.3 Sora的模型训练过程43

3.5 谷歌的新款大模型频发44

3.5.1 Gemini 1.0大模型44

3.5.2 Gemini 1.5多模态大模型45

3.5.3 Gemma开源大模型48

3.5.4 Genie基础世界模型48

3.5.5 什么是世界模型48

【作业】49

【实践与思考】熟悉阿里云大模型—通义千问51

第4章 数据标注54

4.1 知识与知识表示54

4.1.1 知识的概念54

4.1.2 知识表示方法56

4.1.3 表示方法的选择57

4.2 什么是数据标注59

4.3 数据标注的分类60

4.3.1 图像标注60

4.3.2 语音标注61

4.3.3 3D点云标注61

4.3.4 文本标注62

4.4 制定标注规则62

4.5 执行数据标注63

4.6 标注团队管理65

【作业】66

【实践与思考】熟悉百度大模型—文心一言68

第5章 大模型预训练数据72

5.1 数据来源72

5.1.1 通用数据72

5.1.2 专业数据73

5.2 数据处理74

5.2.1 质量过滤74

5.2.2 冗余去除75

5.2.3 隐私消除75

5.2.4 词元切分75

5.3 数据影响分析76

5.3.1 数据规模77

5.3.2 数据质量77

5.4 典型的开源数据集78

5.4.1 Pile78

5.4.2 ROOTS79

5.5 数据集面临的挑战81

5.5.1 数据集规模和质量待提升81

5.5.2 大模型与数据集相辅相成81

5.5.3 数据集标准规范需健全82

5.5.4 数据存储性能待提高83

【作业】83

【实践与思考】熟悉Globe Explorer智能搜索引擎86

第6章 大模型的开发组织88

6.1 大模型开发流程88

6.2 大模型的数据组织90

6.2.1 数据采集91

6.2.2 数据清洗和预处理91

6.2.3 数据标注92

6.2.4 数据集划分93

6.2.5 模型设计93

6.2.6 模型初始化94

6.2.7 模型训练94

6.2.8 模型验证95

6.2.9 模型保存95

6.2.10 模型测试96

6.2.11 模型部署96

6.3 训练集、验证集、测试集的不同之处97

6.3.1 目的与功能不同97

6.3.2 数据交互频率不同97

6.3.3 数据划分与比例不同98

6.3.4 使用时机不同98

6.4 训练集、验证集、测试集的相似之处98

6.4.1 数据来源一致99

6.4.2 相似的数据预处理99

6.4.3 目标一致，各具独立性99

6.4.4 保证数据质量和代表性99

【作业】100

【实践与思考】熟悉科大讯飞大模型—讯飞星火认知102

第7章 分布式训练106

7.1 分而治之106

7.1.1 消息传递接口MPI107

7.1.2 MapReduce107

7.1.3 批处理和流处理108

7.2 什么是分布式处理109

7.2.1 分布式处理的特点109

7.2.2 分布式处理的发展过程110

7.2.3 分布式构成方式110

7.2.4 分布式处理系统111

7.3 分布式训练概述111

7.4 分布式并行训练策略112

7.4.1 数据并行性113

7.4.2 模型并行性114

7.4.3 流水线并行性115

7.4.4 混合并行115

7.5 分布式训练的集群架构116

【作业】117

【实践与思考】大模型背后的“芯片行业巨头”—英伟达119

第8章 提示工程与微调121

8.1 什么是提示工程121

8.1.1 提示工程的本质121

8.1.2 提示工程的原理122

8.1.3 提示工程应用技术123

8.1.4 提示的通用技巧124

8.2 大模型为什么要微调125

8.3 提示学习和语境学习126

8.3.1 提示学习126

8.3.2 语境学习127

8.4 上下文窗口扩展128

8.5 指令数据的构建128

8.5.1 手动构建指令128

8.5.2 自动构建指令128

8.5.3 开源指令数据集130

8.6 微调及其PEFT流行方案130

8.6.1 微调技术路线130

8.6.2 提示微调130

8.6.3 前缀微调131

8.6.4 LoRA131

8.6.5 QLoRA131

【作业】131

【实践与思考】熟悉文生图大模型—Midjourney133

第9章 强化学习方法136

9.1 什么是强化学习136

9.1.1 强化学习的定义136

9.1.2 强化学习的发展历史137

9.2 强化学习与监督和无监督学习的 比较138

9.2.1 与监督和无监督学习的不同138

9.2.2 大模型环境下的强化学习139

9.2.3 学习方式不同140

9.2.4 先验知识与标注数据141

9.3 强化学习的基础141

9.3.1 基于模型与免模型环境141

9.3.2 探索与利用142

9.3.3 片段还是连续性任务143

9.3.4 网络模型设计143

9.3.5 数据依赖性145

9.4 强化学习分类146

9.4.1 从奖励中学习146

9.4.2 被动强化学习147

9.4.3 主动强化学习147

9.4.4 强化学习中的泛化147

9.4.5 学徒学习147

【作业】148

【实践与思考】熟悉文生视频大模型—Sora149

第10章 基于大模型的智能体154

10.1 智能体和环境154

10.2 智能体的良好行为155

10.2.1 性能度量155

10.2.2 理性156

10.2.3 全知、学习和自主156

10.3 环境的本质157

10.3.1 指定任务环境157

10.3.2 任务环境的属性158

10.4 智能体的结构160

10.4.1 智能体程序160

10.4.2 学习型智能体161

10.4.3 智能体组件的工作163

10.5 构建大模型智能体164

10.5.1 基于大模型的智能体164

10.5.2 观测与感知164

10.5.3 记忆与检索165

10.5.4 推理和规划166

10.5.5 行动和执行167

【作业】168

【实践与思考】人形机器人创业独角兽Figure AI170

第11章 大模型应用框架172

11.1 大模型哲学问题172

11.1.1 组成性172

11.1.2 天赋论与语言习得173

11.1.3 语言理解与基础173

11.1.4 世界模型174

11.1.5 知识传递和语言支持175

11.2 大模型的构建流程175

11.2.1 确定需求大小176

11.2.2 数据收集176

11.2.3 数据预处理177

11.2.4 大模型预训练177

11.2.5 任务微调178

11.2.6 模型部署178

11.3 大模型的应用场景178

11.3.1 机器翻译、文本理解与分析179

11.3.2 恶意软件分析179

11.3.3 自然语言生成179

11.3.4 搜索与知识提取180

11.3.5 代码开发181

11.3.6 检测和预防网络攻击181

11.3.7 虚拟助理和客户支持181

11.3.8 转录181

11.3.9 市场调研181

11.3.10 SEO关键词优化181

11.4 案例：Magic突破Q算法182

【作业】183

【实践与思考】精通垃圾分类的ZenRobotics机器人185

第12章 技术伦理与限制187

12.1 人工智能面临的伦理挑战187

12.1.1 人工智能与人类的关系187

12.1.2 人与智能机器的沟通188

12.2 大数据伦理问题189

12.2.1 数据主权和数据权问题189

12.2.2 隐私权和自主权问题190

12.2.3 数据利用失衡问题190

12.3 大模型的知识产权保护190

12.3.1 大模型的诉讼案例191

12.3.2 大模型生成内容的知识产权保护194

12.3.3 尊重隐私，保障安全，促进开放194

12.3.4 边缘群体的数字平等195

12.4 算法歧视195

12.4.1 算法透明之争195

12.4.2 算法透明的实践197

12.4.3 算法透明的算法说明198

12.4.4 算法公平的保障措施199

【作业】200

【实践与思考】完全由人工智能生成的视觉艺术品无法获得版权201

第13章 大模型的评估204

13.1 模型评估概述204

13.2 大模型评估体系205

13.2.1 知识与能力205

13.2.2 伦理与安全207

13.2.3 垂直领域评估209

13.3 大模型评估方法210

13.3.1 评估指标210

13.3.2 评估方法211

13.4 大模型评估实践212

13.4.1 基础模型评估212

13.4.2 监督学习和强化学习的模型评估214

【作业】215

【实践与思考】开展典型大模型评估

实践217

第14章 大模型的健康未来220

14.1 人工智能新发展220

14.1.1 “人工智能+”成为新质生产力重要引擎220

14.1.2 人工智能改变自动驾驶未来221

14.1.3 重视人工智能治理政策222

14.1.4 人工智能音乐的立法实践222

14.1.5 防止人工智能误导民众223

14.1.6 生成式人工智能产出的版权224

14.2 数据隐私保护对策225

14.2.1 构建隐私保护伦理准则225

14.2.2 注重隐私保护伦理教育226

14.2.3 健全道德伦理约束机制226

14.3 人工智能伦理原则226

14.3.1 职业伦理准则的目标227

14.3.2 创新发展道德伦理宣言227

14.3.3 百度四大伦理原则229

14.3.4 欧盟可信赖的伦理准则229

14.4 大模型的大趋势230

14.5 通用人工智能涌现231

【作业】232

【课程学习与实践总结】234

附录 作业参考答案238

参考文献241

第1章概述

人类，又称智人，即有智慧的人，这是因为智能对于人类来说尤其重要。几千年来，人们一直在试图理解人类是如何思考和行动的,也就是不断地了解人类的大脑是如何凭借它那小部分的物质去感知、理解、预测并操纵一个远比其自身更大、更复杂的世界。

“数据成为新生产要素，算力成为新基础能源，人工智能成为新生产工具。”2023年被称为生成式人工智能(Generative Al) 元年，以ChatGPT为代表的生成式人工智能技术的涌现获得了前所未有的关注。大型科技公司、各类创业公司迅速入场，投入海量资源，推动了大语言模型(LLM，简称“大模型”)能力和应用的快速演进。

1.1人工智能基础

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，是一门自然科学、社会科学和技术科学交叉的边缘学科，它涉及的学科内容包括哲学和认知科学、数学、神经生理学、心理学、计算机科学、信息论、控制论、不定性论、仿生学与社会结构学等。

……

适读人群 ：高等院校计算机及相关专业学生

获奖情况：浙江省普通本科高校“十四五”重点立项建设教材。

本书特色：

深入浅出介绍与分析，易于理解和掌握知识与应用场景。

注重AI思维与提高，建构大模型的基本观念与技术。

针对性的“实践与思考”环节，融入大模型发展进程。

随着信息技术的发展，大语言模型已经成为自然语言处理领域的重要基石，并持续推动着人工智能技术的进步和社会应用的拓展。学习大模型课程不仅有利于个人专业成长，更能对社会进步和技术创新产生积极影响。人工智能及其大模型技术，是每个高校学生甚至社会人所必须关注、学习和重视的知识与现实。本书介绍的大模型知识主要包括：人工智能知识回顾、大模型基础、大模型的架构、人工数据标识、大模型预训练数据、大模型的开发组织、分布式训练、提示工程与微调、强化学习方法、基于大模型的智能体、大模型应用框架、技术伦理与限制、大模型的评估和大模型的健康未来等方面