多模态大模型：新一代人工智能技术范式

本书组织架构

在内容组织方面，本书共5章，每一章都围绕多模态大模型的关键领域展开，希望为读者提供一次全方位的学习和思考之旅。第1 章从最具代表性的大语言模型结构入手，引导读者深入理解BERT、ViT、GPT 系列、ChatGPT、ChatGLM、百川大模型，为全面认知多模态大模型打下基础。

第2章深入剖析多模态大模型的核心技术，涵盖预训练、提示学习、上下文学习、微调、思维链和人类反馈强化学习，揭示多模态大模型的独特之处和技术内涵。第3章介绍多个具有代表性的多模态基础模型，如CLIP、BLIP、LLaMA、SAM 和PaLM-E等，为读者呈现多样和广泛的技术解决方案。第4章深入分析视觉问答、AIGC和具身智能这三个典型应用，展示多模态大模型在实际场景中的强大能力。第5章探讨现有的多模态大模型存在的挑战，并介绍实现通用人工智能的可行思路，包括因果推理、世界模型、具身智能与超级智能体等前沿技术方向。每一章的撰写都经过多轮修改和讨论，力求为读者提供最有价值的内容。

在教学课时安排上，本书可以满足32∼56学时的教学安排。第5章多模态大模型迈向AGI是近年人工智能领域的研究热点，涉及模型鲁棒性、可解释性、可信性、因果推理、世界模型、具身智能与多智能体等多个技术领域，需要读者花更多的时间在相关任务的实践中。

本书以深入浅出的方式介绍多模态大模型的技术方法、开源平台和应用场景，并详细阐述因果推理、世界模型及多智能体与具身智能等前沿技术领域，有助于读者全面了解多模态大模型的特点及发展方向，对新一代人工智能技术范式和通用人工智能的发展起到重要推动作用。

全书内容共5章，第1章引领读者深入探索最具代表性的大模型结构，包括BERT、Chat-GPT 和ChatGLM等，为建立对多模态大模型的全面认知打下基础。第2章深度剖析多模态大模型的核心技术，如提示学习、上下文学习、思维链和人类反馈强化学习等，揭示多模态大模型的独特之处和引人入胜的技术内涵。第3章介绍多个具有代表性的多模态基础模型，如CLIP、LLaMA、SAM和PaLM-E等，为读者呈现多样和广泛的技术解决方案。第4章深入分析视觉问答、AIGC和具身智能这三个典型应用，展示多模态大模型在实际场景中的强大能力。第5章探讨实现AGI的可行思路，包括因果推理、世界模型、超级智能体与具身智能等前沿技术方向。

本书不仅适合高校相关专业高年级本科生和研究生作为教材使用，更是各类IT从业者的案头手册。

刘阳
中山大学计算机学院副研究员，中山大学人机物智能融合实验室（HCP-Lab）骨干成员。主要研究方向为多模态认知理解、因果推理和具身智能。截至2023年12月，在IEEE T-PAMI、T-IP、ICCV、ACM MM等期刊和会议上发表论文30余篇，2篇论文入选ESI高被引和热点论文。提出的视觉-语言因果推理开源框架CausalVLR受到国内外广泛关注。获得2023年中国软件大会“达闼杯”机器人大模型与具身智能挑战赛优胜奖，广东省第三届计算机科学青年学术秀一等奖。

林倞
人工智能领域国际著名学者（IEEE Fellow、IAPR Fellow、IET Fellow）、鹏城实验室多智能体与具身智能研究所所长、中山大学二级教授、国家杰出青年科学基金获得者、国家人工智能重大专项首席科学家；在多模态认知计算、生成式模型、具身交互与学习等领域形成一系列突破创新成果。截至2023年10月，发表论文400余篇（含T-PAMI论文40余篇），论文被引用30000余次（谷歌学术统计），5次获得最佳论文奖。获黑龙江省自然科学奖一等奖、吴文俊人工智能奖（自然科学类）、中国图象图形学学会科学技术奖一等奖等荣誉；指导学生获得CCF优秀博士论文奖、ACM China优秀博士论文奖及CAAI优秀博士论文奖。带领团队坚持产学研结合的科技创新思路，曾任商汤科技研究院执行院长，孵化新一代人工智能领军企业拓元智慧。在企业数智化、元宇宙、智慧城市等领域形成了具有广泛影响力的商业化产品和项目。

1 大模型全家桶 1

1.1 多模态大模型基本概念 3

1.1.1 多模态 4

1.1.2 大模型和基础模型 4

1.1.3 多模态大模型 5

1.2 BERT技术详解 6

1.2.1 模型结构 6

1.2.2 预训练任务 10

1.2.3 下游应用场景 13

1.3 ViT技术详解 14

1.3.1 模型结构 15

1.3.2 预训练任务 17

1.4 GPT系列 19

1.4.1 GPT-1结构详解 20

1.4.2 GPT-2结构详解 23

1.4.3 GPT-3结构详解 24

1.5 ChatGPT简介 28

1.5.1 InstructGPT 28

1.5.2 ChatGPT 32

1.5.3 多模态GPT-4V 37

1.6 中英双语对话机器人ChatGLM 40

1.6.1 ChatGLM-6B模型 41

1.6.2 千亿基座模型GLM-130B的结构 43

1.7 百川大模型 46

1.7.1 预训练 47

1.7.2 对齐 51

1.8 本章小结 53

2 多模态大模型核心技术 54

2.1 预训练基础模型 55

2.1.1 基本结构 56

2.1.2 学习机制 57

2.2 预训练任务概述 59

2.2.1 自然语言处理领域的预训练任务 59

2.2.2 计算机视觉领域的预训练任务 59

2.3 基于自然语言处理的预训练关键技术 60

2.3.1 单词表征方法 61

2.3.2 模型结构设计方法 63

2.3.3 掩码设计方法 63

2.3.4 提升方法 64

2.3.5 指令对齐方法 65

2.4 基于计算机视觉的预训练关键技术 67

2.4.1 特定代理任务的学习 68

2.4.2 帧序列学习 68

2.4.3 生成式学习 69

2.4.4 重建式学习 70

2.4.5 记忆池式学习 71

2.4.6 共享式学习 72

2.4.7 聚类式学习 74

2.5 提示学习 75

2.5.1 提示的定义 76

2.5.2 提示模板工程 78

2.5.3 提示答案工程 81

2.5.4 多提示学习方法 82

2.6 上下文学习 85

2.6.1 上下文学习的定义 86

2.6.2 模型预热 86

2.6.3 演示设计 88

2.6.4 评分函数 90

2.7 微调 91

2.7.1 适配器微调 92

2.7.2 任务导向微调 95

2.8 思维链 98

2.8.1 思维链的技术细节 99

2.8.2 基于自洽性的思维链 100

2.8.3 思维树 103

2.8.4 思维图 106

2.9 RLHF 110

2.9.1 RLHF技术分解 111

2.9.2 RLHF开源工具集 114

2.9.3 RLHF的未来挑战 115

2.10 RLAIF 115

2.10.1 LLM的偏好标签化 116

2.10.2 关键技术路线 118

2.10.3 评测118

2.11 本章小结119

3 多模态基础模型 120

3.1 CLIP 122

3.1.1 创建足够大的数据集 122

3.1.2 选择有效的预训练方法 123

3.1.3 选择和扩展模型 124

3.1.4 预训练 124

3.2 BLIP 125

3.2.1 模型结构 125

3.2.2 预训练目标函数 126

3.2.3 标注过滤 127

3.3 BLIP-2 128

3.3.1 模型结构 129

3.3.2 使用冻结的图像编码器进行视觉与语言表示学习 129

3.3.3 使用冻结的LLM进行从视觉到语言的生成学习 130

3.3.4 模型预训练 131

3.4 LLaMA 132

3.4.1 预训练数据 132

3.4.2 网络结构 133

3.4.3 优化器 134

3.4.4 高效实现 134

3.5 LLaMA-Adapter 134

3.5.1 LLaMA-Adapter的技术细节 136

3.5.2 LLaMA-Adapter V2 137

3.6 VideoChat 140

3.6.1 VideoChat-Text 142

3.6.2 VideoChat-Embed 143

3.7 SAM 146

3.7.1 SAM任务 149

3.7.2 SAM的视觉模型结构 150

3.7.3 SAM的数据引擎 151

3.7.4 SAM的数据集 152

3.8 PaLM-E 153

3.8.1 模型结构155

3.8.2 不同传感器模态的输入与场景表示 157

3.8.3 训练策略 158

3.9 本章小结 159

4 多模态大模型的应用 160

4.1 视觉问答 160

4.1.1 视觉问答的类型 161

4.1.2 图像问答 162

4.1.3 视频问答 179

4.1.4 未来研究方向 190

4.2 AIGC 191

4.2.1 GAN和扩散模型 192

4.2.2 文本生成 194

4.2.3 图像生成 198

4.2.4 视频生成 203

4.2.5 三维数据生成 204

4.2.6 HCP-Diffusion统一代码框架 204

4.2.7 挑战与展望 209

4.3 具身智能 209

4.3.1 具身智能的概念 210

4.3.2 具身智能模拟器 212

4.3.3 视觉探索 216

4.3.4 视觉导航 219

4.3.5 具身问答 223

4.3.6 具身交互 225

4.3.7 存在的挑战 228

4.4 本章小结 231

5 多模态大模型迈向AGI 232

5.1 研究挑战 233

5.1.1 缺乏评估准则 233

5.1.2 模型设计准则模糊 233

5.1.3 多模态对齐不佳 234

5.1.4 领域专业化不足 234

5.1.5 幻觉问题 236

5.1.6 鲁棒性威胁 236

5.1.7 可信性问题 238

5.1.8 可解释性和推理能力问题 242

5.2 因果推理 246

5.2.1 因果推理的基本概念 247

5.2.2 因果的类型 251

5.2.3 LLM的因果推理能力 252

5.2.4 LLM和因果发现的关系 254

5.2.5 多模态因果开源框架CausalVLR 255

5.3 世界模型 257

5.3.1 世界模型的概念 258

5.3.2 联合嵌入预测结构 261

5.3.3 Dynalang：利用语言预测未来 264

5.3.4 交互式现实世界模拟器 266

5.3.5 Sora：模拟世界的视频生成模型 267

5.4 超级智能体AGI Agent 271

5.4.1 Agent的定义 272

5.4.2 Agent的核心组件 274

5.4.3 典型的AGI Agent模型 275

5.4.4 AGI Agent的未来展望 284

5.5 基于Agent的具身智能 286

5.5.1 具身决策评测集 287

5.5.2 具身知识与世界模型嵌入 288

5.5.3 具身机器人任务规划与控制 289

5.6 本章小结 296

本书以深入浅出的方式介绍多模态大模型的技术方法、开源平台和应用场景，并详细阐述因果推理、世界模型及多智能体与具身智能等前沿技术领域，有助于读者全面了解多模态大模型的特点及发展方向，对新一代人工智能技术范式和通用人工智能的发展起到重要推动作用。

全书内容共5章，第1章引领读者深入探索最具代表性的大模型结构，包括BERT、Chat-GPT 和ChatGLM等，为建立对多模态大模型的全面认知打下基础。第2章深度剖析多模态大模型的核心技术，如提示学习、上下文学习、思维链和人类反馈强化学习等，揭示多模态大模型的独特之处和引人入胜的技术内涵。第3章介绍多个具有代表性的多模态基础模型，如CLIP、LLaMA、SAM和PaLM-E等，为读者呈现多样和广泛的技术解决方案。第4章深入分析视觉问答、AIGC和具身智能这三个典型应用，展示多模态大模型在实际场景中的强大能力。第5章探讨实现AGI的可行思路，包括因果推理、世界模型、超级智能体与具身智能等前沿技术方向。

本书不仅适合高校相关专业高年级本科生和研究生作为教材使用，更是各类IT从业者的案头手册。

刘阳
中山大学计算机学院副研究员，中山大学人机物智能融合实验室（HCP-Lab）骨干成员。主要研究方向为多模态认知理解、因果推理和具身智能。截至2023年12月，在IEEE T-PAMI、T-IP、ICCV、ACM MM等期刊和会议上发表论文30余篇，2篇论文入选ESI高被引和热点论文。提出的视觉-语言因果推理开源框架CausalVLR受到国内外广泛关注。获得2023年中国软件大会“达闼杯”机器人大模型与具身智能挑战赛优胜奖，广东省第三届计算机科学青年学术秀一等奖。

林倞
人工智能领域国际著名学者（IEEE Fellow、IAPR Fellow、IET Fellow）、鹏城实验室多智能体与具身智能研究所所长、中山大学二级教授、国家杰出青年科学基金获得者、国家人工智能重大专项首席科学家；在多模态认知计算、生成式模型、具身交互与学习等领域形成一系列突破创新成果。截至2023年10月，发表论文400余篇（含T-PAMI论文40余篇），论文被引用30000余次（谷歌学术统计），5次获得最佳论文奖。获黑龙江省自然科学奖一等奖、吴文俊人工智能奖（自然科学类）、中国图象图形学学会科学技术奖一等奖等荣誉；指导学生获得CCF优秀博士论文奖、ACM China优秀博士论文奖及CAAI优秀博士论文奖。带领团队坚持产学研结合的科技创新思路，曾任商汤科技研究院执行院长，孵化新一代人工智能领军企业拓元智慧。在企业数智化、元宇宙、智慧城市等领域形成了具有广泛影响力的商业化产品和项目。