大语言模型：原理与工程实践

图书标准信息

• 作者 杨青
• 出版社 电子工业出版社
• 出版时间 2024-03
• 版次 1
• ISBN 9787121473043
• 定价 119.00元
• 装帧 平装
• 开本 16开
• 页数 247页
• 字数 340千字

【内容简介】

本书用10章对大语言模型进行全面且深入的介绍。首先对大语言模型的基本概念进行介绍。其次，从大语言模型的基础技术、预训练数据构建、预训练技术等方面展开讨论，帮助读者深入了解大语言模型的构建和训练过程。然后，详细介绍有监督微调和强化对齐等技术，以及如何评估大语言模型的能。此外，介绍提示工程和工程实践等方面的内容，帮助读者了解大语言模型的应用和实际作过程。后，介绍如何从零开始微调大语言模型，辅以代码示例，帮助读者更好地应用这些技术。通过阅读本书，读者可以获得全面且深入的大语言模型的知识框架。无论您是研究人员、工程师，还是产品经理，都能从中获得有价值的知识。

【作者简介】

"杨青
度小满金融技术委员会执行、数据智能应用部经理，硕士于清华大学计算机系，曾职于百度、阿里巴巴，从事自然语言处理、搜索、、大数据架构等相关方向的研发工作。
2018年年初加入度小满金融，组建数据智能部，从0到1构建度小满金融的智能引擎核心算法，深耕计算机视觉、自然语言处理、图模型、机器学、因果推断等技术领域，多篇文章被emnlp、acl、cikm等国际会议收录，“智能化征信解读中台”工程荣获吴文俊人工智能科技进步奖。相关技术广泛应用于度小满营销、经营、风控、反欺诈全流程业务场景，为上千万客户提供稳定、安全的金融服务。
目前，专注于aigc相关研究及产品落地工作，基于度小满模型即服务（maa）的模式积极探索文生图、数字人与生成式大语言模型的应用转化。于2023年年初带领团队发布千亿参数规模的中文大语言模型“轩辕”。2023年9月， “轩辕70b”大语言模型在ceval和cmmlu两大榜单上位列所有开源模型。"

【目录】

1解锁大语言模型1

1．1什么是大语言模型1

1．2语言模型的发展2

1．3gpt系列模型的发展3

1．4大语言模型的关键技术4

1．5大语言模型的涌现能力5

1．6大语言模型的推理能力5

1．7大语言模型的缩放定律6

参文献7

2大语言模型基础技术8

2．1语言表示介绍8

2．1．1词表示技术8

2．1．2分词技术9

2．2经典结构transformer14

2．2．1输入模块15

2．2．2多头自注意力模块16

2．2．3残差连接与层归一化19

2．2．4前馈神经网络19

2．2．519

2．3预训练语言模型21

2．3．1decoder的代表：gpt系列21

2．3．2encoder的代表：bert23

2．4初探大语言模型24

2．4．1instructgpt24

2．4．2llama系列28

参文献30

3预训练数据构建32

3．1数据的常见类别及其来源32

3．1．1网页数据33

3．1．2书籍数据34

3．1．3百科数据34

3．1．4代码数据34

3．1．5其他数据36

3．2数据的预处理方式36

3．2．1正文提取37

3．2．2质量过滤37

3．2．3文档去重38

3．2．4数据集净化39

3．3常用数据集的完整构建方式40

3．3．1c440

3．3．2massivetext40

3．3．3refinedweb41

3．3．4roots42

3．4难点和挑战43

3．4．1数据收集的局限43

3．4．2数据质量评估的挑战43

3．4．3自动生成数据的风险44

参文献44

4大语言模型预训练46

4．1大语言模型为什么这么强46

4．2大语言模型的核心模块49

4．2．1核心架构49

4．2．2组成模块选型51

4．3大语言模型怎么训练60

4．3．1训练目标60

4．3．2数据配比62

4．4预训练还有什么没有解决65

参文献66

5挖掘大语言模型潜能：有监督微调67

5．1揭开有监督微调的面纱67

5．1．1什么是有监督微调67

5．1．2有监督微调的作用与意义68

5．1．3有监督微调的应用场景68

5．2有监督微调数据的构建69

5．2．1有监督微调数据的格式69

5．2．2有监督微调数据的自动化构建70

5．2．3有监督微调数据的选择75

5．3大语言模型的微调方法76

5．3．1全参数微调76

5．3．2适配器微调76

5．3．3前缀微调77

5．3．4提示微调78

5．3．5低秩适配79

5．4大语言模型的微调和推理策略79

5．4．1混合微调策略80

5．4．2基于上下文学的推理策略81

5．4．3基于思维链的推理策略82

5．5大语言模型微调的挑战和探索83

5．5．1大语言模型微调的幻觉问题83

5．5．2大语言模型微调面临的挑战84

5．5．3大语言模型微调的探索与展望84

参文献85

6大语言模型强化对齐87

6．1强化学基础87

6．1．1强化学的基本概念87

6．1．2强化学中的88

6．1．3强化学的目标89

6．1．4q函数与v函数89

6．2dqn方法91

6．2．1dqn的结构91

6．2．2dqn训练：基本思想92

6．2．3dqn训练：目标网络94

6．2．4dqn训练：探索策略94

6．2．5dqn训练：经验回放95

6．2．6dqn训练：完整算法95

6．2．7dqn决策96

6．3策略梯度方法96

6．3．1策略网络的结构96

6．3．2策略网络训练：策略梯度97

6．3．3策略网络训练：优势函数99

6．3．4ppo算法100

6．4揭秘大语言模型中的强化建模101

6．4．1token-level强化建模101

6．4．2sentence-level强化建模102

6．5奖励模型103

6．5．1奖励模型的结构103

6．5．2奖励模型的训练104

6．5．3奖励模型损失函数分析106

6．6rlhf108

6．6．1即时奖励108

6．6．2rlhf算法109

6．7rlhf实战框架111

6．8rlhf的难点和问题111

6．8．1数据瓶颈112

6．8．2硬件瓶颈113

6．8．3方法瓶颈114

参文献115

7大语言模型的评测117

7．1基座语言模型的评测117

7．1．1主要的评测维度和基准概述118

7．1．2具体案例：llama2选取的评测基准118

7．2大语言模型的对话能力评测120

7．2．1评测任务120

7．2．2评测集的构建标准131

7．2．3评测方式132

7．3大语言模型的安全评测132

7．3．1评测任务133

7．3．2评测方式和标准134

7．4行业大语言模型的评测：以金融行业大语言模型为例134

7．4．1金融行业大语言模型的自动化评测集135

7．4．2金融行业大语言模型的人工评测集136

7．5整体能力的评测137

7．6主流评测数据集及基准138

参文献142

8大语言模型的应用143

8．1大语言模型为什么需要提示工程143

8．1．1人类和大语言模型进行复杂决策的对比144

8．1．2提示工程的作用144

8．2什么是提示词145

8．2．1提示词的基础要素146

8．2．2提示词设计的通用原则146

8．3推理引导147

8．3．1零样本提示147

8．3．2少样本提示148

8．3．3思维链提示149

8．3．4自我一致提示150

8．3．5思维树提示151

8．4动态交互155

8．4．1检索增强生成技术155

8．4．2推理和行动协同技术159

8．5案例分析161

8．5．1案例介绍161

8．5．2工具设计161

8．5．3提示词设计165

8．5．4案例运行167

8．6局限和发展172

8．6．1目前的局限172

8．6．2未来的发展173

参文献173

9工程实践175

9．1大语言模型训练面临的挑战175

9．2大语言模型训练综述176

9．2．1数据并行176

9．2．2模型并行179

9．2．3zero并行181

9．3大语言模型训练技术选型184

9．4大语言模型训练优化秘籍186

9．4．1i/o优化186

9．4．2通信优化187

9．4．3稳定优化190

9．5大语言模型训练工程实践190

9．5．1deepeed架构191

9．5．2deepeed训练详解191

9．5．3deepeed训练调优实践194

9．6强化学工程实践196

9．6．1deepeed-chat混合引擎架构196

9．6．2deepeed-chat训练详解197

9．6．3deepeed-chat训练调优实践199

9．7大语言模型推理工程201

9．7．1提升规模：模型量202

9．7．2提高并行度：张量并行205

9．7．3推理加速：算子优化207

9．7．4降低计算量：kv-cache208

9．7．5推理工程综合实践210

参文献212

10手把手教你训练7b大语言模型214

10．1自动化训练框架214

10．1．1自动化训练框架介绍214

10．1．2主要模块介绍215

10．2动手训练7b大语言模型237

10．2．1语料预处理238

10．2．2预训练实践240

10．2．3指令微调实践245

10．3小结247