多模态大模型 技术与实战 人工智能 彭勇 等

章openai一鸣惊人带来的启示1
1.1openai的成长并非一帆风顺2
1.2openai的成功因素5
1.3openai特殊的股权设计带来的启示7
1.4思11
第2章自然语言处理的发展历程13
2.1自然语言处理的发展史14
2.1.1背景介绍14
2.1.2自然语言处理发展的7个阶段15
2.2从bert模型到chatgpt30
2.3bert模型到底解决了哪些问题31
2.4bert模型诞生之后行业持续摸索38
2.5chatgpt的诞生41
2.5.1instructgpt模型的构建流程42
2.5.2chatgpt和instructgpt的差异44
2.5.3chatgpt和bert模型在公开数据集上的测试45
2.5.4高质量的数据标注46
2.6思48
第3章读懂chatgpt的核心技术50
3.1基于transformer的预训练语言模型50
3.2提示学与指令微调55
3.3基于人工反馈的强化学59
3.4思维链方法62
3.5集成学
3.6思67
第4章看清gpt的进化史和创新点68
4.1gpt技术的发展历程68
4.1.1gpt-1技术的发展历程68
4.1.2gpt-2技术的发展历程72
4.1.3gpt-3技术的发展历程73
4.2gpt的创新点结75
4.3思77
第5章大模型+多模态产生的“化学反应”78
5.1多模态模型的发展历史78
5.2单模态学、多模态学和跨模态学的区别82
5.3多模态大模型发展的重大里程碑85
5.4大模型+多模态的3种实现方法94
5.5多模态大模型的效果评估99
5.6思102
第6章多模态大模型的核心技术103
6.1文本多模态技术104
6.1.1基于模板的图像描述方法105
6.1.2基于检索的图像描述方法105
6.1.3基于深度学的图像描述方法105
6.2图像多模态技术106
6.2.1基于对抗网络的文本生成图像方法107
6.2.2基于vae的文本生成图像方法109
6.2.3基于扩散模型的文本生成图像方法110
6.3语音多模态技术111
6.3.1基于非深度学的文本生成语音技术111
6.3.2基于深度学的文本生成语音技术113
6.4多模态技术116
6.4.1非扩散模型的文本生成技术117
6.4.2基于扩散模型的文本生成技术118
6.5跨模态多重组合技术119
6.6多模态大模型高效的训练方法120
6.7gpt-4多模态大模型核心技术介绍121
6.8多模态技术的发展趋势122
第7章外多模态大模型对比124
7.1多模态大模型介绍125
7.1.1llama-adapterv2125
7.1.2visualglm-6b128
7.1.3mplug-owl129
7.2国外多模态大模型介绍131
7.2.1visualchatgpt131
7.2.2instructblip132
7.2.3minigpt-4134
7.3多模态大模型评测数据集135
7.3.1评测数据集136
7.3.2国外评测数据集136
7.4多模态大模型的评测标准137
7.4.1评测标准137
7.4.2国外评测标准138
7.5多模态大模型对比139
7.5.1感知能力评测139
7.5.2认知能力评测141
7.6思145
第8章中小公司的大模型构建之路146
8.1微调技术介绍147
8.1.1lora技术148
8.1.2adalora技术149
8.1.3qlora技术149
8.1.4微调加deepeed的zero-3150
8.2模型压缩技术介绍151
8.2.1剪枝151
8.2.2知识蒸馏153
8.2.3量化压缩154
8.3微调实战155
8.3.1部分参数微调实战156
8.3.2全参数微调实战157
8.4模型压缩实战159
8.4.18位量化压缩实战159
8.4.24位量化压缩实战160
8.5思162
第9章从0到1部署多模态大模型163
9.1部署环境准备163
9.2部署流程165
9.3使用flask框架进行api开发167
9.4使用gradio框架进行web页面开发171
9.5其他部署方法介绍176
9.6部署过程中常见的问题结179
0章多模态大模型的主要应用场景183
10.1多模态大模型的应用图谱183
10.1.1多模态大模型的30个基础应用183
10.1.2多模态大模型在六大领域中的应用189
10.2多模态大模型在金融领域中的应用193
10.2.1语音质检194
10.2.2智能顾问196
10.3多模态大模型在出行与物流领域中的应用201
10.4多模态大模型在电商领域中的应用203
10.4.1智能客服203
10.4.2智能试穿205
10.5多模态大模型在设计与生产领域中的应用207
10.6多模态大模型在医疗健康领域中的应用210
10.7多模态大模型在教育培训领域的应用215
10.8思216
1章用多模态大模型打造ai助理实战218
11.1应用背景218
11.2方介绍219
11.2.1思维链解决复杂的推理问题219
11.2.2思维树进一步提升推理能力220
11.2.3采用插值法解决长文本输入问题220
11.3工具和算法框架介绍222
11.3.1使用的工具222
11.3.2使用的算法框架222
11.4优化逻辑介绍224
11.4.1如何提高多轮对话能力225
11.4.2如何提高角扮演能力225
11.4.3如何提高长文本阅读能力226
11.5多模态大模型的部署227
11.6多模态大模型的能评估228
11.6.1综合能评估228
11.6.2长文本阅读示例229
11.6.3多轮对话示例230
11.6.4角扮演示例233
11.6.5langchain框架赋能ziya在限定域内的问答示例234
11.7思235
2章多模态大模型在情绪识别领域的应用236
12.1应用背景和待解决的问题236
12.2方介绍238
12.3工具和算法框架介绍243
12.3.1算法的输入和输出243
12.3.2算法框架的整体构建流程244
12.3.3文本预训练任务245
12.3.4图像预训练任务247
12.3.5多模态预训练任务248
12.3.6算法的求解249
12.3.7算法的应用250
12.4优化逻辑介绍251
12.5部署流程253
12.6效果评测254
12.6.1评测数据集254
12.6.2评测指标257
12.6.3评测结果257
12.7思259
3章大模型在软件研发领域的实战案例与前沿探索261
13.1llm在软件研发过程中的单点提效262
13.1.1基于githubcopilot的代码片段智能生成262
13.1.2基于copilotx实现增强的代码片段智能生成266
13.1.3基于githubcopilotx实现对选中代码的理解与解读268
13.1.4基于githubcopilotx的pullrequests提效269
13.1.5基于llm实现的“代码刷”270
13.1.6使用copilotvoice实现语音驱动的代码开发272
13.1.7使用copilotcli实现命令行的自动生成274
13.1.8使用testpilot实现单元测试用例的自动生成275
13.1.9更多的应用277
13.2代码llm为软件研发带来的机遇与挑战277
13.2.1对于软件研发来说，什么变了278
13.2.2对于软件研发来说，什么没有变278
13.3在llm时代，对软件研发的更多思283
13.3.1思1：替代的是“码农”，共生的是工程师283
13.3.2思2：有利于控制研发团队规模，保持小团队的效率优势284
13.3.3思3：不可避的“暗知识”284
13.3.4思4：prompt即代码，代码不再是代码285
13.3.5思5：prompttoexecutable软件研发范式的可能286
13.4思286