多模态大模型：技术原理与实战
全新正版 极速发货
￥ 47.76 4.8折 ￥ 100 全新
库存84件
广东广州
认证卖家担保交易快速发货售后保障
作者彭勇 等
出版社电子工业
ISBN9787121465628
出版时间2023-11
装帧其他
开本其他
定价100元
货号1203119964
上书时间2024-06-09
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
彭勇，国家公派留法博士，全球金融专业人士协会（GIFP协会）特聘专家，2020年欧耕互联网保险十大风云人物，《数据中台建设：从方法论到落地实战》作者。从事大数据和人工智能在金融行业的研究与应用工作约18年，负责相关的落地项目超过100个，在金融行业数据中台建设、数字化营销和运营体系建设、大数据和人工智能赋能、大模型研发和应用、风险管理、数智化转型等方面经验丰富。现就职于苏州数擎智技术有限公司和北京长正咨询有限公司，担任两个公司的总经理。彭旋，本科和硕士毕业于中国石油大学（华东）数学与应用数学专业，从事多模态大模型、知识图谱、信息抽取、自然语言处理等方面的研发工作，具备丰富的多模态大模型训练、研发和企业落地经验。《知识图谱与大模型融合实践研究报告》《知识图谱互联互通白皮书》的主要作者之一。郑志军。研究领域主要包括文本理解、自然语言生成等。从事自然语言处理研究7年有余，其中有近4年大模型使用、研发经验。现担任公司AIGC组组长，所研发的大模型在公共评测和客户应用上均取得了优异的成绩，在大模型研发领域具有丰富的理论和实践经验。茹炳晟，腾讯TechLead，腾讯研究院特约研究员，中国计算机学会(CCF)TF研发效能SIG主席，“软件研发效能度量规范”标准核心编写专家，中国商业联合会互联网应用工作委员会智库入库专家，中国通信标准化协会TC608云计算标准和开源推进委员会云上软件工程工作组副组长，腾讯云、阿里云、华为云最具价值专家，国内外很多技术峰会的联席主席、出品人和演讲嘉宾。公众号“茹炳晟聊软件研发”主理人。多本技术畅销书作者，著作有软件研发行业创新实战案例解析《测试工程师全栈技术进阶与实践》《软件研发效能提升之美》《高效自动化测试平台:设计与开发实战》《软件研发效能提升实践》《软件研发效能权威指南》，译作有《持续架构实践：敏捷和DevOps时代下的软件架构》和《现代软件工程：如何高效构建软件》等。
目录
第1章 OpenAI一鸣惊人带来的启示1
1.1 OpenAI的成长并非一帆风顺2
1.2 OpenAI的成功因素5
1.3 OpenAI特殊的股权设计带来的启示7
1.4 思考11
第2章 自然语言处理的发展历程13
2.1 自然语言处理的发展史14
2.1.1 背景介绍14
2.1.2 自然语言处理发展的7个阶段15
2.2 从BERT模型到ChatGPT30
2.3 BERT模型到底解决了哪些问题31
2.4 BERT模型诞生之后行业持续摸索38
2.5 ChatGPT的诞生41
2.5.1 InstructGPT模型的构建流程42
2.5.2 ChatGPT和InstructGPT的差异44
2.5.3 ChatGPT和BERT模型在公开数据集上的测试45
2.5.4 高质量的数据标注46
2.6 思考48
第3章 读懂ChatGPT的核心技术50
3.1 基于Transformer的预训练语言模型50
3.2 提示学习与指令微调55
3.3 基于人工反馈的强化学习59
3.4 思维链方法62
3.5 集成学习64
3.6 思考67
第4章 看清GPT的进化史和创新点68
4.1 GPT技术的发展历程68
4.1.1 GPT-1技术的发展历程68
4.1.2 GPT-2技术的发展历程72
4.1.3 GPT-3技术的发展历程73
4.2 GPT的创新点总结75
4.3 思考77
第5章 大模型+多模态产生的“化学反应”78
5.1 多模态模型的发展历史78
5.2 单模态学习、多模态学习和跨模态学习的区别82
5.3 多模态大模型发展的重大里程碑85
5.4 大模型+多模态的3种实现方法94
5.5 多模态大模型的效果评估99
5.6 思考102
第6章 多模态大模型的核心技术103
6.1 文本多模态技术104
6.1.1 基于模板的图像描述方法105
6.1.2 基于检索的图像描述方法105
6.1.3 基于深度学习的图像描述方法105
6.2 图像多模态技术106
6.2.1 基于对抗网络的文本生成图像方法107
6.2.2 基于VAE的文本生成图像方法109
6.2.3 基于扩散模型的文本生成图像方法110
6.3 语音多模态技术111
6.3.1 基于非深度学习的文本生成语音技术111
6.3.2 基于深度学习的文本生成语音技术113
6.4 视频多模态技术116
6.4.1 非扩散模型的文本生成视频技术117
6.4.2 基于扩散模型的文本生成视频技术118
6.5 跨模态多重组合技术119
6.6 多模态大模型高效的训练方法120
6.7 GPT-4多模态大模型核心技术介绍121
6.8 多模态技术的发展趋势122
第7章 国内外多模态大模型对比124
7.1 国内多模态大模型介绍125
7.1.1 LLaMA-Adapter V2125
7.1.2 VisualGLM-6B128
7.1.3 mPLUG-Owl129
7.2 国外多模态大模型介绍131
7.2.1 Visual ChatGPT131
7.2.2 InstructBLIP132
7.2.3 MiniGPT-4134
7.3 多模态大模型评测数据集135
7.3.1 国内评测数据集136
7.3.2 国外评测数据集136
7.4 多模态大模型的评测标准137
7.4.1 国内评测标准137
7.4.2 国外评测标准138
7.5 多模态大模型对比139
7.5.1 感知能力评测139
7.5.2 认知能力评测141
7.6 思考145
第8章 中小公司的大模型构建之路146
8.1 微调技术介绍147
8.1.1 LoRA技术148
8.1.2 AdaLoRA技术149
8.1.3 QLoRA技术149
8.1.4 微调加DeepSpeed的ZeRO-3150
8.2 模型压缩技术介绍151
8.2.1 剪枝151
8.2.2 知识蒸馏153
8.2.3 量化压缩154
8.3 微调实战155
8.3.1 部分参数微调实战156
8.3.2 全参数微调实战157
8.4 模型压缩实战159
8.4.1 8位量化压缩实战159
8.4.2 4位量化压缩实战160
8.5 思考162
第9章 从0到1部署多模态大模型163
9.1 部署环境准备163
9.2 部署流程165
9.3 使用Flask框架进行API开发167
9.4 使用Gradio框架进行Web页面开发171
9.5 其他部署方法介绍176
9.6 部署过程中常见的问题总结179
第10章 多模态大模型的主要应用场景183
10.1 多模态大模型的应用图谱183
10.1.1 多模态大模型的30个基础应用183
10.1.2 多模态大模型在六大领域中的应用189
10.2 多模态大模型在金融领域中的应用193
10.2.1 语音质检194
10.2.2 智能顾问196
10.3 多模态大模型在出行与物流领域中的应用201
10.4 多模态大模型在电商领域中的应用203
10.4.1 智能客服203
10.4.2 智能试穿205
10.5 多模态大模型在工业设计与生产领域中的应用207
10.6 多模态大模型在医疗健康领域中的应用210
10.7 多模态大模型在教育培训领域的应用215
10.8 思考216
第11章 用多模态大模型打造AI助理实战218
11.1 应用背景218
11.2 方法论介绍219
11.2.1 思维链解决复杂的推理问题219
11.2.2 思维树进一步提升推理能力220
11.2.3 采用插值法解决长文本输入问题220
11.3 工具和算法框架介绍222
11.3.1 使用的工具222
11.3.2 使用的算法框架222
11.4 优化逻辑介绍224
11.4.1 如何提高多轮对话能力225
11.4.2 如何提高角色扮演能力225
11.4.3 如何提高长文本阅读能力226
11.5 多模态大模型的部署227
11.6 多模态大模型的性能评估228
11.6.1 综合性能评估228
11.6.2 长文本阅读示例229
11.6.3 多轮对话示例230
11.6.4 角色扮演示例233
11.6.5 LangChain框架赋能Ziya在限定域内的问答示例234
11.7 思考235
第12章 多模态大模型在情绪识别领域的应用236
12.1 应用背景和待解决的问题236
12.2 方法论介绍238
12.3 工具和算法框架介绍243
12.3.1 算法的输入和输出243
12.3.2 算法框架的整体构建流程244
12.3.3 文本预训练任务245
12.3.4 图像预训练任务247
12.3.5 多模态预训练任务248
12.3.6 算法的求解249
12.3.7 算法的应用250
12.4 优化逻辑介绍251
12.5 部署流程253
12.6 效果评测254
12.6.1 评测数据集254
12.6.2 评测指标257
12.6.3 评测结果257
12.7 思考259
第13章 大模型在软件研发领域的实战案例与前沿探索261
13.1 LLM在软件研发过程中的单点提效262
13.1.1 基于GitHub Copilot的代码片段智能生成262
13.1.2 基于Copilot X实现增强的代码片段智能生成266
13.1.3 基于GitHub Copilot X实现对选中代码的理解与解读268
13.1.4 基于GitHub Copilot X的Pull Requests提效269
13.1.5 基于LLM实现的“代码刷”270
13.1.6 使用Copilot Voice实现语音驱动的代码开发272
13.1.7 使用Copilot CLI实现命令行的自动生成274
13.1.8 使用TestPilot实现单元测试用例的自动生成275
13.1.9 更多的应用277
13.2 代码LLM为软件研发带来的机遇与挑战277
13.2.1 对于软件研发来说，什么变了278
13.2.2 对于软件研发来说，什么没有变278
13.3 在LLM时代，对软件研发的更多思考283
13.3.1 思考1：替代的是“码农”，共生的是工程师283
13.3.2 思考2：有利于控制研发团队规模，保持小团队的
效率优势284
13.3.3 思考3：不可避免的“暗知识”284
13.3.4 思考4：Prompt即代码，代码不再是代码285
13.3.5 思考5：Prompt to Executable软件研发范式的可能性286
13.4 思考286
内容摘要
本书详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。为了让读者更好地进行大模型的应用实战，本书还详细介绍了使用大模型为商业赋能的3个应用案例。期望本书能够帮助读者打开通往大模型尤其是多模态大模型的学习、实战和商业成功之路。
相关推荐
— 没有更多了 —
以下为对购买帮助不大的评价