多模态大模型：新一代人工智能技术范式

图书标准信息

• 作者 刘阳
• 出版社 电子工业出版社
• 出版时间 2020
• 版次 1
• ISBN 9787121475474
• 定价 119.00元
• 装帧 平装
• 开本 16开
• 页数 304页
• 字数 384.8千字

【内容简介】

本书以深入浅出的方式介绍来人工智能领域热门的技术――多模态大模型的技术方法、开源台和应用场景，并详细阐述因果推理、世界模型及多智能体与具身智能等前沿技术领域，有助于读者全面了解多模态大模型的特点及发展方向，对新一代人工智能技术范式和通用人工智能的发展起到重要推动作用。全书共5章，章深入探讨拥有代表的大模型结构，第2章深度剖析多模态大模型的核心技术，第3章介绍多个具有代表的多模态大模型，第4章深入分析视觉问答、aigc 和具身智能这3个典型应用，第5章探讨实现通用人工智能的可行思路。 本书不仅适合高校相关专业高年级本科生和作为教材使用，更是各类it 从业者的参之作。

【作者简介】

"刘阳
中山大学计算机学院副研究员，中山大学人机物智能融合实验室（hcb）骨干成员。主要研究方向为多模态认知理解、因果推理和具身智能。截至2023年12月，在ieee tpami、tip、iccv、acm mm等期刊和会议上发表30余篇，2篇入选ei高被引和热点。提出的视觉语言因果推理开源框架caualvlr受到外广泛关注。主持多项重量、省部级科研项目，作为课题骨干参与人工智能重大专项。获得2023年中国软件大会“达闼杯”机器人大模型与具身智能挑战赛优胜奖，广东省第三届计算机科学青年学术秀。

林倞
人工智能领域国际学者（ieee fellow、iapr fellow、iet fellow）、鹏城实验室多智能体与具身智能研究所所长、中山大学二级教授、杰出青年科学获得者、人工智能重大专项首席科学家；在多模态认知计算、生成式模型、具身交互与学等领域形成一系列突破创新成果。截至2023年10月，发表400余篇（含tpami40余篇），被引用30000余次（谷歌学术统计），5次获得很好奖。获黑龙江省自然科学奖、吴文俊人工智能奖（自然科学类）、中国图象图形学学会科学技术奖等荣誉；指导获得ccf博士奖、acm china博士奖及caai博士奖。带领团队坚持产学研结合的科技创新思路，曾任商汤科技研究院执行院长，孵化新一代人工智能领军企业拓元智慧。在企业数智化、元宇宙、智慧城市等领域形成了具有广泛影响力的商业化产品和项目。"

【目录】

1大模型全家桶

1.1多模态大模型基本概念

1.1.1多模态

1.1.2大模型和基础模型

1.1.3多模态大模型

1.2bert技术详解

1.2.1模型结构

1.2.2预训练任务

1.2.3下游应用场景

1.3vit技术详解

1.3.1模型结构

1.3.2预训练任务

1.4gpt系列

1.4.1gpt-1结构详解

1.4.2gpt-2结构详解

1.4.3gpt-3结构详解

1.5chatgpt简介

1.5.1instructgpt

1.5.2chatgpt

1.5.3多模态gpt-4v

1.6中英双语对话机器人chatglm

1.6.1chatglm-6b模型

1.6.2千亿基座模型glm-130b的结构

1.7百川大模型

1.7.1预训练

1.7.2对齐

1.8本章小结

2多模态大模型核心技术

2.1预训练基础模型

2.1.1基本结构

2.1.2学机制

2.2预训练任务概述

2.2.1自然语言处理领域的预训练任务

2.2.2计算机视觉领域的预训练任务

2.3基于自然语言处理的预训练关键技术

2.3.1单词表征方法

2.3.2模型结构设计方法

2.3.3掩码设计方法

2.3.4提升方法

2.3.5指令对齐方法

2.4基于计算机视觉的预训练关键技术

2.4.1特定代理任务的学

2.4.2帧序列学

2.4.3生成式学

2.4.4重建式学

......