视觉语言交互中的视觉推理研究
正版保障 假一赔十 可开发票
￥ 27.6 5.6折 ￥ 49 全新
库存6件
广东广州
认证卖家担保交易快速发货售后保障
作者牛玉磊著
出版社机械工业出版社
ISBN9787111723035
出版时间2023-03
装帧平装
开本32开
定价49元
货号29552885
上书时间2024-11-03
商品详情
- 品相描述：全新
- 商品描述
-
前言
视觉语言是计算机视觉与自然语言处理的交叉领域，对机器的感知和认知能力均有较高的要求。随着深度学习的发展和计算能力的提高，机器的感知能力得到了显著提升，于是研究者们开始探索机器的认知能力，尤其是推理能力。本书从知识建模和知识推断两方面入手，对视觉语言交互任务中的视觉推理问题进行研究。其中，知识建模指通过模型的构建，从视觉媒介和自然语言中提取视觉与语言知识，并进行特征表示；知识推断指机器对视觉和语言两个模态的知识进行综合考虑，并进行无偏的推断与估计。
导语摘要
《视觉语言交互中的视觉推理研究》的作者牛玉磊博士于2020年在中国人民大学取得博士学会，后前往美国哥伦比亚大学开展博士后研究工作。本书从知识建模和知识推断两方面入手，深入研究了视觉语言交互任务中的视觉推理问题。
《视觉语言交互中的视觉推理研究》共五章：
第1章主要介绍了计算机视觉与自然语言处理交叉领域中交互类问题的研究背景，并分别从单轮交互、多轮交互、知识偏差三个角度选取了指称语理解、视觉对话、视觉问答三个经典任务展开讨论。
第2章主要介绍了单轮交互情形的代表性视觉推理任务，即指称语理解问题，提出了变分背景框架，根据视觉图像和指称语文本的联系及视觉物体之间的关系提取语义背景信息，并根据背景信息对指称语进行定位。
第3章介绍了多轮交互情形的代表性视觉推理任务，即视觉对话问题，提出了递归注意力机制，通过视觉指代消解的思想对图像、对话和问题之间的联系进行建模，优化视觉表示。
第4章介绍了知识偏差情形的代表性视觉推理任务，即视觉问答问题，基于因果推理提出了反事实视觉问答框架，在训练环境和测试环境的答案分布不一致情况下，通过因果效应的视角提取并去除语言偏差。
第5章对本书进行了总结，并对未来研究方向进行了展望。
作者简介
牛玉磊，美国哥伦比亚大学博士后，2015年和2020年于中国人民大学分别获得学士与博士学位。研究方向包括计算机视觉、机器学习、因果推理、多模态学习等，在国际著名学术会议和期刊上发表论文20余篇。担任BMVC 2022领域主席，AAAI 2023、IJCAI 2021高级程序委员会委员等学术职务。获2021年度CCF优秀博士学位论文奖、CVPR 2019视觉对话挑战赛冠军，被评为NeurIPS 2022、ICLR 2021、ICCV 2021的杰出审稿人。
目录
第1章 引言
1.1 研究背景 1
1.2 研究现状 5
1.2.1 指称语理解 6
1.2.2 视觉对话 8
1.2.3 视觉问答 11
1.3 研究内容与贡献 14
1.4 组织结构 17
第2章 单轮交互情形下的指称语理解
2.1 研究概述 20
2.2 相关工作 23
2.3 变分背景框架 26
2.3.1 问题表述 26
2.3.2 指称语理解 29
2.3.3 指称语生成 31
2.3.4 模型实现 32
2.4 实验结果 40
2.4.1 实验设置 40
2.4.2 指称语理解实验结果 44
2.4.3 指称语生成实验结果 55
2.5 小结 57
第3章 多轮交互情形下的视觉对话
3.1 研究概述 60
3.2 相关工作 64
3.3 预备知识 66
3.4 递归视觉注意力模型 66
3.4.1 判别模块 68
3.4.2 匹配模块 69
3.4.3 注意力模块 72
3.5 其他模块 73
3.5.1 语言特征表示 73
3.5.2 视觉特征表示 75
3.5.3 特征优化与融合 76
3.5.4 非线性映射 78
3.5.5 Gumbel离散采样 79
3.6 实验结果 80
3.6.1 实验设置 80
3.6.2 实现细节 82
3.6.3 对比方法 82
3.6.4 实验结果分析 85
3.7 小结 93
第4章 知识偏差情形下的视觉问答
4.1 研究概述 96
4.2 相关工作 101
4.3 预备知识 104
4.3.1 因果图 105
4.3.2 反事实表示 105
4.3.3 因果效应 106
4.4 基于简化因果图的反事实视觉问答 107
4.4.1 反事实视觉问答框架 108
4.4.2 技术实现 110
4.5 基于完全因果图的反事实视觉问答 115
4.5.1 反事实视觉问答框架 115
4.5.2 技术实现 116
4.6 实现细节 119
4.7 实验结果 120
4.7.1 实验设置 120
4.7.2 简化因果图实验结果 122
4.7.3 完全因果图实验结果 134
4.8 小结 137
第5章 总结与展望
5.1 创新总结 139
5.2 未来工作展望 141
5.2.1 视觉推理任务 142
5.2.2 知识建模 142
5.2.3 知识偏差 143
内容摘要
《视觉语言交互中的视觉推理研究》的作者牛玉磊博士于2020年在中国人民大学取得博士学会，后前往美国哥伦比亚大学开展博士后研究工作。本书从知识建模和知识推断两方面入手，深入研究了视觉语言交互任务中的视觉推理问题。
《视觉语言交互中的视觉推理研究》共五章：
第1章主要介绍了计算机视觉与自然语言处理交叉领域中交互类问题的研究背景，并分别从单轮交互、多轮交互、知识偏差三个角度选取了指称语理解、视觉对话、视觉问答三个经典任务展开讨论。
第2章主要介绍了单轮交互情形的代表性视觉推理任务，即指称语理解问题，提出了变分背景框架，根据视觉图像和指称语文本的联系及视觉物体之间的关系提取语义背景信息，并根据背景信息对指称语进行定位。
第3章介绍了多轮交互情形的代表性视觉推理任务，即视觉对话问题，提出了递归注意力机制，通过视觉指代消解的思想对图像、对话和问题之间的联系进行建模，优化视觉表示。
第4章介绍了知识偏差情形的代表性视觉推理任务，即视觉问答问题，基于因果推理提出了反事实视觉问答框架，在训练环境和测试环境的答案分布不一致情况下，通过因果效应的视角提取并去除语言偏差。
第5章对本书进行了总结，并对未来研究方向进行了展望。
主编推荐
牛玉磊，美国哥伦比亚大学博士后，2015年和2020年于中国人民大学分别获得学士与博士学位。研究方向包括计算机视觉、机器学习、因果推理、多模态学习等，在国际著名学术会议和期刊上发表论文20余篇。担任BMVC 2022领域主席，AAAI 2023、IJCAI 2021高级程序委员会委员等学术职务。获2021年度CCF优秀博士学位论文奖、CVPR 2019视觉对话挑战赛冠军，被评为NeurIPS 2022、ICLR 2021、ICCV 2021的杰出审稿人。
— 没有更多了 —
以下为对购买帮助不大的评价