多媒体多模态融合的情感分析网络

第1章绪论

1.1研究背景与意义

1.2国内外研究现状

1.2.1基于生成式网络的多模态学习研究1.2.2基于线性交互的多模态学习研究

1.2.3基于 Transformer网络的多模态学习研究1.2.4基于注意力机制的多模态学习研究

1.2.5多模态情感分析数据库

1.3本书研究的内容

1.4本书章节安排

第2章基于对偶转换网络的多模态情感信息融合网络

2.1引言

2.2基于对偶转换网络的多模态融合网络构建

2.2.1对偶转换网络

12.2.2多模态卷积融合网络

2.2.3.分层多模态情感信息融合框架

2.3实验与分析

6012.3.1模型性能衡量指标

2.3.2特征提取与对比模型介绍

2.3.3实验结果与分析

2.4本章小结

第3章基于张量池化的多模态情感信息融合网络3.1引言

3.2基于张量池化的多模态融合网络构建3.2.1高阶多项式张量池化

3.2.2分层多模态情感信息融合框架3.2.3混阶多项式张量池化

3.2.4树状分层多模态情感信息融合框架3.3实验与分析

3.3.1模态特征提取

3.3.2对比模型和模型性能指标

3.3.3模型训练和实验设置

3.3.4实验结果与分析

3.4本章小结

第4章基于多路注意力网络的多模态情感信息融合网络4.1引言

4.2基于多路注意力网络的多模态融合网络构建4.2.1张量网络介绍

4.2.2自注意力机制和跨模态注意力机制介绍4.2.3多路多模态Transformer网络

4.2.4分层多模态情感信息融合框架

4.3实验与分析

4.3.1模型性能评估指标

4.3.2对比模型与训练细节

4.3.3实验结果与分析

4.4本章小结

第5章基于双向注意力胶囊网络的多模态情感信息融合网络5.1引言

5.2基于双向注意力机制的多模态融合网络构建5.2.1多模态动态增强模块

5.2.2双向注意力胶囊网络

5.3实验与分析

5.3.1模型性能评估指标

5.3.2训练细节和对比模型

5.3.3实验结果与分析

5.4本章小结

第6章总结与展望

参考文献

第1章绪论

1.1研究背景与意义

情感是个体对客观事物是否满足自身需求而产生的一种主观态度”。当面对同一个客观事物时，个体所产生的情感也和个体本身的独特个性存在一定关联性{]。鉴于人类能够根据产生的情感给予外界事物一定反馈，情感能够帮助人类在以人为主导的现代复杂社会体系中进行更为高效合理的认知学习、沟通交流等。近年米，随着人工智能理论与科学技术的迅猛发展，人们对更为便捷、智能的生活环境的需求也随之急剧增加。但是，现有人工智能技术主要依赖于传统逻辑推理式计算机系统，只能达到技术层面上的智能，而无法达到真正意义上的情感层面的智能。因此，大量研究团队都致力于研究如何赋子计算机理解人类情感状态和迅速给予人类情感反馈的能力，并试图构建得到一种智能和谐的人机交互环境“，即使得计算机具有优越的情感分析性能5

随着多媒体和网络技术的高速发展，计算机将应对大量文本模态、语音模态”和视频模态[8等多媒体数据的处理分析工作。例如，大量的网络用户会在微博、豆瓣和爱奇艺等社交和视频平台上发表对当前热点舆论事件和影视剧的看法评价，以及在淘宝、京东，美团等购物网站上发表关于商品的品质评价。以上海量文本评价数据中包含着用户对当前社会事件、影视剧、商品的观点信息，而这些观点文本信息中包含着大量的主观性情感信息”。随着消费方式的转变，人们倾向于在购物前浏览该商品的评价，如果评价更偏向正面积极，则人们更愿意为该商品买单消费;如果评价更偏向负面消极，则人们在很大程度上会放弃购买该商品。可以发现，公开平台上的评价文本信息一定程度上能够影响消费者的决策和判断。如何基于以上具有主观性情感色彩的多媒体数据进行有效的情感分析，是当前人工智能技术面临的极大挑战。

为了更准确地了解大众对商品的评价，很多平台都在致力于构建高效的情感文本分析模型解析文本所包含的消费者主观性情感信息10]。例如，美团搭建了一个为商家提供大数据分析支持的知识图谱平台(美团商业大脑)，该平台根据用户的文本评价得到用户对商家的总体印象信息以及商品的受欢迎程度信息，从而帮助商家优化对应的经营策略。淘宝等购物平台根据消费者的搜索浏览记录信息以及商品评价信息，分析消费者对特定商品的偏好程度，为消费者制定特定商品推送服务[12]。阿里云开发了人工智能系统“小Ai”，该系统采用文本情感分析技术对社交平台上的观众点评信息进行分析，最终成功预测了某次比赛中某位歌手的夺冠结果。微软开发了“小冰”情感交互机器人[13]，该机器人根据用户的文本信息解析出用户的情感状态，并给予怡当的文本反馈信息。竹间智能推出了一系列智能客服服务00，通过通用语义引擎有效学习得到用户情绪状态，并及时给予消费者对应的应答信息。阿里云开发了以消费者为中心的智能对话机器人小蜜[15]，它能够基于文本信息精确理解消费者关于商品的疑问和需求，同时迅速给予消费者对应的解决方案。基进1除了以上基于文本模态的情感分析之外，基于语音模态的情感分析也引起了国内外研究者的广泛关注16-18]。研究者通过将声学统计特征和说话者情感状态进行建模关联分析，可以有效得到两者的映射关系。为了给语音情感分析模型提供可靠的训练样本数据，研究……

本书针对现有多模态情感信息融合网络在输入层、池化层、局部交互层面和全局交互层面存在的多个问题，提出了对应的多个多模态情感信息融合网络。这些网络能够有效解决多模态情感信息融合网络中输入层的模态缺失问题、池化层的模态个数和模态交互阶数受限问题、局部交互层面的模态个数和模态交互方向受限问题以及全局交互层面的情感上下文信息学习不充分的问题。同时，本书所提出的多模态情感信息融合网络在多模态情感分析任务中均表现优异，为现有多模态情感分析领域提供了新的研究思路和技术手段。本书适合作为高校计算机专业的本科高年级学生及研究生参考用书。