基于注意力机制的多模态情感分析研究.pdf
摘要
情感分析是自然语言处理领域的重要研究任务之一。随着社交媒体和短视频平台
越来越受欢迎，人们表达情感的方式也越加丰富，同时情感分析在心理诊疗、人机交
互和社会舆情等多模态应用领域起着关键性作用。由于多模态场景更为丰富和常见，
并且不同模态的信息表达相互影响，而传统的文本、图像和语音等单模态情感分析难
以应对上述情况，因此研究者们逐渐将研究从传统的单模态情感分析转向了多模态情
感分析。以往的多模态情感分析研究大多利用不同的特征提取技术得到多模态特征表
示，然后将特征融合后得到多模态信息的联合表示来进行情感分析，虽然保证了信息
的完整性，但由于模态的贡献度和语义丰富度可能存在较大差异，模态的交互融合和
模态的噪声信息等问题均可能会影响多模态情感分析。为此，本文提出了基于堆叠交
叉注意力CLIP的多模态情感分析和基于增强注意力机制的三模态情感分析模型，通
过模态的交互融合和抑制模态的噪声信息等方面来提升模型的情感分析能力，同时最
后实现了一个简易的多模态情感分析可视化系统。以下是本文的主要研究工作：
(1)在图文情感分析中，由于不同的模态天然跨度较大，在使用不同的模型独立
提取模态特征后，后续也难以有效融合，为了实现更加高效的模态交互和信息利用，
本文提出了基于堆叠交叉注意力CLIP的多模态情感分析模型。首先利用CLIP预训
练对比模型得到高度相关的图像和文本模态特征信息，然后利用堆叠交叉注意力充分
对图像和文本模态交互融合，并利用自注意力中的可学习常量来学习情感信息。在
MVSA-Single数据集和MVSA-Multiple数据集上的大量实验证明了模型的有效性。
(2)在视频三模态情感分析中，由于模态语义丰富度和贡献度差异可能导致主要
模态信息被弱化和次要模态信息被强化，以及模态的噪声信息问题，本文提出了基于
增强注意力机制的三模态情感分析模型。整个模型以文本模态作为主导模态，利用基
于改进的Transformer来强化文本模态和将其他模态映射到文本模态，同时利用跨模
态注意力将所有模态进行充分融合，最后采用残差连接来减小模型过拟合的风险，互
信息最大化来抑制模态的噪声信息。在CMU-MOSI数据集和CMU-MOSEI数据集上
的大量实验证明了模型的有效性。
(3)实现多模态情感分析可视化系统，通过对业务需求和功能需求进行深入分析，
并对可视化系统的技术选型、架构和数据库表进行了设计。在此基础上，开发了一个
初级的简易的多模态情感分析可视化系统。
关键词：情感分析；注意力机制；深度学习；多模态交互
II
目录
第一章绪论1
1.1研究背景和意义1
1.1.1研究背景1
1.1.2研究意义1
1.2国内外研究现状2
1.2.1单模态情感分析的研究现状2
1.2.2多模态情感分析的研究现状4
1.3本文研究内容6
1.4本文的组织结构7
第二章相关理论技术8
2.1模态特征提取8
2.1.1文本模态特征提取8
2.1.2视觉模态特征提取10
2.1.3声学模态特征提取12
2.2深度学习基础算法模型13
2.2.1卷积神经网络13
2.2.2长短期记忆网络14
2.2.3Transformer16
2.2.4注意力机制17
2.3多模态融合18
2.3.1特征级融合18
2.3.2决策级融合19
2.3.3混合融合20
2.4本章小结20
第三章基于堆叠交叉注意力CLIP的多模态情感分析21
3.1引言21
3.2模型概述22
3.2.1提取模态特征模块22
3.2.2堆叠交叉注意力