基于注意力机制的短文本情感分析研究.pdf

基于注意力机制的短文本情感分析研究

摘要

短文本情感分析的任务在于如何在有限的语义表征长度内捕捉尽可能多的情

感关系。本研究主要关注短文本的情感分析方法，并结合不同的注意力方法和层

次结构，提升模型关注情感信息的能力，从而提高分析的准确性。本文的主要研

究内容如下：

首先，针对网络结构多层堆叠常引发的梯度爆炸问题，提出了基于密集连接

门控和自注意力的短文本分析模型SA-DBG。该模型首先在门控卷积单元中引入

了密集连接网络结构，通过双向GRU加快对特征的处理速度，同时允许递归处

理。这种方法弥补了神经网络不能完全提取上下文信息的缺点，同时注意力层也

能捕捉到句子中更加重要的部分；该方法还在池化层中引入了自注意力机制，通

过相关矩阵来判断各个窗口的相关性、重要性，其中一些窗口可以表示句子中有

意义的单词，有助于提升模型在数据集上的表现。

其次，针对大多数网络融合模型无法充分利用情感依赖关系、无法充分表征

词义的缺点，本文提出了基于依赖图注意和交互注意力的方面情感分析方法

IDM-GAT，在全局信息提取层面，提出了通过计算依赖注意权重提取短文本稀疏

情感信息的方法；在局部信息提取层面，提出使用交互结构充分整合方面词和上

下文词的信息，延用了SA-DBG的思想，同时使用注意力和平均池化两种方法。

最后，针对文本长度较短导致语义信息不完整的问题，本文在IDM-GAT的

基础上提出了一种基于情感知识的多层次注意力方面情感分析方法。为了改进生

成的词向量的情感表示，在预训练阶段添加了情感知识；其次对于依赖图注意模

块生成的依赖矩阵，融合SenticNet5情感词典弥补了短文本中常省略常识性信息

的缺点，同时情感常识知识的扩充对于方面词的定位也起到了积极作用。

此外，本文在4个经典的情感分析数据集上进行了对比实验、消融实验、参

数实验，验证所提三种改进方法的可行性和有效性，实验结果表明本文提出的方

法相较于其它深度学习方法取得了更好的效果。

关键词方面情感分析；依赖图注意；层次注意力；自注意力；门控卷积网络

ResearchonShortSentimentAnalysisBasedon

AttentionMechanism

Abstract

Thetaskofshorttextsentimentanalysisliesinhowtocaptureasmanysentiment

relationsaspossiblewithinalimitedlengthofsemanticrepresentation.Thisstudy

focusesonsentimentanalysismethodsintermsofshorttexts、combinesdifferent

attentionmethodsandhierarchicalstructuresinordertoimprovethemodelsabilityto

focusonsentimentinformationandincreasetheaccuracy.Themainresearchofthis

paperisasfollows:

First,ashorttextanalysismodelSA-DBGbasedondenseconnectiongatingand

self-attentionisproposedforthegradientexplosionproblemoftentriggeredbymulti-

layerstackingofnetworkstructures.Themodelfirstintroducesadenselyconnected

net