基于特征融合与深度学习的面部表情识别研究.pdf
基于特征融合与深度学习的面部表情识别研究
摘要
面部表情是人类用来表达内心情感、意图或人际交流中最普遍的信息交流
形式之一。近年来，随着人工智能的发展，如何使机器快速准确的理解面部表
情，实现高效精准的人机交互已成为目前人工智能领域研究热点。然而，当前
对人脸表情的特征提取受到多方面因素的制约，例如光照强度、人脸角度、面
部遮挡、年龄、种族以及样本量的不足等。这为算法在表情识别方面的性能提
升带来了一定的挑战，在不过多增加参数量的情况下增强网络的特征提取能力
是本文研究的重点。具体的研究内容如下：
（1）针对深度学习方法在数据集样本量较少时识别表情容易出现过拟合的
问题，提出一种基于局部特征与深度特征融合的面部表情识别算法。首先采用
KAZE提取局部特征，采用局部约束线性编码对KAZE提取的特征进行编码，
使特征得到进一步的抽象。然后对表情提取LBP特征后，利用提出的浅层卷积
神经网络获取全局深度特征。最后，将局部特征与全局深度特征融合，由MLP
进行图像分类。实验结果表明，在样本量较少的情况下该算法具有较高的准确
率，对局部特征的有效提取有助于浅层卷积神经网络的性能提升。
（2）针对大姿态与遮挡等复杂面部表情识别困难的问题，提出一种基于多
级特征共享的多分支面部表情识别算法。首先，结合分组卷积提出一种新的残
差模块以获取局部特征；网络以ResNet18为主干，利用提出的残差模块构建一
个多分支网络，为减小特征冗余，使不同分支在不同程度上共享低维特征，减
小了参数量。然后，提出跨分支混合注意力将网络隐含的关注信息向不同分支
传递，使各分支学习有效特征，从而加快网络收敛。最后，将各分支的决策结果
进行集成，以实现对图像的准确分类。通过消融实验证明了该算法各模块的有
效性，并与现有方法进行对比，证明了本算法的优越性。
（3）针对图像模糊与面部表情本身的复杂性引起标注歧义的问题，提出一
种基于不确定性估计与重新标注的面部表情识别算法。首先，在表情图像经由
卷积神经网络获得嵌入特征后，将其送入不确定性鉴别模块获得表情的重要性
权重。然后，采用自适应三元组损失根据该权重对嵌入特征进行约束，同时加
权交叉熵损失则根据该权重降低样本对模型的影响。最后，对于权重较低的样
-I-
本重新生成标签用于分类。实验结果表明，该方法可有效抑制标注错误的图像，
从而提高表情识别能力。
关键词面部表情识别；特征融合；残差网络；注意力机制；不确定性估计
-II-
ResearchonFacialExpressionRecognitionBasedon
FeatureFusionandDeepLearning
Abstract
Facialexpressionsareoneofthemostcommonformsofinformationexchange
usedbyhumanstoexpressinneremotions,intentions,orinterpersonalcommunication.
Inrecentyears,withthedevelopmentofartificialintelligence,howtoenablemachines
toquicklyandaccuratelyunderstandfacialexpressionsandachieveefficientand
accuratehuman-computerinteractionhasbecomeacurrentresearchhotspotinthe
fieldofartificialintelligence.However,thecurrentfeatureextractionoffacial
expressionsisrestrictedbymanyfactors,suchasilluminationinten