基于深度学习的表情识别关键技术研究.pdf

成都信息工程大学硕士学位论文

基于深度学习的表情识别关键技术研究

摘要

表情识别作为图像识别领域内的一个分支工作，在一些场景下具有重要的意

义，比如驾驶场景下的疲劳监测，教学场景下的注意力监测，医疗场景下的耐受

度监测等。通过表情识别来对目标的生理心理状态进行分析，有助于医疗，教育，

安防等工作更加高效的开展。近年来随着深度学习领域技术的发展，图像识别工

作得到了极大的发展，本文分析表情识别工作现存难点，并对深度学习下的表情

识别关键技术进行了研究，主要包括以下几点：

(1)人脸表情丰富且复杂，目前的表情数据集普遍数据量不足，训练得到的

模型权重会存在一定的过拟合问题，因此考虑在数据增强方面开展一定的工作。

首先分析GANimation算法生成表情实验中存在表情部分特征点模糊问题，改进

GANimation网络中生成器中的残差块结构，同时引入内容损失以及纹理损失，

帮助生成器训练，提升生成图像的质量。通过实验验证改进后GANimation算法

生成的表情图像质量有了一定的提升，接着选用部分表情数据利用改进后

GANimation算法进行数据扩充构建EM-FER数据集用于后续的表情识别工作。

(2)结合深度学习知识，在稠密卷积神经网络DenseNet121的基础上进行研究，

提出一种融合注意力机制的多尺度稠密网络。首先，针对DenseNet121提取复杂

表情特征能力不足的问题，引入了多尺度特征提取稠密块替代其中的DenseBlock

用于提取不同尺寸的特征；其次，使用多尺度特征提取卷积块替代DenseNet121

头部的大卷积核，进一步丰富特征的提取；最后，为了从通道维度上提取到更重

要的特征，考虑结合ECA通道注意力机制来帮助提升模型性能。实验证明本章

提出的模型在FER2013，CK+，以及自建EM-FER数据集上识别准确率相比

DenseNet121分别提升了2.034%，3.031%，2.645%，与其他常用分类模型对比

也有一定优势。

(3)在以上工作的基础上，考虑到追求识别精度提升带来的模型参数较重，

效果和实用性不能兼顾的问题，选用浅层稠密卷积神经网络DenseNet40继续研

究。首先针对模型对旋转畸变的鲁棒性较差的问题，引入参数量较少的非对称卷

积块；为了进一步实现模型轻量化，使用通道剪枝算法对模型进行剪枝处理，最

FER2013CK+

终提出了基于非对称卷积的轻量化稠密网络。该模型在，，以及自

建EM-FER数据集上相比DenseNet40依然提升了2.285%%，3.457%，2.634%，

参数却只有DenseNet40的64%，融合注意力机制的多尺度稠密网络的18%，模

型在保证识别效果的同时实现了轻量化。

关键词：表情识别，深度学习，卷积神经网络，生成对抗网络

ii

成都信息工程大学硕士学位论文

ResearchonKeyTechnologiesofExpressionRecognitionBasedon

DeepLearning

ABSTRACT

Asabranchofimagerecognition,facialexpressionrecognitionhasimportant

significanceinsomescenarios,suchasfatiguemonitoringindrivingscenarios,

attentionmonitoringinteachingscenarios,andtolerancemonitoringinmedical

scenarios.Analyzingthephy