基于生成对抗网络的人脸去模糊和复原研究与实现.pdf

基于生成对抗网络的人脸去模糊和复原研究与实现

摘要

本文旨在将遭受未知退化(模糊、噪声、低分辨率、压缩伪影、色彩缺失等)

的低质量人脸图像恢复为清晰、自然、和谐的高质量人脸图像。尽管当前基于深

度学习的方案在该任务中已经取得了较好的成就，但仍存在着人脸特征归一化偏

差和面部细节缺失等问题。因此，本文首先从人脸图像复原中最困难的去模糊任

务入手，逐步设计了两项基于生成对抗网络的人脸盲去模糊方案来解决人脸图像

去模糊任务。随后，在去模糊研究的基础上研究更具有挑战性的人脸图像复原任

务，并提出了一个基于高质量先验引导的人脸盲复原网络来解决人脸图像复原任

务。主要研究内容如下所示：

(1)为了解决人脸去模糊任务中存在的归一化偏差和细节特征缺失等问题。本文

设计了一种有效的基于可分离归一化和自适应反归一化的人脸去模糊方案。

因为传统的归一化会导致人脸和背景相互干扰，产生大量的归一化偏差，使

得生成的人脸结构难以调节，导致边界模糊。因此，设计了可分离归一化可

以在保留传统归一化的标准分布特征基础上，分别对人脸和背景区域进行归

一化，避免它们相互之间干扰。此外，提出了自适应反归一化来重建更详细

的人脸内容，恢复更对称的人脸结构信息。在两个公共数据集上的实验结果

表明，该方案恢复了具有更多面部细节的面部结构，并且在定量比较和定性

比较方面优于当前优秀的人脸去模糊方法。

(2)在上一项研究过程中发现当前大多数工作还存在过度依赖退化面部先验(直

接从低质量输入中提取的面部先验)导致去模糊结果不逼真、不和谐等问题。

因此，本文进一步提出了一种基于生成对抗网络的多尺度渐进式人脸盲去模

糊方案，它不需要任何面部先验，通过一个前馈过程就可以生成更真实的多

尺度去模糊结果。具体来说，该网络主要包括两个核心模块：特征保留模块

和纹理重建模块。前者可以充分利用不同的感受野来捕获非局部相似特征，

有利于网络恢复完整的结构。后者采用监督注意机制，充分利用恢复的低分

辨率人脸，在进一步传播之前细化每个尺度上的传入特征。此外，纹理重建

模块还通过拉普拉斯算子从恢复的低尺度人脸中提取高频纹理信息，指导后

续步骤逐步恢复更真实的人脸纹理细节。在三个不同分辨率公共数据集上的

实验结果证明了所提出方案相比于与其他先进方法具有更好的鲁棒性及泛

化性，获得了更好的定量评价指标和视觉效果。

(3)最后，为了解决更具有挑战性的人脸图像复原任务(同时去除多种退化)，本

文在上述研究的基础上提出了一个基于高质量先验引导的人脸图像复原方

案。它通过从粗复原图像中提取高质量的结构纹理先验和面部特征先验来帮

助重建出高质量的清晰人脸图像。随后在精细复原子网络中设计了面部特征

增强模块和非对称特征融合模块。前者可以通过利用高清面部特征先验(如

人脸轮廓、眼睛、鼻子、嘴巴等部位的位置、形状和大小等)来引导精细复原

过程中对面部特征信息的增强。后者可以融合筛选提取到的高质量非对称结

构和纹理信息，并将其嵌入到人脸精细复原过程中以促进整体结构和纹理信

息的恢复。在一个合成数据集和三个真实场景数据集上的定量对比实验和定

性对比实验结果表明，本文所提出的方案相比于该领域其他优秀人脸图像复

原方案拥有更佳的评价指标和视觉效果，以及具有健壮的鲁棒性和较好的泛

化性。

关键词：生成对抗网络，人脸去模糊，人脸复原，定量比较，定性比较

ResearchandImplementationofFaceDeblurringand

RestorationBasedonGenerativeAdversarialNetwork

ABSTRACT

Thisthesisaimstorestorelow-qualityfaceimagesthatsufferfromunknown

degradation(blurring,noise,lowresolution,compressionarti