基于生成对抗网络的人脸图像修复方法研究.pdf

摘要

人脸图像修复作为图像处理领域的一部分，其利用已知像素的信息重构出合

理、清晰、语义合适的图像。在实际应用中，人脸识别在从图像中获取人脸特征

来识别人物的信息时，受到网络通信因素的影响，或外物遮挡人脸等都会影响人

脸识别率。现有的基于深度学习的图像修复技术在修复人脸图像时取得良好效

果，但在修复存在较大破损区域的人脸图像和修复不规则掩膜时，仍然存在图像

修复区域模糊、语义不明确等问题。针对上述问题展开，主要研究工作概括如下：

（1）提出一种基于边缘轮廓先验对抗网络的人脸图像修复方法。针对目前

修复不规则掩膜人脸图像修复后人脸图像存在细节模糊，无法合成精细的纹理细

节和存在多级特征信息间的关联性不足问题，构建了基于边缘轮廓先验对抗网络

的人脸图像修复方法。该方法由两个生成对抗网络、也就是轮廓生成网络和和修

复网络组成，轮廓生成网络生成与真实图像轮廓近似的图形，投入到修复网络中

作为先验信息。在修复网络中由利用残差块和远距离信息增强模块，通过远距离

信息增强模块聚合图像特征，这可以提高修复网络的生成能力，继而提高了人脸

图像中脸部缺失特征的修复质量。通过生成对抗网络中修复网络和判别网络的博

弈，迫使修复图像生成与原始图像更接近的图像。通过定性和定量实验比较，研

究结果表明，所提方法有效增强了人眼视觉感知且在质量评价指标有所提升。

（2）提出一种基于双判别器对抗网络的人脸图像修复方法。针对重建较大

面积缺失的人脸图像后，存在缺失区域的边缘信息无法准确地合成的问题，导致

的生成修复结果存在局部结构扭曲不完整和局部破损区域修复后纹理不够清晰

的问题，构建了基于双判别器对抗网络的人脸图像修复方法。该方法由一个生成

对抗网络、也就是一个修复网络和两个判别器组成，在修复网络中加入了自监督

注意力机制和残差连接来提高模型修复能力，获取更多连续的像素信息。并且采

取了局部和全局两个判别器分别用来约束破损区域和确保图像整体语义信息保

持不变。通过相关实验验证，实验结果表明该模型能有效提升结构完整性和纹理

清晰性。

关键词：图像修复，生成对抗网络，残差网络，注意力机制

Abstract

Faceimagerestoration,asapartoftheimageprocessingfield,utilizesthe

informationofknownpixelstoreconstructareasonable,clearandsemantically

appropriateimage.Inpracticalapplications,facerecognition,whenacquiringface

featuresfromimagestorecognizeinformationaboutaperson,isaffectedbynetwork

communicationfactors,orexternalobjectsthatobscurethefacecanaffecttheface

recognitionrate.Existingdeeplearning-basedimagerestorationtechniquesachieve

goodresultsinrestoringfaceimages,butwhenrestoringfaceimageswithlarge

brokenareasandrestoringirregularmasks,therearestillproblemssuchasblurred

imagerestorationareasandunclearsemantics.Aimingattheaboveproblems,the

mainresearchworkissummarizedasfollows:

(1)Afaceimagerestorationmethodbasedonedgecontouraprioriadversarial

networkisproposed.Aimingatthecurrentproblemofblurringdetailsinfaceimages

afterrepairingir