基于生成对抗网络的图像修复算法研究.pdf

摘要

近年来，深度学习在图像修复领域备受瞩目，且取得一定的进展，然而现

有方法在现实复杂场景、大面积缺失的修复任务中仍然面临巨大的挑战，而且

在结构重建过程中缺乏与图像纹理有效交互，导致修复结果存在失真、模糊、

边界不清晰等问题。因此，如何构造新型的深度学习模型，生成修复图像的完

整性与一致性，仍是解决问题的主要研究方向。

本文提出双流网络用于图像修复，通过将结构约束的纹理合成与纹理引导

的结构重建进行交互，产生更为自然的结构。该网络在多个实验数据集上进行

实验验证，修复结果有着完整的结构与细致的纹理内容，符合视觉感知。主要

工作和创新成果如下：

（1）本文提出了双流多尺度图像修复网络。在特征提取与重建网络中使用

U-Net对图像进行编码与解码，通过引入邻域注意力模块（NAM），生成更合

理的内容和结构，从而增强细节表达。本文通过设计纹理结构特征融合模块

（TSFF）来优化修复网络，从而增强全局一致性；同时串联上下文特征聚合

（CFA）模块，对生成的内容进行精细化处理。通过实验表明，本方法在PSNR

指标上较基线方法高1.5dB左右。

（2）本文提出了基于双流多尺度图像修复网络的多人场景下的人脸遮挡修

复方法。该方法首先采用人脸检测网络有效地从多人场景中提取人脸信息，然

后通过遮挡检测网络判别人脸信息的遮挡与遮挡物轮廓的提取，最后基于双流

多尺度对抗网络实现多人场景下的人脸遮挡修复，还原人脸遮挡的信息，满足

安全领域及媒体应用的需求。

（3）设计开发基于Vue的图像修复APP。将（1）和（2）的研究方法进

行集成，开发了基于Vue的图像修复APP，通过远程服务器的部署以及客户端

的开发，为用户提供便携的实用工具，方便实时使用该算法进行图像的处理。

关键词：图像修复，生成对抗网络，双流网络，深度学习

Abstract

Intherecentyears,deeplearninghasbeenspotlightedintherealmofimage

inpainting,achievingnotableadvancements.Nonetheless,currentmethodologiesstill

faceformidablechallengesinreal-worldscenarioswithextensivemissingareas,

coupledwithalackintheinteractionbetweenimagetextureandstructural

reconstruction,leadingtorestorationsmarredbydistortions,blurriness,andunclear

boundaries.Thus,thedevelopmentofinnovativedeeplearningmodelstopreservethe

integrityandconsistencyofrestoredimagesisacriticalareaofongoingresearch.

Thispaperintroducesadual-streamnetworkforimageinpainting,fosteringa

morenaturalstructurethroughtheinterplaybetweentexturesynthesiswithstructural

constraintsandtexture-ledstructuralreconstruction.Validatedonmultiple

experimentaldatasets,therestorationresultsfeaturecompletestructuresanddetailed

texturesthatareconsisten