基于深度学习的单视图三维人脸重建模型研究.pdf

摘要

摘要

基于深度学习的单视图三维人脸重建任务，旨在利用卷积神经网络将单张2D

人脸图像建模出准确逼真的3D人脸模型，该技术被广泛地应用于三维游戏、影视

广告、人脸动画、人脸识别等场景中。近年来深度学习技术飞速发展，进一步加快

了三维人脸重建课题的研究进程，卷积神经网络也为三维人脸重建的研究打开了

新思路。尽管如此，三维人脸重建研究工作中仍然存在许多困难，比如带标注的数

据集难以获取，复杂的神经网络难以训练，重建精度较低等，很大程度上限制了其

在现实场景中的广泛应用。本文将以重建出准确逼真的三维人脸模型为目标，从三

维形状和纹理两方面来进行研究。

在三维形状重建方面，针对三维人脸数据集难以获取，对单张人脸图片的三维

重建精度不高等问题，本文在人脸具有对称性的假设前下，采用一种无监督的三

维人脸重建方法，利用自编码器模型将任意单张RGB人脸图像分解成深度、反照

率、视角、光照等四个部分，重构出人脸3D形状模型，消除了数据集的限制。同

时，考虑到实际情况下人脸不完全对称，例如头发、表情、光照导致的人脸不对称，

本文通过预测对称可能性置信图来建模不一定对称的部分，并出新颖的多角度

一致性损失函数，使不同角度下的二维人脸特征保持一致，进一步升重建准确性。

本文在公开数据集BFM，CelebA和3DFAW上来完成实验，并与当前先进工作进

行定性和定量比较，本文重建结果更具细节性和真实性，且深度相关分数达到49.23，

优于无监督模型而接近监督性能，有效证明了本算法具有更高的准确性。

在人脸纹理补全方面，针对纹理缺乏人脸细节，人脸自遮挡导致人脸纹理缺失

等问题，本文出一种基于纹素的纹理取算法，直接从单张人脸图片结合三维形

状信息取出较准确的纹理信息，并使用一种新的网络框架来对缺失的人脸纹理

进行补全，得到语义一致且真实的完整纹理图。本文在数据集Multi-PIE上完成训

练和测试实验，PSRN指标达到30.1，SSIM达到0.924，均优于先前的工作，实现

了更准确真实的纹理补全。同时，本文结合三维人脸形状和补全的纹理得到完整的

3D人脸，将其旋转生成不同视角下的人脸图像，并进行人脸识别验证实验，识别

验证分数均达到0.9以上，证明补全的人脸纹理能够较好地保留特定于人脸的身份

信息。

关键词：三维人脸重建，深度神经网络，无监督学习，自编码器，纹理补全

I

ABSTRACT

ABSTRACT

Thesingle-view3Dfacereconstructiontaskbasedondeeplearningaimstouse

convolutionalneuralnetworktomodel2Dfaceimagesintoaccurateandrealistic3Dface

models.Thistechnologyiswidelyusedin3Dgames,filmandtelevisionadvertising,face

animation,facerecognitionandotherscenes.Withoutotherexternalsupervision

information,howtoaccuratelyreconstruct3Dfaceusingonlyasingle2Dfaceimagehas

becomeahotresearchtopicincomputervisionandotherrelatedfields.Inrecentyears,

therapiddevelopmentofdeeplearningtechnologyhasfurtheracceleratedtheresearch

processof3Dfacereconstruction.Convolutionalneuralnetworkalsoopensanewid