文档详情

基于深度学习的单视图三维人脸重建模型研究.pdf

发布:2025-06-09约11.18万字共78页下载文档
文本预览下载声明

摘要

摘要

基于深度学习的单视图三维人脸重建任务,旨在利用卷积神经网络将单张2D

人脸图像建模出准确逼真的3D人脸模型,该技术被广泛地应用于三维游戏、影视

广告、人脸动画、人脸识别等场景中。近年来深度学习技术飞速发展,进一步加快

了三维人脸重建课题的研究进程,卷积神经网络也为三维人脸重建的研究打开了

新思路。尽管如此,三维人脸重建研究工作中仍然存在许多困难,比如带标注的数

据集难以获取,复杂的神经网络难以训练,重建精度较低等,很大程度上限制了其

在现实场景中的广泛应用。本文将以重建出准确逼真的三维人脸模型为目标,从三

维形状和纹理两方面来进行研究。

在三维形状重建方面,针对三维人脸数据集难以获取,对单张人脸图片的三维

重建精度不高等问题,本文在人脸具有对称性的假设前下,采用一种无监督的三

维人脸重建方法,利用自编码器模型将任意单张RGB人脸图像分解成深度、反照

率、视角、光照等四个部分,重构出人脸3D形状模型,消除了数据集的限制。同

时,考虑到实际情况下人脸不完全对称,例如头发、表情、光照导致的人脸不对称,

本文通过预测对称可能性置信图来建模不一定对称的部分,并出新颖的多角度

一致性损失函数,使不同角度下的二维人脸特征保持一致,进一步升重建准确性。

本文在公开数据集BFM,CelebA和3DFAW上来完成实验,并与当前先进工作进

行定性和定量比较,本文重建结果更具细节性和真实性,且深度相关分数达到49.23,

优于无监督模型而接近监督性能,有效证明了本算法具有更高的准确性。

在人脸纹理补全方面,针对纹理缺乏人脸细节,人脸自遮挡导致人脸纹理缺失

等问题,本文出一种基于纹素的纹理取算法,直接从单张人脸图片结合三维形

状信息取出较准确的纹理信息,并使用一种新的网络框架来对缺失的人脸纹理

进行补全,得到语义一致且真实的完整纹理图。本文在数据集Multi-PIE上完成训

练和测试实验,PSRN指标达到30.1,SSIM达到0.924,均优于先前的工作,实现

了更准确真实的纹理补全。同时,本文结合三维人脸形状和补全的纹理得到完整的

3D人脸,将其旋转生成不同视角下的人脸图像,并进行人脸识别验证实验,识别

验证分数均达到0.9以上,证明补全的人脸纹理能够较好地保留特定于人脸的身份

信息。

关键词:三维人脸重建,深度神经网络,无监督学习,自编码器,纹理补全

I

ABSTRACT

ABSTRACT

Thesingle-view3Dfacereconstructiontaskbasedondeeplearningaimstouse

convolutionalneuralnetworktomodel2Dfaceimagesintoaccurateandrealistic3Dface

models.Thistechnologyiswidelyusedin3Dgames,filmandtelevisionadvertising,face

animation,facerecognitionandotherscenes.Withoutotherexternalsupervision

information,howtoaccuratelyreconstruct3Dfaceusingonlyasingle2Dfaceimagehas

becomeahotresearchtopicincomputervisionandotherrelatedfields.Inrecentyears,

therapiddevelopmentofdeeplearningtechnologyhasfurtheracceleratedtheresearch

processof3Dfacereconstruction.Convolutionalneuralnetworkalsoopensanewid

显示全部
相似文档