一种基于参数化模型和位置图的多度量三维人脸重建方法

摘要

本发明公开了一种基于参数化模型和位置图的多度量三维人脸重建方法，首先，对二维人脸图像对应的三维人脸数据进行预处理；其次，将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数；然后，构建记录三维人脸点云数据的位置图，并将其与输入二维人脸图像堆叠生成位置图子网络的输入数据；并将生成的结果输入位置图子网络，回归估计三维人脸的位置图表示；最后，设计损失函数并对模型进行训练。本发明实现对可能出现的各种类型场景的覆盖，有效提升了网络的泛化能力，实现高精度并且更鲁棒的人脸重建效果，对三维人脸重建的研究与应用具有重要的理论意义和应用价值。

说明书

技术领域

本发明属于计算机视觉、模式识别、深度学习领域，具体涉及一种基于参数化模型和位置图的多度量三维人脸重建方法。

背景技术

随着计算机硬件的快速发展和大数据时代的来临，计算机视觉领域获得了蓬勃的发展。基于单幅图像的三维人脸重建作为计算机视觉领域重要方向，在人脸识别、游戏动画、虚拟现实等方面有着重要应用。因此，如何提升基于单幅图像的三维人脸重建的效果是计算机视觉领域应用中亟待解决的问题。

传统的基于单幅图像的三维人脸重建主要分为两类：其一是基于单一模板的重建方法；其二是基于三维人脸的参数化模型的重建方法。前者通过变形一个人脸模板，使得它与输入图像的人脸尽可能保持一致。后者通过一系列真实三维人脸数据构建一个可以表示不同身份不同表情的人脸参数化模型，并把三维人脸参数化模型与输入二维人脸图像进行注册，通过最小化能量函数重建相应三维人脸。1999年，Blanz和Vetter提出了三维人脸形变模型(3DMM)。从此，基于三维人脸形变模型的方法成为了基于单幅人脸图像的三维人脸重建任务中极受欢迎的方法。

深度学习的发展和计算机的运算能力的大幅提高，采用深度卷积网络(CNN)从单幅人脸图像估计三维人脸形变模型参数的方式重建三维人脸成为潮流。但是，基于三维人脸形变模型的方法，受限于线性模型空间的限制，表达能力有限，无法捕获三维人脸的非线性和高频细节。因此，近年来学界提出了几种新型的三维人脸表示方法，以绕过线性模型空间的限制，获得更高自由度的三维人脸估计。现有的方法有通过CNN回归体素表示的三维人脸结构，或通过CNN回归UV位置图表示的三维人脸，获得相对VRNet更高点云分辨率的三维人脸。但是，采用体素或UV位置图表示三维人脸也舍弃了3DMM蕴含的人脸先验知识，导致重建网络的复杂度增加和鲁棒性下降。

发明内容

发明目的：为克服上述现有技术的不足，本发明提供一种基于参数化模型和位置图的多度量三维人脸重建方法，实现高精度并且更鲁棒的人脸重建效果。

技术方案：本发明所述的一种基于参数化模型和位置图的多度量三维人脸重建方法，包括以下步骤：

(1)数据预处理与增强：对二维人脸图像对应的三维人脸数据进行预处理，转化为参数化模型和位置图两种表示方式，并将三维人脸形变模型的基向量转化为位置图表示，同时进行数据增强操作；

(2)参数子网络设计：将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数；

(3)位置图子网络输入数据生成：通过参数子网络获得的姿态参数、三维人脸形变模型的身份参数和表情参数，构建记录三维人脸点云数据的位置图；并将其与输入二维人脸图像堆叠生成位置图子网络的输入数据；

(4)位置图子网络设计：将步骤(3)中生成的结果输入位置图子网络，回归估计三维人脸的位置图表示；

(5)损失函数设计与三维人脸重建模型训练：将步骤(3)获得的由参数构建的位置图与真值参数构建的位置图计算加权均方误差损失函数；并由步骤(4)获得的位置图与位置图真值计算加权均方误差损失函数；以两个损失函数求和为整体的损失函数；依据整体损失函数不断迭代优化，端到端的对步骤(2)到步骤(4)构建的整体网络进行训练，获得最终的三维人脸重建模型；

(6)输出测试结果：将原始待重建的二维人脸图像进行裁剪缩放后，输入步骤(5)生成的三维人脸重建模型中，获得对三维人脸的参数形式估计和位置图形式估计。

进一步地，步骤(1)所述的数据增强包括图片缩放、水平翻转、随机平移、随机旋转、颜色通道缩放、添加噪声、灰度化及随机生成遮挡块。

进一步地，步骤(2)所述参数子网络采用深度残差网络ResNet50，网络最后的全连接层输出234个元素。

进一步地，步骤(4)所述的位置图子网络采用采用沙漏网络，通过回归位置图形式记录的三维人脸数据。

进一步地，所述步骤(5)实现过程如下：

参数子网络的损失函数采用的加权均方误差损失函数，其形式如下：

其中：x，y表示任意像素坐标，P

位置图子网络的损失函数采用加权均方误差损失函数，其形式如下：

其中：x，y表示任意像素坐标，P

整体损失函数形式如下：

L

其中，L

有益效果：与现有技术相比，本发明的有益效果：1、本发明针对无约束情况下的复杂场景，采用了比现有技术更加多样化的数据增强方法，实现对可能出现的各种类型场景的覆盖，有效提升了网络的泛化能力；2、本发明作为一种多度量回归网络，包含参数子网络和位置图子网络，网络从两种角度回归三维人脸，训练过程，参数子网络更关注于回归三维人脸的线性部分，位置图子网络更关注于回归三维人脸的非线性特征和高频细节，两个子网络分工明确，相互促进，使得网络最终获得更精准更鲁棒的结果；3、本发明对参数子网络的输出结果转换为位置图计算损失函数，有效地避免对不同参数分配不同权重的必要。

附图说明

图1为本发明的流程图；

图2为基于参数化模型和位置图的多度量三维人脸重建方法的整体网络结构图；

图3为基于参数化模型和位置图的多度量三维人脸重建方法的位置图子网络结构图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明提出一种基于参数化模型和位置图的多度量三维人脸重建方法，如图1所示，具体包括以下步骤：

步骤1：数据预处理与增强：对二维人脸图像对应的三维人脸数据进行预处理，转化为参数化模型和位置图两种表示方式，并将三维人脸形变模型的基向量转化为位置图表示，同时进行多种数据增强操作。

本发明的数据预处理首先将一个非刚性的网格模板应用到原始扫描中，然后将顶点(x，y，z)的空间信息存储到一个UV空间中。最后，进行二维最近邻点插值来填补缺失值。本发明的数据增强除了常用的图片缩放、水平翻转、添加噪声外，还通过如下数据增强操作，使得训练数据涵盖了各种实际情况：(1)以一定概率对图片采用灰度化操作。(2)为了有效处理具有遮挡的图像，针对面部的眼睛、眉毛、鼻子、嘴唇和外轮廓等部位生成遮挡模块。(3)在二维图像平面进行随机旋转。旋转后目标人脸的滚转角在-45度到45度之间，而非旋转角度在-45度到45度之间。因为后者叠加图像人脸原有角度后，可能会产生过大滚转角。采用这样的数据增强方式，覆盖了现实中的各种情况，同时极大地增大了数据量。

步骤2：参数子网络设计：将无约束的二维人脸图像预处理后送入参数子网络，回归得到姿态参数、三维人脸形变模型的身份参数和表情参数。

参数子网络采用ResNet50为网络骨架，将最后全连接输出层的输出元素数修改为234。参数子网络得到的参数采用如下公式计算三维人脸点云：

其中：S为三维人脸形变模型参数表示的有n＝53215个点的三维人脸点云，

步骤3：位置图子网络输入数据生成。

通过参数子网络获得的姿态参数、三维人脸形变模型的身份参数和表情参数，以及由步骤一预先构建的三维人脸形变模型基向量位置图，从而将参数转换为位置图。并将其与输入二维人脸图像堆叠生成位置图子网络的输入。所得位置图和输入二维人脸图像大小均设置为256×256。

步骤4：位置图子网络设计。

将步骤3中生成的结果输入位置图子网络，回归估计三维人脸的位置图表示。本发明中位置图子网络采用沙漏网络(hourglass network)。沙漏网络包含解码器，编码器，跳跃连接三个部分。输入首先通过三个3×3的卷积层，得到大小为256×256×16的特征图。随后特征图反复通过由两个残差块(3×3卷积)和一个最大池化层(2×2，步长为2)构成的单元，将输入特征图编码成大小为8×8×512的特征图。解码器部分由残差块和反置卷积层构成，将编码信息解码为256×256×3的特征图。同时在每次下采样之前，编码器都会生成一个跳跃连接，通过一个残差块后与相应大小的解码器输出特征图相加。最终构成的沙漏网络具体结构如图3所示。

步骤5：损失函数设计与三维人脸重建模型训练。

将步骤3得到的由参数构建的位置图与真值参数构建的位置图计算加权均方误差损失函数；并由步骤4得到的位置图与位置图真值计算加权均方误差损失函数；以两个损失函数求和为整体的损失函数。依据整体损失函数不断迭代优化，端到端的对步骤2到步骤4构建的整体网络进行训练，如图2所示，获得最终的三维人脸重建模型。

整体网络的损失函数由两部分构成：参数子网络损失函数和位置图子网络损失函数。参数子网络采用的加权均方误差损失函数，其形式如下：

其中：x，y表示任意像素坐标，P

位置图子网络采用的加权均方误差损失函数，其形式如下：

其中：x，y表示任意像素坐标，P

最终，本发明算法的整体损失函数形式如下：

L

其中：L

通过上述算法的整体损失函数L

步骤6：输出测试结果。

将原始待重建的二维人脸图像进行裁剪缩放后，输入步骤5生成的算法模型中，可获得对三维人脸的参数形式估计和位置图形式估计.

对于待重建的二维人脸图像，首先通过人脸检测算法或已知的特征点，对目标人脸区域进行裁剪并缩放到256×256大小；再将处理好的图片送入步骤五生成的算法模型中，即可获得相应三维人脸的参数化模型和位置图。

本发明设计了一种多度量的回归网络，包括参数子网络和位置图子网络，分别回归三维人脸形变模型参数和记录三维人脸点云数据的位置图。网络可以同时利用参数化模型和无约束三维人脸表示的优势，两个子网络可以从两种角度度量回归精度，相互促进。同时，通过采用更多样的数据增强方式来扩充数据，从而实现更高的精度和鲁棒性。本发明的提出，对三维人脸重建的研究与应用具有重要的理论意义和应用价值。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。