人脸纹理特征提取、3D人脸重建方法及设备及存储介质

摘要

本发明公开了人脸纹理特征提取、3D人脸重建方法及设备及存储介质，该方法包括以下步骤：提取人脸图像的2D人脸关键点；根据人脸几何模型得到初始纹理图；将人脸关键点映射到初始纹理图中得到关键点的初始位置；预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

说明书

技术领域

本发明属于3D人脸建模技术领域，具体涉及一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质。

背景技术

基于图像的3D人脸重建是根据单张或有限数量的图像重建人脸，这些图像是在任意场景下，可以是任意设备拍摄的。基于图像的3D人脸重建现有常用的是基于可形变3D人脸模型(3D Morphable Model，3DMM)的方案，通过从图像中求取合适的可形变3D人脸模型参数，获得3D人脸模型。

3D人脸模型通常表示为网格mesh格式，由顶点vertex和三角面片face构成。每个顶点有3D坐标[x，y，z]，三角面片则定义了顶点之间的连接关系。通常三角面片的连接关系是不变的，调整顶点的坐标可以得到不同形态的人脸模型。3DMM作为一种参数化统计模型，模型的顶点3D坐标可以由公式表达：

其中，S是最终的人脸3D模型的顶点(vertex)的3D坐标，

一些3DMM模型也包括对纹理的统计模型T：

其中，

现有的从图像中估计可形变的3D人脸模型参数的方案，其利用神经网络从人脸图像中回归出模型参数，根据模型参数构建出人脸几何模型和纹理，在进行渲染。但是，现有技术中纹理并不是取自真实图像，使得渲染出的图像和实际图像感官差异大，导致计算视觉差异并不合理。如何减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度，是值得研究的。

发明内容

本发明为了解决现有纹理提取不真实导致渲染出的图像和实际图像感官差异大的问题，提供一种人脸纹理特征提取、3D人脸重建方法及设备及存储介质，其通过预测人脸关键点的运动场，通过预测的运动场对纹理图进行扭曲，使得提取的纹理图更准确，减小渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

为了实现上述目的，本发明采用以下技术方案：

本发明第一方面提供一种人脸纹理特征提取方法，包括以下步骤：

提取人脸图像的2D人脸关键点；

根据人脸几何模型得到初始纹理图；

将人脸关键点映射到初始纹理图中得到关键点的初始位置；

预测每个关键点的运动场得到每个关键点在初始纹理图中的预测位置；

根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。

本方案通过将人脸关键点映射到初始纹理图中得到初始位置，并对每个关键点在初始纹理图中的位置进行预测，通过初始位置和预测位置对初始纹理图进行扭曲得到最终的纹理图，使得得到的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

在一个可能的设计中，所述根据人脸几何模型得到初始纹理图包括：

对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置；

提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息；

将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图。

在一个可能的设计中，采用神经网络模型预测每个关键点的运动场得到每个关键点的预测位置。

本发明第二方面提供一种3D人脸重建方法，包括以下步骤：

根据人脸图像获取人脸几何模型；

采用第一方面的的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图；

将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；

将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。

在3D人脸重建时，纹理图是影响3D人脸模型的构建真实度的关键因素之一，通过上述方式获取的纹理图更真实，减小3D人脸构建过程中渲染出的图像和实际图像感官差异，提高3D人脸模型的构建真实度。

在一个可能的设计中，所述获取人脸几何模型包括：

获取至少一个人脸图像的初始人脸几何模型并将所述至少一个人脸图像转换为第一剪影图像；

获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像；

调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型，所述人脸几何模型的相关参数包括与人脸形状相关的参数α、与人脸表情相关的参数β、尺度参数s、旋转参数R、平移参数t。

在3D人脸重建时，人脸几何模型同样是3D人脸模型的构建真实度的关键因素之一。现有方法中，其人脸形态估计不准，同样使渲染出的图像和实际图像感官差异大。本方案进一步对人脸几何模型进行优化，提高人脸形态估计的准确度，从而提高3D人脸模型的构建真实度。本方案在对人脸几何模型进行优化时，通过将将初始人脸几何模型转换为第二剪影图像，通过调节人脸几何模型的相关参数使得第二剪影图像与人脸图像转换得到的第一剪影图像的差异最小化，即调节初始人脸几何模型到最优模型，提高人脸形态的估计准确度。

在一个可能的设计中，所述方法还包括：

对人脸图像进行语义分割得到至少一个语义分割区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域；

在人脸几何模型中确定分别与所述至少一个语义分割区域中每个语义分割区域相对应的顶点坐标；

所述调整人脸几何模型的相关参数及人脸几何模型相应区域的顶点坐标包括：

在保持其它语义分割区域相对应的顶点坐标不变的情况下，调整人脸几何模型的相关参数及一语义分割区域相对应的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值。

本方案通过对至少一语义分割区域进行优化调节，达到局部最优。

在一个可能的设计中，所述调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第一剪影图像和第二剪影图像的差异小于一阈值包括：

将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；

根据人脸几何模型相应优化区域的顶点坐标、第一剪影图像、第二剪影图像、未被遮挡区域的掩码图像构建一损失函数；

求取损失函数对人脸几何模型的相关参数的导数；

利用梯度下降算法，根据梯度调整人脸几何模型的相关参数至损失函数最小。

本发明第三方面提供一种人脸3D人脸重建设备，包括：

一图像预处理单元，所述图像预处理单元对人脸图像进行处理得到人脸图像的2D关键点；

一人脸几何模型获取单元，所述人脸几何模型获取单元用于根据人脸图像获取人脸几何模型；

一初始纹理特征提取单元，所述始纹理特征提取单元用于根据人脸几何模型从人脸图像中提取出初始纹理图；

一纹理扭曲单元，所述纹理扭曲单元根据人脸图像的2D人脸关键点映射至初始纹理图中的关键点及预测的每个关键点的运动场对初始纹理图进行扭曲得到最终的纹理图；

一人脸几何模型转化单元，所述人脸几何模型转化单元将所述人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图；

一渲染单元，所述渲染单元根据2D方式的信息和最终的纹理图生成3D人脸。

本发明第四方面提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项中所述的一种人脸纹理特征提取方法或第二方面中的3D人脸重建方法。

本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项中所述的一种人脸纹理特征提取方法或第二方面中的3D人脸重建方法。

本发明与现有技术相比，至少具有以下优点和有益效果：

1、本方案将关键点映射到初始纹理图中得到初始位置，预测每个关键点的运动场得到预测位置，通过关键点的初始位置和预测位置构建变换实现纹理的扭曲，其扭曲得到的纹理图更真实，提高渲染效果，提高3D人脸重建准确性。

2、本方案通过在2D层面对人脸纹理特征进行扭曲，在一定程度上弥补了人脸几何模型估计不准带来的采样偏差，将确定性的采样过程变成了有一定容忍度的柔性采样，提高后续3D人脸构建的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为对一人脸图像进行预处理的过程图。

图2为人脸纹理特征提取方法的一流程图。

图3为3D人脸重建方法的一流程图。

图4一人脸几何模型的剪影图像。

图5为一3D人脸重建设备的原理图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。

实施例

如图2所示，本发明第一方面提供一种人脸纹理特征提取方法，该方法可以在特征提取设备上执行，所述特征提取设备可以是电脑、服务器、便携式智能设备或其他智能设备。所述一种人脸纹理特征提取方法包括以下步骤S101～步骤S103。

步骤S101、用户上传一人脸图像，如图1中a所示，特征提取设备接收到该人脸图像好后，首先对人脸进行预处理，包括提取人脸图像的2D关键点，得到图1中b图。根据关键点将图像的人脸矫正对齐到一标准的参考坐标系下，得到归一化的人脸图像。进一步的，可对归一化的人脸图像进行进一步的处理，包括但不限于去模糊、超分辨、光照均衡等预处理操作，从而提升图像质量，提高3D人脸模型系数和相对相机坐标系的外参数的获取精度。

对人脸图像进行语义分割得到至少一个语义分割区域及遮挡物的区域，所述语义分割区域包括眼睛区域、眉毛区域、鼻子区域、嘴巴区域，语义分割区域中任一区域也可能为被遮挡物遮挡的区域，也可能是未被遮挡物遮挡的区域即有效人脸区域，遮挡物包括眼镜、口罩或其他遮挡物遮挡的区域。如图1中c图所示，每个不同颜色信息代表人脸的一个特定语义区域，其中，由于附图已调整为黑白色，c图中不同深度的代表人脸的一个特定语义区域，将语义分割得到的图记为I

步骤S102、根据人脸几何模型得到初始纹理图，具体的，先根据人脸图像获取人脸几何模型，再根据人脸几何模型得到初始纹理图，该步骤包括步骤S1021～步骤S1022。

步骤S1021、根据人脸图像获取人脸几何模型。归一化处理过程中可能存在误差，此时将所述归一化的人脸图像输入至已训练完成的参数回归模型中得到与人脸图像相对应的3D人脸模型系数和人脸模型相对相机坐标系的外参数，此处，3D人脸模型系数包括与人脸形状相关的参数α、与人脸表情相关的参数β，人脸模型相对相机坐标系的外参数包括尺度参数s、旋转参数R、平移参数t。

根据估计出的3D人脸模型系数和人脸模型相对相机坐标系的外参数，构建人脸几何模型，并通过相似变换对齐得到相应的位置，得到初始人脸几何模型S

其中，

若此时，几何模型的顶点数量较少，可进行步骤S1015：对初始人脸几何模型S

步骤S1022、确定人脸几何模型后，再根据人脸几何模型确认初始纹理图。

具体的，对人脸几何模型进行投影，确定人脸几何模型未被遮挡的顶点在人脸图像中的对应位置，该遮挡区域可能是眼镜遮挡区域或者其他遮挡物遮挡的区域。

提取所述人脸几何模型未被遮挡的顶点在人脸图像中的对应位置的颜色信息。

将提取的颜色信息根据据人脸几何模型和纹理图之间的采样关系展开得到初始纹理图，具体的，对颜色信息进行UV展开操作即可得到初始纹理图。此时，若得到的纹理图不清晰，可采用超分辨算法提升纹理图的清晰度。

步骤S103、将人脸关键点映射到初始纹理图中得到关键点的初始位置。

步骤S104、利用神经网络模型预测每个关键点的运动场，得到每个关键点在初始纹理图中的预测位置。

步骤S105、根据关键点的初始位置和预测位置构建变换，对初始纹理图进行扭曲得到最终的纹理图。

本发明第一方面提供的人脸纹理特征提取方法，通过对纹理进行扭曲处理，若人脸图像的语义分割区域中存在遮挡，可基于多张人脸图像进行补全或多图融合得到完整纹理，提升纹理的完整性。本方案基于深度学习的神经网络模型实现局部扭曲形变弥补了纹理提取过程中对人脸几何模型误差的容忍度，有效提高纹理的清晰度。

本发明第二方面提供一种3D人脸重建方法，该方法可以在人脸重建设备上执行，所述人脸重建设备可以是电脑、服务器、便携式智能设备或其他智能设备。如图3所示，所述一种3D人脸重建方法包括以下步骤S201～步骤S204。包括以下步骤：

步骤S201、根据人脸图像获取人脸几何模型。该步骤可基于第一方面中的步骤S101、步骤S102得到，在此不再赘述。

步骤S202、采用第一方面的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图，具体过程详见第一方面的具体步骤。

步骤S203、将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图depth map或法向量图normal map；

步骤S204、将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。

本实施例第三方面提供一种3D人脸重建方法，该方法是在第二方面方法上的一个优化方案。该一种3D人脸重建方法具体包括以下步骤S301～步骤S304。包括以下步骤：

步骤S301、根据人脸图像获取人脸几何模型，该步骤具体包括步骤S3011～步骤S30312。

步骤S3011、可基于第一方面中的步骤S101、步骤S102得到一初始人脸几何模型。

步骤S3012、进一步对该人脸几何模型进行优化，具体的，优化步骤如下：

将用户上传的人脸图像转化为转换为第一剪影图像I

获取所述人脸几何模型的投影图像，并将所述投影图像转化为第二剪影图像IS

进一步的，调整人脸几何模型的相关参数及人脸几何模型相应优化区域的顶点坐标，使第二剪影图像和第一剪影图像的差异小于一阈值，获取此时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型。

第一剪影图像和第二剪影图像的差异可采用以下方法：将语义分割区域中未被遮挡的区域进行掩码处理得到未被遮挡区域的掩码图像；构建损失函数L，求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即将参数调整到最优的参数。

步骤S103是对初始几何模型进行迭代优化的过程，其迭代优化可采用局部优化、全局优化、先局部优化再整体优化的方式。剪影图像由黑白两色构成，为了便于优化调节，在对某个区域进行优化时，需对第一剪影图像、第二剪影图像做进一步处理，即将第一剪影图像、第二剪影图像的相应优化区域同时调节为相同色，可以是黑色，也可以是白色，其与区域则为相反色。

现以仅进行全局优化的方式对本实施例的详细过程进行说明，先将第一剪影图像、第二剪影图像的眼睛区域、眉毛区域、鼻子区域、嘴巴区域调为白色，人脸区域为黑色，如图4所示。

构建损失函数L：

其中，I

求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。

上述优化过程将α、β、s、R、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、R、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。

现以进行一局部优化的方式对本实施例的详细过程进行说明：

以嘴部优化为例，调节第一剪影图像、第二剪影图像的嘴巴区域调为白色或黑色，对应的，眼睛区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。在人脸几何模型中确定嘴巴区域相对应的顶点V

其中，I

求取损失函数L对α、β、s、R、t五个参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。

上述优化过程中，将α、β、s、R、t视为可调节的变量，同时也将几何信息本身作为可调节的变量，允许几何信息在受α、β、s、R、t约束的基础上，在一定范围内进行一些形变，从而增强几何信息的表达范围，增强人脸几何模型构建的准确性。

若仅单独对眼睛区域、眉毛区域、鼻子区域进行优化，其可参考嘴部的处理方式。

最优的，现以先局部优化再整体优化的方式对本实施例的详细过程进行说明：

以嘴巴区域、眼睛区域、眉毛区域、鼻子区域顺序优化，再进行全局的端到端优化的顺序为例进行说明，当然，局部优化也可采用其他排序方式。

采用上述嘴部优化方式得到局部优化下的最优第二剪影图像，确定最优时第二剪影图像对应的人脸几何模型S1。再调节第一剪影图像、第二剪影图像的眼睛区域调为白色或黑色，嘴巴区域、眉毛区域、鼻子区域、人脸区域为黑色或白色。保持其它语义分割区域相对应的顶点坐标不变，譬如嘴巴区域、眉毛区域、鼻子区域，仅对眼睛区域的顶点坐标和人脸几何模型的相关参数进行调节，具体的，根据人脸几何模型相应优化区域的顶点坐标即眼睛区域的顶点坐标、第一剪影图像、第二剪影图像构建一损失函数构建损失函数L继续对眼睛区域进行迭代优化：

其中，I

求取损失函数L对α、β、s、R、t五个人脸几何模型的相关参数的导数，利用梯度下降算法，根据梯度调整参数值。重复多次迭代，使得损失函数L最小，即使第二剪影图像和第一剪影图像的差异小于一阈值，即将参数调整到最优的参数，获取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S2，即将人脸几何模型S1优化至人脸几何模型S2。

对眉毛区域、鼻子区域的优化同样采用上述方法，在对眉毛区域进行优化时，调节第一剪影图像、第二剪影图像的眉毛区域调为白色或黑色，嘴巴区域、眼睛区域、鼻子区域、人脸区域为黑色或白色；保持眼睛区域、鼻子区域、嘴巴区域的顶点坐标不变，仅对眉毛区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型S3。在对鼻子区域进行优化时，调节第一剪影图像、第二剪影图像的鼻子区域调为白色或黑色，嘴巴区域、眼睛区域、眉毛区域、人脸区域为黑色或白色；保持眼睛区域、眉毛区域、嘴巴区域的顶点坐标不变，仅对鼻子区域的顶点坐标和人脸几何模型的相关参数进行调节得到最优时的人脸几何模型S4。

最后进行端到端的全局优化，调节第一剪影图像、第二剪影图像的鼻子区域、嘴巴区域、眼睛区域、眉毛区域调为白色或黑色，其他人脸区域为黑色或白色；调整人脸几何模型的相关参数及人脸几何模型中眼睛区域、眉毛区域、鼻子区域、嘴巴区域的顶点坐标，同样采用上述构建损失函数的方法，求取最优时第二剪影图像对应的人脸几何模型作为最终的人脸几何模型S。

本方案基于初始几何信息S

基于本步骤的方法，可对同一人的多张人脸图像可进行联合优化，优化过程中，共享同一α系数，具体的，采用上述方法分别获得多张人脸图像对应的第一剪影图像和第二剪影图像，每个优化过程中，其共享同一α系数，分别调节各自β、s、R、t及每张图对应几何人脸模型相应优化区域的顶点坐标，每个优化过程中，优化区域相同。

步骤S302、采用第一方面的人脸纹理特征提取方法基于人脸几何模型从人脸图像中提取人脸纹理图，具体过程详见第一方面的具体步骤。若人脸图像中存在遮挡区域，在该步骤中，可用人脸补全算法补全人脸图再提取纹理图。若具有多张人脸图像，可以用多图互补融合的方式、超分辨算法中至少一种方法并结合人脸补全算法补全人脸图，再提取纹理图，以制作出好的纹理图。再采用上述方法分别对多个初始纹理图进行扭曲。

该步骤需要在步骤S301的几何人脸模型训练优化收敛后并固化几何人脸模型的相关参数后进行。

步骤S303、将人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图depth map或法向量图normal map。可采用可微分渲染器实现，将人脸几何模型输入已训练完成的可微分渲染器中，输出深度图和法向量图。

步骤S304、将所述2D方式的信息和人脸纹理图输入至训练完后的神经网络模型中得到3D人脸的渲染图像。可微分渲染器基于图形学原理，导致渲染真实性偏差，不利于计算渲染图像和真实图像的感知差异，本方法在增加一神经网络模型实现渲染，进一步提升3D人脸构建的真实度。其中，神经网络模型采用深度神经网络，实现渲染。

渲染是3D人脸重建很重要的一个步骤，本方案第三方面利用生成对抗网络，构建神经渲染器，代替传统图形学渲染引擎，提升渲染的真实感。

本方案的人脸纹理特征提取方法通过在2D层面的进行可学习的扭曲，在一定程度上弥补了人脸几何模型参数α、β、s、R、t估计不准带来的采样偏差，将确定性的采样过程变成了有一定容忍度的柔性采样，提高后续3D人脸构建的准确度。

本发明第四方面提供一种人脸3D人脸重建设备，包括一图像预处理单元、一人脸几何模型获取单元、一初始纹理特征提取单元、一纹理扭曲单元、一人脸几何模型转化单元、一渲染单元。

所述图像预处理单元对人脸图像进行处理得到人脸图像的2D关键点。在优化的人脸3D人脸重建设备中，图像预处理设备还包括对人脸图像进行区域分割。

所述人脸几何模型获取单元用于根据人脸图像获取人脸几何模型，具体的，其可基于参数回归模型，或者基于参数回归模型及几何优化模型，其中，参数回归模型以人脸图像为输入，以3D人脸模型系数和人脸模型相对相机坐标系的外参数为输出；几何优化模型采用第三方面中的步骤S3011～步骤S30312实现人脸几何模型的优化。

所述始纹理特征提取单元用于根据人脸几何模型从人脸图像中提取出初始纹理图。

所述纹理扭曲单元根据人脸图像的2D人脸关键点映射至初始纹理图中的关键点及预测的每个关键点的运动场对初始纹理图进行扭曲得到最终的纹理图，该纹理扭曲单元可基于映射模块、神经网络模型和扭曲模块实现，所述映射模块对所述实现人脸关键点的映射，将其映射至初始纹理图中得到每个关键点的初始位置；神经网络模型对每个关键点在初始纹理图中的局部运动场进行预测，得到每个关键点的预测位置；扭曲模块根据初始位置及其对应的预测位置构建变换，对初始纹理图进行扭曲，得到最终的纹理图。

所述人脸几何模型转化单元将所述人脸几何模型转化为2D方式的信息，所述2D方式的信息为深度图或法向量图，所述人脸几何模型转化单元可采用可微分渲染器渲染得到深度图或法向量图。

所述渲染单元根据2D方式的信息和最终的纹理图生成3D人脸，所述渲染单元可采用神经网络渲染器。

纹理扭曲单元为基于神经网络模型的可微分可学习模块，使用前需对其进行训练。训练时，采用第一方面至第三方面中的任一种方法得到训练集中人脸图像对应的初始纹理图输入至神经网络模型中，得到人脸图像对应的最终扭曲后的纹理图。将扭曲后的纹理图和微调后的人脸几何模型输入至可微分渲染器，得到渲染的人脸图像I

W＝|I

通过最小化损失函数W来训练纹理扭曲单元，具体如下：将纹理扭曲单元对关键点运动场预测初始化为单位映射(Identity mapping,一种让输出等于输入的映射)，即默认预测后位置就是当前位置。固定微调后的人脸几何模型，在训练中不做更改。计算损失函数W，利用梯度下降算法，训练纹理扭曲模块；直到损失函数收敛到一个较小的稳定值，就完成了训练。

渲染单元采用神经网络渲染器，同样的，使用前需对其进行训练。训练时，固定人脸几何模型和纹理扭曲单元的相关参数，训练时不做更改。同样通过构建损失函数的方法，训练神经渲染器，直至构建的损失函数收敛到一个较小的稳定值，就完成了训练。

本设备在构建时，考虑到几何参数估计和纹理相关参数估计是相互影响的，一人脸几何模型获取单元、一初始纹理特征提取单元分开训练至两部分网络都收敛到较好的权重后，将两部分网络联通，端到端微调训练，得到更优的几何和纹理的参数组合。

本发明第五方面提供一种人脸纹理特征提取，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中所述的人脸纹理特征提取方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等；所述处理器不限于采用型号为STM32F105系列的微处理器、ARM、X86等架构处理器，集成NPU(neural-network processing units)的处理器。

本发明第六方面提供一种人脸3D人脸重建设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面或第三方面及其任一种可能中所述的人脸3D人脸重建方法。同第四方面相同的，所述存储器可以但不限于包括随机存取存储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)和/或先进后出存储器(FILO)等等；所述处理器不限于采用型号为STM32F105系列的微处理器、ARM、X86等架构处理器，集成NPU(neural-network processingunits)的处理器。

本发明第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中所述的人脸纹理特征提取方法或第二方面或第三方面及其任一种可能中所述的人脸3D人脸重建方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(MemoryStick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。