一种3D人脸道具贴图方法、终端及存储介质

摘要

本发明实施例涉及图像处理技术领域，特别涉及一种3D人脸道具贴图方法、终端及存储介质，该方法通过定点逆向投影的方法，估算当前帧待处理人脸图像中2D人脸关键点在投影前准确的3D空间位置，实现待贴图3D人脸道具和当前帧待处理人脸图像间的点对点精准对齐，无需进行实时的人脸面部3D形状重建，去除了对3D人脸关键点技术依赖，执行速度快，在高低端机中都可以流畅运行。

说明书

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种3D人脸道具贴图方法、终端及存储介质。

背景技术

3D人脸道具贴图是将3D道具贴图到2D人脸面部上，该功能在移动手机端AR产品应用中比较常见，如：抖音、快手等应用中。该功能的现有实现方法主要有两种，第一种是对2D人脸形状(shape)进行3D重建，得到带有深度信息的3D人脸关键点，然后将3D道具中顶点和重建的3D人脸关键点对齐，完成道具贴图；第二种是基于PnP(Perspective-n-Point，透视N点投影)方法估计一个3D基准人脸形状到2D人脸形状的最优投影几何参数，如缩放、平移、旋转。

现有的上述3D人脸道具贴图方法中，第一种需要进行实时的人脸面部3D形状重建，在低端手机设备上实时性能不太理想，用户只能在一些中高端设备上体验3D道具功能，第二种的PnP投影估计方法中，为多组3D到2D样本的局部最优投影估计，无法实现3D模型道具中的特定顶点和2D人脸中的特定顶点精准对齐。

发明内容

本发明实施方式的目的在于提供一种3D人脸道具贴图方法、终端及存储介质，解决了现有技术中3D人脸道具贴图无法实现3D模型道具中的特定顶点和2D人脸中的特定顶点精准对齐的问题。

为解决上述技术问题，第一方面，本发明的实施方式提供了一种3D人脸道具贴图方法，包括：

根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数；

根据所述旋转矩阵和所述缩放系数对所述待贴图3D人脸道具进行旋转和缩放，以使所述待贴图3D人脸道具和所述当前帧待处理人脸图像的姿态、大小相匹配；确定旋转和缩放后的所述待贴图3D人脸道具中各所述3D人脸关键点的第一3D坐标，以及当前帧待处理人脸图像中与所述3D人脸关键点对应的2D人脸关键点的2D坐标；根据所述第一3D坐标中的深度坐标值对所述2D坐标进行逆向投影，得到所述2D人脸关键点逆向投影到3D空间下的第二3D坐标；根据所有所述3D人脸关键点的所述第一3D坐标和对应2D人脸关键点的所述第二3D坐标确定所述待贴图3D人脸道具的位置变换参数；

根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像。

第二方面，本发明实施例提供了一种终端，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明第一方面实施例所述3D人脸道具贴图方法的步骤。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述3D人脸道具贴图方法的步骤。

本发明实施方式相对于现有技术而言，通过定点逆向投影的方法，估算当前帧待处理人脸图像中2D人脸关键点在投影前准确的3D空间位置，实现待贴图3D人脸道具和当前帧待处理人脸图像间的点对点精准对齐，同时无需进行实时的人脸面部3D形状重建，去除了对3D人脸关键点技术依赖，执行速度快，在高低端机中都可以流畅运行。

另外，所述根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数前，还包括：

对预先采集得到的3D人脸模型数据集进行聚类，得到一个3D人脸模型；

以所述3D人脸模型为基准3D人脸进行贴图道具设计，得到待贴图3D人脸道具。

通过3D人脸模型数据集中海量的3D人脸模型数据聚类得到的基准3D人脸设计待贴图3D人脸道具，能够提取最具代表、相似性最高的三维人脸表面形状的曲率特征，以作为表达人脸的空间几何形状，能够提高该待贴图3D人脸道具与各种类型的人脸图像的契合度，提高贴合效果。

另外，所述根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数，具体包括：

在3D人脸道具渲染场景中建立3D物体投影到2D窗口的透视投影矩阵模型；

根据所述透视投影矩阵模型，以及待贴图3D人脸道具的3D人脸关键点和当前帧待处理人脸图像中对应的2D人脸关键点的正交投影关系，确定所述待贴图3D人脸道具的旋转矩阵；

根据所述旋转矩阵和所述透视投影矩阵模型，将预设3D人脸关键点旋转并投影到当前帧待处理人脸图像所在的2D平面，根据投影后所述预设3D人脸关键点和对应的2D人脸关键点的比例关系，确定所述待贴图3D人脸道具的缩放系数。

以待贴图3D人脸道具的3D人脸关键点和当前帧待处理人脸图像中对应的2D人脸关键点的对应关系，可以准确得到在贴图过程中所述待贴图3D人脸道具旋转矩阵和缩放系数，使得贴图后待贴图3D人脸道具和当前帧待处理人脸图像中的关键特征能够完美贴合。

另外，所述在3D人脸道具渲染场景中建立3D物体投影到2D窗口的透视投影矩阵模型，具体包括：

提取3D人脸道具渲染场景中的近远剪裁平面位置参数、视野广角参数和视口纵横比参数；

根据所述近远剪裁平面位置参数、所述视野广角参数和所述视口纵横比参数建立3D人脸道具渲染场景中3D物体投影到2D窗口的透视投影矩阵模型。

另外，所述根据所述透视投影矩阵模型，以及待贴图3D人脸道具的3D人脸关键点和当前帧待处理人脸图像中对应的2D人脸关键点，确定所述待贴图3D人脸道具的旋转矩阵，具体包括：

根据预先得到的人脸关键点检测模型对所述待贴图3D人脸道具和所述当前帧待处理人脸图像进行人脸关键点检测，得到所述待贴图3D人脸道具的3D人脸关键点和所述当前帧待处理人脸图像的2D人脸关键点；

根据正交投影建立所述3D人脸关键点到所述2D人脸关键点的投影方程组，并根据奇异值分解法对所述投影方程组中的旋转变量求解，将求解后得到的旋转变量作为所述待贴图3D人脸道具的旋转矩阵。

另外，所述将预设3D人脸关键点旋转并投影到当前帧待处理人脸图像所在的2D平面，根据投影后所述预设3D人脸关键点和对应的2D人脸关键点的比例关系，确定所述待贴图3D人脸道具的缩放系数，具体包括：

选择所述3D人脸关键点中的3D左眼关键点和3D右眼关键点作为预设3D人脸关键点；

根据所述旋转矩阵对所述3D左眼关键点和所述3D右眼关键点进行旋转变换；

根据所述透视投影矩阵模型对经旋转变换后的所述3D左眼关键点和所述3D右眼关键点进行透视投影变换，得到所述3D左眼关键点和所述3D右眼关键点在2D平面下的投影坐标；

根据所述3D左眼关键点和所述3D右眼关键点的所述投影坐标确定所述待贴图3D人脸道具的第一眼距；

根据所述2D人脸关键点中2D左眼关键点和2D右眼关键点的坐标确定所述当前帧待处理人脸图像的第二眼距；

根据所述第一眼距和所述第二眼距的比值确定所述待贴图3D人脸道具的缩放系数。

两眼之间的距离，随人脸表情或姿态影响较小，可作为人脸缩放系数大小的度量，本实施例中，通过将按旋转矩阵旋转后待贴图3D人脸道具中左眼和右眼的在3D空间中的3D坐标投影至2D平面，以得到待贴图3D人脸道具的第一眼距，结合2D平面上当前帧待处理人脸图像的第二眼距，得到待贴图3D人脸道具的缩放系数。

另外，所述根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像，具体包括：

确定所述待贴图3D人脸道具中的光照节点和渲染节点；

遍历所述光照节点，得到光照参数；

遍历所述渲染节点，获取当前渲染节点的顶点数据，所述顶点数据包括表面法向量数据；

在顶点着色器中根据所述透视投影矩阵模型、所述旋转矩阵、所述缩放系数和所述位置变换参数对当前渲染节点中的顶点数据进行几何变换；

在片段着色器中，对当前渲染节点，根据所述光照参数和所述表面法向量数据得到当前像素的环境光系数、漫反射光系数和高光系数，基于所述环境光系数、所述漫反射光系数和所述高光系数得到当前像素渲染结果；

根据预先的渲染状态配置对当前渲染节点进行深度测试和颜色混合，得到最终待贴图3D人脸道具的颜色输出结果。

另外，所述得到最终待贴图3D人脸道具的颜色输出结果后，还包括：

获取当前渲染节点的骨骼数据，若根据所述骨骼数据判断当前渲染节点带有骨骼动画，则根据当前时间和所述骨骼数据的关键帧信息计算得到下一帧待处理人脸图像对应的所述待贴图3D人脸道具的顶点数据，并将所述待贴图3D人脸道具渲染至下一帧待处理人脸图像。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明实施例的一种3D人脸道具贴图方法流程图；

图2是根据本发明第二实施例的一种终端结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

目前3D人脸道具贴图方法，第一种需要进行实时的人脸面部3D形状重建，在低端手机设备上实时性能不太理想，用户只能在一些中高端设备上体验3D道具功能，第二种PnP投影估计方法，为多组3D到2D样本的局部最优投影估计，无法实现3D模型道具中的特定顶点和2D人脸中的特定顶点精准对齐。

因此，本发明实施例通过定点逆向投影方法，估算待投影点投影前准确的3D空间位置，实现待贴图3D人脸道具和当前帧待处理人脸图像间的点对点精准对齐，同时无需进行实时的人脸面部3D形状重建，去除了对3D人脸关键点技术依赖，执行速度快，在高低端机中都可以流畅运行。以下将通过多个实施例进行展开说明和介绍。

本发明的第一实施方式涉及一种3D人脸道具贴图方法，具体流程如图1中所示，包括：

S1、根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数；

具体地，人脸关键点是对于图像中人脸五官与轮廓定位的标注，主要用来对人脸的关键位置，如脸廓、眉毛、眼睛、嘴唇进行定位，本实施例选择现有的106人脸点模型，这些关键点能够完美地贴合面部五官，即使在大角度或大动作的视频流中抖动，依然能保持稳定，在特效应用中为基于人脸的照片或视频加3D人脸道具贴图的时候，不会造成贴纸抖动。

通过待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，可以得到所述待贴图3D人脸道具和所述当前帧待处理人脸图像的位姿关系和大小比例关系，以根据该位姿关系和大小比例关系得到所述待贴图3D人脸道具的旋转矩阵和缩放系数；

S2、根据所述旋转矩阵和所述缩放系数对所述待贴图3D人脸道具进行旋转和缩放，以使所述待贴图3D人脸道具和所述当前帧待处理人脸图像的姿态、大小相匹配；确定旋转和缩放后的所述待贴图3D人脸道具中各所述3D人脸关键点的第一3D坐标，以及当前帧待处理人脸图像中与所述3D人脸关键点对应的2D人脸关键点的2D坐标；根据所述第一3D坐标中的深度坐标值对所述2D坐标进行逆向投影，得到所述2D人脸关键点逆向投影到3D空间下的第二3D坐标；根据所有所述3D人脸关键点的所述第一3D坐标和对应2D人脸关键点的所述第二3D坐标确定所述待贴图3D人脸道具的位置变换参数；

具体地，根据旋转矩阵和缩放系数对待贴图3D人脸道具依次进行旋转和缩放后，所述待贴图3D人脸道具和所述当前帧待处理人脸图像的姿态、大小相匹配，但是由于待贴图3D人脸道具中3D人脸关键点的坐标为3D坐标，当前帧待处理人脸图像中对应2D人脸关键点的为2D坐标，因此，还需要得到3D人脸关键点和2D人脸关键点的位置变换参数；

具体地，通过定点逆向投影方法，对当前帧待处理人脸图像中与所述3D人脸关键点对应的2D人脸关键点的2D坐标进行逆投影变换，估算2D人脸关键点投影前准确的3D空间位置，实现待贴图3D人脸道具和当前帧待处理人脸图像间的点对点精准对齐，同时无需进行实时的人脸面部3D形状重建。

S3、根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像。

在上述实施例的基础上，作为一种优选的实施方式，所述根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数前，还包括：

对预先采集得到的3D人脸模型数据集进行聚类，得到一个3D人脸模型；

以所述3D人脸模型为基准3D人脸进行贴图道具设计，得到待贴图3D人脸道具。

具体地，基于业界开源的3D人脸模型数据集聚类出一个中性的3D人脸模型，并作为基准3D人脸，该3D人脸模型数据集可以选用开源的人脸数据库BFM(Basel Face Model)，该人脸数据库中的人脸模型需要是正脸且无表情，最终得到一个正脸且无表情的3D人脸模型并作为基准人脸模型。

基于上述的基准人脸模型，在建模工具中(如：3ds max)完成待贴图的模型及素材的设计，得到待贴图3D人脸道具，并将该待贴图3D人脸道具以指定格式导出(如：fbx、DAE)。

本实施例中，通过3D人脸模型数据集中海量的3D人脸模型数据聚类得到的基准3D人脸设计待贴图3D人脸道具，能够提取最具代表、相似性最高的三维人脸表面形状的曲率特征，以作为表达人脸的空间几何形状，能够提高该待贴图3D人脸道具与各种类型的人脸图像的契合度，提高贴合效果。

在上述各实施例的基础上，作为一种优选的实施方式，所述根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数，具体包括：

基于预先得到的106人脸关键点检测模型，从基准人脸模型中挑选出所对应的106个3D人脸关键点，记为F

在3D人脸道具渲染场景中建立3D物体投影到2D窗口的透视投影矩阵模型；

具体地，根据3D人脸道具渲染场景中的近远剪裁平面位置参数(n/f)、视野角参数(θ)、视口纵横比参数(aspect，输入图像宽高比)，建立3D物体投影到2D窗口的透视投影矩阵模型，记为P，则有：

根据所述透视投影矩阵模型，以及待贴图3D人脸道具的3D人脸关键点和当前帧待处理人脸图像中对应的2D人脸关键点的正交投影关系，确定所述待贴图3D人脸道具的旋转矩阵；

具体地，基于正交投影建立3D关键点到2D关键点投影模型，该模型中的旋转参数R为待求解参数，记为记为Oth(R)，有：

根据上述3D人脸关键点(F

其中

根据所述旋转矩阵R和所述透视投影矩阵模型P，将预设3D人脸关键点旋转并投影到当前帧待处理人脸图像所在的2D平面，根据投影后所述预设3D人脸关键点和对应的2D人脸关键点的比例关系，确定所述待贴图3D人脸道具的缩放系数。

以待贴图3D人脸道具的3D人脸关键点和当前帧待处理人脸图像中对应的2D人脸关键点的对应关系，可以准确得到在贴图过程中所述待贴图3D人脸道具旋转矩阵和缩放系数，使得贴图后待贴图3D人脸道具和当前帧待处理人脸图像中的关键特征能够完美贴合。

具体地，本实施例中通过实验验证发现，两眼之间的距离，一般不随人脸表情或姿态影响，可以作为人脸缩放系数大小的度量，

因此，在本实施例中，使用上述的透视投影矩阵模型P对述待贴图3D人脸道具中的3D左眼关键点(左眼瞳孔中心，对应106人脸关键点中74号点位)和3D右眼关键点(右眼瞳孔中心，对应106人脸关键点中77号点位)进行旋转变换，得到旋转后所述3D左眼关键点和所述3D右眼关键点在3D空间中的坐标F′

根据所述透视投影矩阵模型对经旋转变换后的所述3D左眼关键点和所述3D右眼关键点进行透视投影变换，得到所述3D左眼关键点和所述3D右眼关键点在2D平面下的投影坐标F″

根据所述3D左眼关键点和所述3D右眼关键点在2D平面下的的所述投影坐标确定所述待贴图3D人脸道具的第一眼距：

dis1＝||F″

根据所述2D人脸关键点中2D左眼关键点(左瞳孔中心)和2D右眼关键点(左瞳孔中心)的坐标确定所述当前帧待处理人脸图像的第二眼距dis2；待贴图3D人脸道具和当前帧待处理人脸图像的眼距比值为该待贴图3D人脸道具的缩放系数，即有：S＝dis1/dis2。

在上述各实施例的基础上，作为一种优选的实施方式，步骤S2具体包括：

确定待贴图3D人脸道具对齐位置后所对应3D人脸关键点下标索引index，index∈[0，105]，基于上述的透视投影矩阵模型P、旋转矩阵R、缩放系数S，进行逆向投影变换计算出该待贴图3D人脸道具的几何位置变换参数T，位置变换参数的计算过程如下：

对待贴图3D人脸道具中得到的index对齐的3D坐标(x0，y0，z0)，根据所述旋转矩阵R和所述缩放系数S进行旋转和缩放，使得待贴图3D人脸道具和当前帧待处理人脸图像的姿态、大小保持一致，并得到index索引下新的第一3D坐标，记为(x0'，y0'，z0')，有：

从F

在上述各实施例的基础上，作为一种优选的实施方式，所述根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像，具体包括：

确定所述待贴图3D人脸道具中的光照节点和渲染节点；使用assimp库解析待贴图3D人脸道具中的节点，遍历得到该待贴图3D人脸道具中的光照节点{l

遍历所述光照节点，得到光照参数，记光照参数为L，所述光照参数包括光照类型、光源位置或方向、光照颜色和光照强度，其中光照类型包括电光、方向光和聚光灯，光照颜色包括白光和黄光；

遍历所述渲染节点，针对当前的渲染节点n

将摄像机放到3D人脸道具渲染场景的正前方(0，0，2)位置处，使用上述透视投影矩阵模型P，在顶点着色器(vertex shader)中使用所述旋转矩阵R、所述缩放系数S和所述位置变换参数T对当前渲染节点n

在片段着色器(fragment shader)中，对当前渲染节点n

p＝c

针对当前渲染节点n

若当前的渲染节点n

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第二实施方式涉及一种终端，该终端可以是智能手机、平板电脑等，如图2所示，该终端包括处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述3D人脸道具贴图方法的步骤。例如包括：

根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数；

根据所述旋转矩阵和所述缩放系数对所述待贴图3D人脸道具进行旋转和缩放，以使所述待贴图3D人脸道具和所述当前帧待处理人脸图像的姿态、大小相匹配；确定旋转和缩放后的所述待贴图3D人脸道具中各所述3D人脸关键点的第一3D坐标，以及当前帧待处理人脸图像中与所述3D人脸关键点对应的2D人脸关键点的2D坐标；根据所述第一3D坐标中的深度坐标值对所述2D坐标进行逆向投影，得到所述2D人脸关键点逆向投影到3D空间下的第二3D坐标；根据所有所述3D人脸关键点的所述第一3D坐标和对应2D人脸关键点的所述第二3D坐标确定所述待贴图3D人脸道具的位置变换参数；

根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像。

其中，存储器和处理器采用通信总线方式连接，通信总线可以包括任意数量的互联的总线和桥，通信总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在通信总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现如上述各实施例所述3D人脸道具贴图方法的步骤。例如包括：

根据待贴图3D人脸道具中3D人脸关键点和当前帧待处理人脸图像中2D人脸关键点的对应关系，确定所述待贴图3D人脸道具的旋转矩阵和缩放系数；

根据所述旋转矩阵和所述缩放系数对所述待贴图3D人脸道具进行旋转和缩放，以使所述待贴图3D人脸道具和所述当前帧待处理人脸图像的姿态、大小相匹配；确定旋转和缩放后的所述待贴图3D人脸道具中各所述3D人脸关键点的第一3D坐标，以及当前帧待处理人脸图像中与所述3D人脸关键点对应的2D人脸关键点的2D坐标；根据所述第一3D坐标中的深度坐标值对所述2D坐标进行逆向投影，得到所述2D人脸关键点逆向投影到3D空间下的第二3D坐标；根据所有所述3D人脸关键点的所述第一3D坐标和对应2D人脸关键点的所述第二3D坐标确定所述待贴图3D人脸道具的位置变换参数；

根据所述旋转矩阵、所述缩放系数和所述位置变换参数将所述待贴图3D人脸道具渲染至所述当前帧待处理人脸图像。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。