基于先验模型的正面人脸图像合成方法及系统

摘要

本发明涉及一种基于先验模型的正面人脸图像合成方法及系统，所述方法包括：步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；步骤四：合成正面人脸图像。本发明可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的姿态角并合成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对于人脸识别、人脸姿态估计的研究与实际应用的开发都具有重要的理论与实际意义。

说明书

技术领域

本发明涉及计算机图形学、数字图像处理以及人工智能等领域，具体涉及一 种通过人脸姿态图像合成其正面人脸图像的方法及系统。

背景技术

正面人脸合成的方法包括三维的方法和二维的方法。三维方法的思路是通过 对测试人脸图像进行三维重建，在得到测试人脸图像的三维数据之后，正面人脸 图像自然就可以得到。该类方法最典型的方法是形变模型(3DMM,3D Morphable  Mpdel)方法，实现了由侧面到正面的人脸图像合成，但3DMM的人脸重建过程 效率很低，在主频2GHz的服务器上重建一幅人脸需要300秒。后来的学者提出 了许多基于3DMM改进的法来优化重建过程提高效率。如有文献扩展了AAM匹 配的改进方法，并将其应用于2D→3D的配准中，提高了重建效率，但其重建精 度较差低；还有文献利用部分脸部特征点实现稀疏的2D→3D配准，具有较高的 重建效率，但该方法只能应用于正脸图像且重建精度较低。除了三维方法以外， 直接采用二维图像来合成正面人脸也得到了广泛的研究。二维方法主要是通过统 计学的原理进行正面人脸合成，这必定涉及到对测试人脸的姿态估计问题。二维 人脸模型由于模型本身的局限，不能准确估计出图像上缺失的深度信息，而基于 三维人脸模型，能够准确的估计出人脸的姿态信息。有学者采用三维人脸模型对 人脸姿态进行估计的，并取得良好的姿态估计结果。还有学者首先判定测试人脸 的姿态角，然后利用对应姿态的人脸训练库进行正脸合成，但这种合成方法需要 大量的各种姿态人脸训练图像。因此，基于先验模型姿态估计和正面人脸合成方 法，是一个新的视角，值得深入的研究和特别的关注。

发明内容

针对上述现有技术的缺陷，本发明的目的在于提供一种正面人脸合成的方法。 其可以实现在只采用三维人脸库中信息的情况下，估计出输入的测试人脸图像的 姿态角并合成对应的正面人脸，且可以保留原来人脸面部上某些细节特征。这对 于人脸识别、人脸姿态估计的研究与实际应用的开发都具有重要的理论与实际意 义。具体技术方案如下：

一种基于先验模型的正面人脸图像合成方法，包括：

步骤一：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试 人脸图像的特征点；

步骤二：求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像 标定的特征点建立对应关系求得测试人脸图像的姿态角度α,β,γ；

步骤三：从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建 原型样本库；

步骤四：合成正面人脸图像。

所述的步骤二可进一步具体包括：用S_i＝(x_i1,y_i1,z_i1,......,x_im,y_im,z_im)^T表示归一化 好的三维人脸样本库中每张人脸的形状，用形状矩阵S＝(S₁,S₂,...S_n)表示所有样本， 则平均三维人脸模型为假设将模型在x、y、z轴上分别旋转 α，β，γ的角度后与测试人脸图像姿态相同，那么模型上面相应的特征点经 过坐标旋转矩阵R，点坐标由P(x,y,z)变换到P^r(x',y',z')，

$R=\left(\begin{array}{ccc}{a}_1(\alpha ,\beta ,\gamma )& a_2(\alpha ,\beta ,\gamma )& a_3(\alpha ,\beta ,\gamma )\\ a_4(\alpha ,\beta ,\gamma )& a_5(\alpha ,\beta ,\gamma )& a_6(\alpha ,\beta ,\gamma )\\ a_7(\alpha ,\beta ,\gamma )& a_8(\alpha ,\beta ,\gamma )& a_9(\alpha ,\beta ,\gamma )\end{array}\right)---\left(1\right)$

通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换，得到平 移变化矩阵T和三维到二维的尺度变换系数S，确定了T和S后，将旋转后平均 三维人脸模型上的特征点投影到二维平面上，建立与测试人脸图像标定的特征点 的对应关系，选取平均三维人脸模型上比较明显的双眼的内外角点，鼻尖点和嘴 巴两端这7个特征点，其在平均三维人脸模型和测试人脸图像中的坐标分别为 (x_i,y_i,z_i)、(x′_i,y′_i)，则有：

$\left(\begin{array}{c}{a}_1*x_i+a_2*y_i+a_3*z_i=x_i^{\prime }\\ a_4*x_i+a_5*y_i+a_6*z_i=y_i^{\prime }\end{array}\right)$其中i＝1,2...,7   (2)

采用最小二乘法进行求解，从而可以求得测试人脸的姿态角度α,β,γ。

所述的步骤三可进一步具体包括：根据线性类思想，将待重建人脸表述为：

$s_{\mathrm{new}}=\underset{i=1}{\overset{k}{\Sigma }}{c}_i{s}_i^{\prime }=c_1{s}_1^{\prime }+c_2{s}_2^{\prime }+...+c_k{s}_k^{\prime }=S^{\prime }·C---\left(3\right)$

其中s_i为原型样本库中的样本，s′_i为样本s_i依据姿态角度α,β,γ旋转后的三维模 型，通过求解式(3)的稀疏解来筛选与测试人脸图像相似的原型样本库。

所述的步骤四可进一步具体包括：

步骤①：形状和纹理分开建模；

步骤②：用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理 的组合系数；

步骤③：将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终 合成的正面人脸。

所述的步骤①可进一步具体包括：采用与测试人脸图像相似性较大的数据构 建原型样本库，利用标定的特征点对人脸形状和纹理分别进行建模，为了提取人 脸图像的纹理信息，需要建立图像像素之间一对一的对应关系，将人脸形状S_i用 Delaunay(德劳内)三角化，并将每一张人脸都变形到原型样本库的平均人脸上， 将人脸的纹理向量表达为g＝(i₁,i₂,...i_k,...i_l)^T∈R^l的形式。

所述的步骤②可进一步具体包括：用经步骤三筛选后的三维人脸组合来表示 测试人脸的形状和纹理：

$S_{\mathrm{new}}={\bar{S}}_{\mathrm{mode}l}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\alpha }_i{s}_i,T_{\mathrm{new}}=\bar{T}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\beta }_i{t}_i---\left(4\right)$

其中分别为原始三维人脸平均形状(即步骤二中所述的平均三维 人脸模型)和平均纹理向量，分别为模型的形状和纹理的组合系数，s_i为经 步骤三筛选后的原型样本库中的形状向量，t_i为纹理向量，现对式(4)中的形 状模型进行旋转和投影变形，得到下式：

${s^r}_{\mathrm{new}}=\stackrel{-r}{s}+{\mathrm{\alpha s}}^r=\stackrel{-r}{s}+\Delta s^r---\left(5\right)$

其中，s^r_new、与s^r分别表示表示输入的测试人脸图像的形状，旋转投影之后 模型平均的人脸形状，及特征旋转投影矩阵，可利用稀疏形变模型方法求解式(5) 中的组合系数，根据求得的形状组合系数，可以得到合成的正面人脸形状：

${s^f}_{\mathrm{new}}=\stackrel{-f}{s}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\alpha }_i{s}_i^f---\left(6\right)$

采用同样的求解方法，SVD分解，求得形变模型中纹理的组合系数β得到合成纹 理：$t_{i(x,y)}=\bar{t}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\beta }_i{t}_i---\left(7\right)$

所述的步骤③可进一步具体包括：综合纹理合成方式如下：若在正脸中可见、 而在测试人脸图像中不可见的纹理，主要采用式(7)合成的纹理；反之主要采 用测试人脸图像的原始纹理，最终生成的综合纹理如下：

g_i(x,y)＝w_i(x,y)*t_i(x,y)+(1-w_i(x,y))*t_0(x,y)   (8)

其中t_i(x,y)代表在点(x,y)处合成得到的像素值，t_0(x,y)代表在点(x,y)处输入测 试人脸图像的像素值，w_i代表点(x,y)处合成纹理中原始纹理的权重，结合公 式(6)和公式(8)得到正面人脸图像。

所述w_i可通过相应点处局域面积变化率确定。

本发明还涉及一种基于先验模型的正面人脸图像合成系统，包括特征点标定 模块、姿态角度求取模块、原型样本构建模块及正面人脸合成模块，

所述的特征点标定模块用于对三维原型样本库进行样本规范化得到三维人 脸样本库，标定测试人脸图像的特征点，将结果发送给姿态角度求取模块；

所述的姿态角度求取模块用于求取平均三维人脸模型，通过其上的特征点投 影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度， 将结果发送给原型样本库构建模块；

所述的原型样本库构建模块用于从三维人脸样本库中筛选出与测试人脸图 像相似性较大的图像构建原型样本库，将结果发送给正面人脸合成模块；

所述的正面人脸合成模块用于根据输入的测试人脸图像信息和原型样本库 发送来的信息合成正面人脸图像。

本发明有益效果如下：

与现有正面人脸图像合成方法相比，本方法有如下的优势：首先，现有正面 人脸图像合成的方法，需要大量的不同姿态下人脸样本进行训练(每个姿态至少 需要数百幅图像)，而本方法只采用一定数量的(100-200)三维人脸样本信息， 筛选出样本库中与测试人脸图像近似的数据作为原型样本数据，并生成不同姿态 下的二维人脸原型样本库，解决了数据来源的问题；其次，二维正面人脸图像合 成的方法均涉及特征点的标定，这一项工作耗时且单调，而本方法充分的利用了 三维人脸数据库的优势，可以在已经规范好的人脸上直接得到特征点；再次，本 方法将测试人脸图像的纹理与合成纹理相结合得到综合纹理，可以保留测试人脸 所具有的某些细节信息，与传统方法相比增加了合成图像的真实性。

附图说明

图1为本发明基于先验模型的正面人脸图像合成方法流程示意图。

具体实施方式

本发明涉及到三维人脸模型的姿态估计技术以及二维单张测试人脸图像的 正脸合成技术，所采用的技术方案如下：

(1)初始化处理：包括对测试人脸图像特征点的标定、三维人脸样本库的 规范化、由三维人脸样本库构建二维样本库。

(2)建立平均三维人脸模型，估计测试人脸图像的姿态参数。

(3)根据稀疏表示原理从规范化的三维人脸样本库中筛选出与测试人脸图 像相似的原型样本库。

(4)正面人脸图像合成

①形状和纹理分开建模；

②用基于样本筛选的形变模型理论求解输入的测试人脸图像的形状和纹理 的组合系数

③将测试人脸图像的纹理与合成的纹理相结合得到综合的纹理，得到最终合 成的正面人脸。

下面，结合附图和实施例对本发明作进一步说明：

实施例一

本发明一种基于先验模型的正面人脸图像合成方法包括以下步骤：

1.算法初始化

算法的初始化过程包括三维原型样本库的规范化得到三维人脸样本库、由三 维人脸样本库构建二维样本库、输入二维图像特征点的标定。

三维原型样本库的规范化在于实现样本库中人脸姿态的校正、三维人脸点集 的重采样和点的对应；由三维人脸样本库按照正交投影的方式可以得到二维样本 库；二维图像特征点的标定采用手动标定的方式，并选取二维面部特征点在三维 模型中存在对应的特征点。

2.估计测试人脸图像姿态参数

归一化好的三维人脸样本库中每张人脸的形状可以用 S_i＝(x_i1,y_i1,z_i1,......,x_im,y_im,z_im)^T来进行标示。所有样本可以用形状矩阵S＝(S₁,S₂,...S_n) 来进行表示。其中i∈1,2...,n，n代表三维模型中人脸的总个数，m代表归一化后 的每张三维人脸所包含的顶点的个数。则平均三维人脸模型为假设将模型在x、y、z轴上分别旋转α，β，γ的角度后与测试图像姿态相同。

那么模型上面相应的特征点经过坐标旋转矩阵R，点坐标由P(x,y,z)变换到 P^r(x',y',z')，

$R=\left(\begin{array}{ccc}{a}_1(\alpha ,\beta ,\gamma )& a_2(\alpha ,\beta ,\gamma )& a_3(\alpha ,\beta ,\gamma )\\ a_4(\alpha ,\beta ,\gamma )& a_5(\alpha ,\beta ,\gamma )& a_6(\alpha ,\beta ,\gamma )\\ a_7(\alpha ,\beta ,\gamma )& a_8(\alpha ,\beta ,\gamma )& a_9(\alpha ,\beta ,\gamma )\end{array}\right)---\left(1\right)$

通过三维到二维的投影关系，对三维坐标系进行平移变换以及尺度变换。可以得 到平移变化矩阵T和三维到二维的尺度变换系数S，确定了T和S后，将旋转后 三维模型上的特征点投影到二维平面上，就可建立与测试图像标定点的对应关系。 选取模型上比较明显的双眼的内外角点，鼻尖点和嘴巴两端这7个特征点，其在 三维模型和测试图像中的坐标分别为(x_i,y_i,z_i)、(x′_i,y′_i)，则有：

$\left(\begin{array}{c}{a}_1*x_i+a_2*y_i+a_3*z_i=x_i^{\prime }\\ a_4*x_i+a_5*y_i+a_6*z_i=y_i^{\prime }\end{array}\right)$其中i＝1,2...,7  (2)

采用最小二乘法进行求解，从而可以求得测试人脸的姿态角度α,β,γ。

3.原型样本库的筛选

为提高合成图像的质量，采用稀疏表示理论筛选出训练样本集中与测试图 像相似性较大的人脸构建原型样本库。根据线性类思想，待重建人脸可以表述为：

$s_{\mathrm{new}}=\underset{i=1}{\overset{k}{\Sigma }}{c}_i{s}_i^{\prime }=c_1{s}_1^{\prime }+c_2{s}_2^{\prime }+...+c_k{s}_k^{\prime }=S^{\prime }·C---\left(3\right)$

其中s′_i为样本s_i旋转后的三维模型。假设三维原型样本库足够大，那么其中与测 试人脸相似的原型样本数量必然远远小于原型样本总数量，因而组合系数向量C 必然是稀疏的。因此，可以通过求解式(3)的稀疏解来筛选与测试人脸图像相 似的原型样本集。

4.正面人脸图像合成

[1]形状和纹理分开建模:

采用与测试人脸图像相似性较大的数据构建原型样本库，利用标定的特征点对人 脸形状和纹理分别进行建模。为了提取人脸图像的纹理信息，需要建立图像像素 之间一对一的对应关系。将人脸形状S_i用Delaunay(德劳内)三角化，并将每一张 人脸都变形到平均人脸上，人脸的纹理向量可表达为g＝(i₁,i₂,...i_k,...i_l)^T∈R^l的形式。

[2]用线性类理论求输入的测试人脸图像的形状和纹理的组合系数

根据线性类假设，测试人脸图像的形状和纹理可以由筛选后三维人脸组合来表示：

$S_{\mathrm{new}}={\bar{S}}_{\mathrm{mode}l}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\alpha }_i{s}_i,T_{\mathrm{new}}=\bar{T}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\beta }_i{t}_i---\left(4\right)$

其中分别为原始三维人脸平均形状(即步骤二中所述的平均三维人 脸模型)和平均纹理向量，分别为模型的形状和纹理的组合系数s_i为经步骤 三筛选后的原型样本库中的形状向量，t_i为纹理向量。但现在给定实际测量的对 象为二维姿态图像，仅能获得姿态图像上若干点的二维信息。现对式(4)中的 形状模型进行旋转和投影变形，得到下式：

${s^r}_{\mathrm{new}}=\stackrel{-r}{s}+{\mathrm{\alpha s}}^r=\stackrel{-r}{s}+\Delta s^r---\left(5\right)$

其中，s^r_new、与s^r分别表示表示输入的姿态图像的形状，旋转投影之后模型 平均的人脸形状，及特征旋转投影矩阵，可利用稀疏形变模型方法可求解式(5) 中的组合系数。

根据求得的形状组合系数，可以得到合成的正面人脸形状：

${s^f}_{\mathrm{new}}=\stackrel{-f}{s}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\alpha }_i{s}_i^f---\left(6\right)$

采用同样的求解方法求得形变模型中纹理的组合系数β得到合成纹理：

$t_{i(x,y)}=\bar{t}+\underset{i=1}{\overset{n^{\prime }}{\Sigma }}{\beta }_i{t}_i---\left(7\right)$

[3]将输入图像纹理与合成的纹理相结合得到最终的合成纹理

为了获得合成人脸更加逼真的效果，纹理合成方式如下：若在正脸中可见、而在 测试图像中不可见的纹理，主要采用式(7)合成的纹理；反之主要采用测试图 像的原始纹理。最终生成的纹理如下：

g_i(x,y)＝w_i(x,y)*t_i(x,y)+(1-w_i(x,y))*t_0(x,y)  (8)

其中t_i(x,y)代表在点(x,y)处合成得到的像素值，t_0(x,y)代表在点(x,y)处输入测 试图像的像素值，w_i代表点(x,y)处合成纹理中原始纹理的权重，可以通过相 应点处局域面积变化率确定。