一种自动多视角人脸自拍图像的三维人脸重建方法及系统

摘要

本发明公开了一种自动多视角人脸自拍图像的三维人脸重建方法，包括：对同一个人的多个视角的人脸图像自动定位标记点；根据定位出的标记点与参考人脸模型上对应的标记点建立目标函数求解摄像机参数；设计重建目标函数，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，并使用多标签图像分割算法求解。发明方法可重建出稠密精细的三维人脸模型，同时该方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种自动多视角人脸自拍图像的三维人脸重建方法及系统。

背景技术

人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。从数据采集的角度出发，三维人脸重建主要分为主动测距设备和被动成像设备。主动测距设备如激光扫描仪，能够扫描得到静态物体精确的三维信息，然而其价格昂贵、扫描时间长、扫描范围有限，很难用于实时性要求较高的应用；相对的，深度摄像机能够实时采集动态物体，然而其对应生成的深度图分辨率低、精度低、噪声大。被动成像设备使用最普遍的是摄像机，由于设备简单价格低廉，且目前已存在大量二维人脸图像，因此从多视角二维人脸图像中恢复三维人脸结构的方法得到广泛关注。由于人脸图像纹理稀疏，因此需要解决特征点匹配过程中存在的二义性问题。

文献【Y.Lin,G.Medioni,and J.Choi.Accurate 3d face reconstruction from weakly calibrated wide baseline images with profile contours.In Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on,pages 1490–1497.IEEE,2010.】提出一种弱标定条件下，基于宽基线的多视角人脸重建方法。该方法输入五个不同姿态(0度正脸、正负45度、正负90度侧脸)下的人脸图 像，。通过寻找任意三个相邻视角下稳定的匹配点估计摄像机相对位置关系，再结合多视角颜色一致性、平滑性以及侧面人脸轮廓信息分别在圆柱坐标系下水平、垂直方向建立基于体素的目标函数并求解。但是，实际应用中，自动获取的侧面轮廓往往无法满足重建精度的要求；另一方面，从实验结果看到，该方法重建的人脸模型在某些视角下存在较大形变。由于人脸图像纹理特征稀疏，该类基于特征点匹配的方法在找不到对应点时便会失效。

文献【H.Han and A.K.Jain.3d face texture modeling from uncalibrated frontal and profile images.In Biometrics:Theory,Applications and Systems (BTAS),2012 IEEE Fifth International Conference on,pages 223–230.IEEE,2012.】提出了一种基于两幅图像(如0度正脸和90度侧脸)的三维人脸重建方法。该算法主要基于三维形变模型(3DMM)，并结合人脸标记点：首先利用正面人脸标记点估算形变和纹理参数；再进一步利用侧面标记点进行模型修正。该算法同样依赖于手动标记的侧面人脸标记点；同时，重建出来的人脸模型在某些视角(如45度)下存在一定程度的形变。另外，该类基于3DMM的人脸重建方法需要结合一个对齐好的三维人脸数据库，重建结果由人脸数据库线性叠加得到，因此该类方法依赖于对齐好的先验数据库，且缺乏描述三维人脸细节的能力。

现有的基于多视角图像的人脸重建方法的不足主要为：1)由于人脸图像纹理特征稀疏的特殊性，基于传统特征点匹配的方法在实际应用中不适用，很难用传统的基于特征点匹配的方法来获得稠密的三维数据；2)需要繁琐的人工交互；3)依赖于外部三维人脸数据库，且重建结果的精确度依赖于数据库的丰富程度。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种自动多视角人脸自拍图像的三维人脸重建方法及系统，其可重建出稠密、精细的三维人脸模型，同时该重建方法不依赖于外部数据库，可实现全自动人脸重建，不要求用户进行人工交互。

为了实现上述发明目的，本发明采用的技术方案是：一种自动多视角人脸自拍图像的三维人脸重建方法，包括如下步骤：

步骤一、对同一个人的多个视角的人脸图像自动定位标记点；

步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数Pi；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数；

步骤三，建立重建目标函数并优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。

优选的，优化后的目标函数为E＝E_data+E_color+E_smooth；其中，数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，X_i表示待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。

优选的，所述步骤一中采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。

优选的，优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。

优选的，所述参考人脸模型上的标记点提前进行标记。

本发明还提供一种自动多视角人脸自拍图像的三维人脸重建系统，包括：

标记点定位模块，用于对同一个人的多个视角的人脸图像自动定位标记点；

摄像机参数估计模块，用于根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数；

优化求解模块，用于对重建目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。

优选的，所述重建目标函数为E＝E_data+E_color+E_smooth；其中，数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，X_i表示待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。

优选的，所述标记点定位模块采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。

优选的，所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考人脸模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。

优选的，所述参考人脸模型上的标记点提前进行标记。

与现有技术相比，本发明的有益效果：

本发明方法通过引入单个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，通过该方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于对齐的外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。

附图说明：

图1是本发明实施例1中的方法流程图。

图2是本发明实施例2中的系统框图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

多视角人脸图像三维重建问题很难用传统的基于特征点匹配的方法来获得稠密的三维数据，这是由二维人脸图像本质的纹理稀疏性决定的。本发明要解决的问题是如何从多幅未标定人脸图像得到稠密的全脸三维人脸模型。发明人研究发现不同视角的人脸图像(来自同一个人)之间相对位置关系是确定的，而不同表现在局部几何上的细微差异。因此，任意人脸都可以从某个参考人脸变换得到。本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。下面结合附图具体说明。

如图1所示的自动多视角人脸自拍图像的三维人脸重建方法流程图，包括如下步骤：

步骤一、对同一个人的多个视角的人脸图像自动定位标记点。

具体的，采用基于回归的方法(如高斯牛顿形变模型法Gauss-Newton Deformable Part Model等)或基于局部优化的方法(如限制性局部模型Constrained Local Model等)对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等，也可以是其他常用标记点。

步骤二、根据定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数P；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换矩阵，n为标记点个数。

针对第i个输入的人脸图像Ii定位的标记点mi＝{x1,x2,…,xn}，其中n为标记点个数。假设定位的标记点mi＝{x1,x2,…,xn}与参考人脸(来自同一人)模型上的标记点Mi＝{X1,X2,…,Xn}一一对应，通过下面的能量函数求解估计对应摄像机参数P：

$E\left(P\right)=\min \underset{i}{\Sigma }\left|\right|P_i{X}_i-x_i\left|\right|;$

待估计的参数P＝{Pi}表示三维点到对应图像的投影变换，可通过基于最小二乘的Levenberg-Marquardt算法优化得到。所述参考人脸模型上的标记点提前进行标记。估计参数P即是进行摄像机标定，其是三维重建的重要步骤，早期三维重建技术中多采用基于标定物的摄像机标定方法进行欧式重建，随着研究的深入，包括本发明在内的现代三维重建技术多通过计算摄像机的内参数进行自标定，这些均为现有成熟技术，不再详述。如果不完成摄像机的自标定无法进行三维重建，后面能量函数(即优化后的函数E)中会用到估计的摄像机参数。求解函数E＝E_data+E_color+E_smooth从而恢复三维人脸模型。

步骤三，对重建目标函数优化，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，使用多标签图像分割算法求解该目标函数得到三维人脸模型。多标签图像分割算法发展成熟，包括alpha-expansion，alpha-swap，BP算法等。需要说明的是，本发明中采用的上述各个具体算法均为现有成熟技术。

优化后的目标函数为E＝E_data+E_color+E_smooth；数据项为D表示参考模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，X_i表示待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度；

多视角颜色一致项为其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，对应参数Pi，表示像素i对应的三维空间中的三维点；

深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj表示像素i，j对应的深度。

本发明中优化目标函数E应满足以下条件：a)输出的三维人脸模型与参考模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。

具体的，由于不同人脸图像之间相对位置关系是确定的，而不同之处表现在局部几何上的差异。从任意人脸都可以变换得到需要的人脸模型。本发明将不同人脸之间的变换过程转换为马尔科夫随机场下的多标签图像分割问题。基于此，对应优化函数E应满足以下条件：1.输出三维人脸模型与参考人脸模型近似；2.输出三维人脸模型与多视角的人脸图像之间满足颜色一致性；3.输出三维人脸模型局部邻域内满足深度变化平滑性。最后使用多标签图像分割算法求解该目标函数重建得到三维人脸模型。

由于参考人脸模型存在于三维空间，首先需要将其转化到二维图像空间，以方便使用对应多标签图像分割算法求解。参考人脸模型的空间转化可通过两种方式实现：1.将三维人脸模型投影到柱面坐标系，投影值用深度表示，再将 圆柱表面展开便得到二维空间下的深度图；2.将三维模型投影到一个定义好的坐标系，其中二维深度图竖直方向与空间坐标系y轴相同；水平方向定义为当前三维点与z轴的夹角；对应值即当前三维点的深度值。

假设S为转化到二维图像上的三维解空间，对应x-y轴即对应转换之后的图像空间，z轴对应深度方向。也就是说，解空间是在以参考人脸模型为中心的一个邻域范围内。另一方面，S可看成一个长方体状的空间包围盒，其中正面人脸所在平面为x-y方向平面，正面人脸朝向z方向。根据建模精度的不同，将空间包围盒用平行于x-y方向的平面切割为N等份，N越大表示建模精度越高。因此，每个像素点对应N个可能的深度取值，通过建立目标函数E为每个像素求解出最优的深度值，再将其转换到三维空间，便得到最终的三维人脸模型。

所述目标函数定义为：E＝E_data+E_color+E_smooth；其中，表示数据项，D表示转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，于是X_i表示待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度。这一项表示待优化三维人脸模型应该尽量与参考人脸模型近似。

多视角颜色一致项定义为其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点。这一项要求同一个三维点在不同视角图像上的投影颜色应该保持一致。

第三项是深度平滑项，定义为其中，N(i)是像素i所在的邻域集。这一项要求图像空间上相邻两个像素对应的深度应保持平缓变 化。

本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。本发明通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。

基于同一发明构思，结合图2，本发明实施例还提供一种自动多视角人脸自拍图像的三维人脸重建系统，包括标记点定位模块、摄像机参数估计模块和优化求解模块。

所述标记点定位模块用于对同一个人的多个视角的人脸图像自动定位标记点。所述摄像机参数估计模块用于根据所述标记点定位模块定位出的标记点与参考人脸模型上的标记点建立目标函数求解摄像机参数Pi；其中所述目标函数为xi为第i个人脸图像Ii上定位的标记点mi＝{x1,x2,…,xn}，Xi为参考人脸模型上的标记点Mi＝{X1,X2,…,Xn}，mi与Mi一一对应，参数Pi表示三维点到对应图像的投影变换，n为标记点个数；

所述优化求解模块用于对重建目标函数优化，将三维人脸重建问题转换为马尔科夫随机场下的多标签图像分割问题，使用多标签图像分割算法求解该目标函数得到三维人脸模型。

本发明通过引入一个标准参考人脸模型估计不同视角人脸图像之间的相对位置关系和待重建人脸解空间，并将三维人脸重建问题转化为马尔科夫随机场(MRF)框架中的多标签图像分割问题，对应的函数包括数据项、多视角颜色一致项以及深度平滑项。本发明方法可以重建出准确的三维人脸模型，可进一步用于基于三维的人脸识别系统。本发明通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果，可重建出稠密精细的三维人脸模型。再者，该方法不依赖于外部数据库，任意一个参考人脸模型都可以用于运算，人脸细节的恢复通过像素级的优化算法得到。另外，该方法可实现全自动人脸重建，不要求用户进行人工交互，重建的三维人脸模型可以旋转到其他任意视角。

具体的，所述参考人脸模型上的标记点提前进行标记。优化后的目标函数为E＝E_data+E_color+E_smooth；其中，数据项为D表示参考人脸模型转换到二维图像空间的参考模型，X即待求解的人脸模型，i是二维图像空间上的每个像素，X_i表示待估计模型上像素i对应的深度，D_i表示参考人脸模型上像素i对应的深度；多视角颜色一致项为其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj表示像素i，j对应的深度。

所述标记点定位模块采用基于回归的方法或基于局部优化的方法对多个视角的人脸图像自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。

所述优化求解模块优化目标函数E应满足以下条件：a)输出的三维人脸模 型与参考模型近似；b)输出的三维人脸模型与多视角的人脸图像之间满足颜色一致性；c)输出的三维人脸模型局部邻域内满足深度变化平滑性。该实施例与图1所示方法实施例基于同一构思，相同之处请参考前述方法实施例中的相应描述，此处不再详述。

本发明针对目前多视角人脸图像重建方法的不足，提出一种基于单个参考人脸模型的人脸重建方法。该方法输入的对象为多视角人脸图像和参考人脸模型(其中标记点已知)，输出为输入的人脸图像对应的三维人脸模型。本发明方法通过引入参考人脸模型，可以有效消除特征点匹配过程中存在的二义性，同时缩小解空间、增加算法的计算性能，高效快速得到稳定的重建结果；再者，该方法不依赖于外部数据库，任意一个参考人脸都可以用于运算，人脸细节的恢复通过像素级的优化算法得到；另外，该方法可实现全自动人脸重建，不要求用户进行人工交互。本发明方法可重建出稠密、精细的三维人脸模型；重建的三维模型可以旋转到其他任意视角，可用于人脸识别系统。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。