基于多视角手机自拍图像的三维人脸重建方法

摘要

本发明公开了一种基于多视角手机自拍图像的三维人脸重建方法，包括:对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点；根据所述标记点建立第一能量函数求解摄像机参数Pk(k＝1,…,N)，所述第一能量函数为：i表示像素编号，k表示输入图像视角编号，mi表示第i个标记点，Xi表示第i个标记点对应的三维点坐标,参数Pk表示三维点到对应图像的投影变换矩阵；根据所述摄像机参数建立重建目标函数E＝Edata+Ecolor+Esmooth，对目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。本发明利用手机自拍图像快速的重建出精确的三维人脸模型。

说明书

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于多视角手机自拍图像的三 维人脸重建方法。

背景技术

手机是目前使用最多的便携电子设备。随着手机拍照的普及，人们可以很 容易利用手机自拍获得人脸各个角度的图像。同时，每个人手机中也存有大量 的自拍人脸图像。然而，目前手机却没有深度传感器，不能实时得到人脸的深 度图像并建立人脸三维模型，使手机自拍缺乏立体感和生动性。

申请号为CN201310161450.4，发明名称为一种手机或平板电脑的三维成像 装置的中国专利公开了通过手机建立人脸三维模型的方案，其是在手机或平板 电脑上安装两个空间分离的摄像头，所述的手机或平板电脑内设有将左右通道 图像合成三维图像、存储图像、对三维图像进行比较鉴别的图像处理软件。但 是该方案基于两个摄像头采集的左右通道图像重建出的人脸三维模型不够精 确。另外，该方案中在手机或平板电脑上安装的两个摄像头之间的相互位置关 系固定，基于两个摄像头的左右通道图像重建出人脸三维模型，对于目前常用 的背面或前面具有单个摄像头的手机，该方案无法适用。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于多视 角手机自拍图像的三维人脸重建方法及系统，以利用手机自拍图像快速的重建 出精确的三维人脸模型。

为了实现上述发明目的，本发明采用的技术方案是：

一种基于多视角手机自拍图像的三维人脸重建方法，包括:

对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点，其中 N>＝2，且为整数；

根据所述标记点建立第一能量函数求解摄像机参数Pk(k＝1,…,N)，所述 第一能量函数为：其中i表示像素点，mi表示第i个标 记点，mi的上标k代表输入图像视角编号，Xi表示第i个标记点对应的三维 点坐标,参数Pk表示三维点到对应图像的投影变换矩阵；

根据所述摄像机参数建立重建能量函数得到目标函数 E＝E_data+E_color+E_smooth，对目标函数优化，使用多标签图像分割算法求解该目标 函数得到三维人脸模型。

优选的，所述目标函数为E＝E_data+E_color+E_smooth；

其中，数据项为i是二维图像空间上的每个像素，X_i表示 待估计模型上像素i对应的深度，D_i表示参考模型上像素i对应的深度；

多视角颜色一致项为其中，(k₁,k₂)表示不同视 角对，P_k即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维 点；

深度平滑项为其中，N(i)是像素i所在的邻域集， Xi、Xj分别表示像素i，j对应的深度。

优选的，所述手机自拍的同一个人的N个不同角度的人脸图像来自于：用 手机立即自拍出一个人N个角度的人脸图像；或者从手机中找到某个人N张不 同角度的人脸图像。

优选的，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记 点具体为：对手机自拍的同一个人的N个不同角度的人脸图像通过基于回归的 方法或基于局部优化的方法自动定位标记点，所述标记点包括内外眼角、鼻尖、 嘴角、轮廓等。

优选的，采用迭代求解的方法求解摄像机参数Pk。

优选的，重建目标函数满足以下条件：a)基于局部平面假设的多视角颜色 一致性约束；b)深度变化与图像变化一致，即灰度变化大的区域深度也发生跳 变，灰度变化小的区域深度变化平缓。

优选的，所述目标函数采用alpha-expansion算法求解。

与现有技术相比，本发明的有益效果：

本发明利用手机自拍图像快速的重建出精确的三维人脸模型，，可重建出 稠密、精细的三维人脸模型，重建的三维模型旋转到其他任意视角，仍能得到 逼真的三维模型；利用该方法可用于人脸识别系统，如基于三维人脸的手机支 付。也可以在不改变硬件的条件下，将手机内置摄像机变成深度摄像机，设计 相关的手机APP。

附图说明：

图1是本发明实施例中的基于多视角手机自拍图像的三维人脸重建方法流 程图；

图2是本发明实施例中的人脸重建示意图；

图3是本发明实施例中的人脸标记点定位示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为 本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术 均属于本发明的范围。

三维人脸模型可以辅助提升人脸识别系统的识别率，同时兼顾防伪功能。 目前，对三维人脸数据获取技术的研究相对较少。然而，随着手机拍照的普及， 人们可以很容易利用手机获得人脸各个角度的图像。本发明利用手机自拍图像 快速的重建出精确的三维人脸模型。下面详细说明。

如图1所示的基于多视角手机自拍图像的三维人脸重建方法，包括如下步 骤:

S1：对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点， 其中N>＝2，且为整数。

具体的，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记 点具体为：对手机自拍的同一个人的N个不同角度的人脸图像通过基于回归的 方法或基于局部优化的方法自动定位标记点，所述标记点包括内外眼角、鼻尖、 嘴角、轮廓等(参看图3)。基于回归的方法，如高斯牛顿形变模型法 (Gauss-Newton Deformable Part Model)，基于局部优化的方法，如限制性 局部模型(Constrained Local Model)等，这些均为现有成熟技术，具体不 再详述。所述手机自拍的同一个人的N个不同角度的人脸图像来自于：用手机 立即自拍出一个人N个角度的人脸图像；或者从手机中找到某个人N张不同角 度的人脸图像。

S2：根据所述标记点建立第一能量函数求解摄像机参数Pk，所述第一能量 函数为：其中i表示像素点，mi表示第i个标记点，mi 的上标k代表输入图像视角编号，即对手机自拍的不同视角的人脸图像编号， 带上标k的mi表示视角编号为k的人脸图像对应的第i个标记点，因为每张 不同视角的人脸图像都会定位出多个标记点，Xi表示第i个标记点对应的三维 点坐标,参数Pk表示三维点到对应图像的投影变换矩阵。求解摄像机参数Pk (k＝1,…,N)采用迭代求解的方法，如bundle adjustment等算法，该算法为现 有成熟技术，不再详述。

S3：根据所述摄像机参数设计重建目标函数E＝E_data+E_color+E_smooth，对目标 函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型(参看 图2)。

具体的，所述目标函数为E＝E_data+E_color+E_smooth；其中，数据项为 i是二维图像空间上的每个像素，X_i表示待估计模型上像素i 对应的深度，D_i表示参考模型上像素i对应的深度；多视角颜色一致项为 其中，(k₁,k₂)表示不同视角对，P_k即视角k对应的 投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为 其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示 像素i，j对应的深度。重建目标函数需满足以下条件：a)基于局部平面假设的 多视角颜色一致性约束；b)深度变化与图像变化一致，即灰度变化大的区域深 度也发生跳变，灰度变化小的区域深度变化平缓。所述目标函数采用 alpha-expansion算法求解，该算法为现有成熟技术，不再详述。

本发明中求解摄像机参数P和三维点坐标X采用迭代求解的方法。

首先建立以下能量函数：

$E=\min \underset{i}{\Sigma }\left|\right|P_k{X}_i-m_i^k\left|\right|$

这里需要同时求解摄像机参数P和三维点坐标X，要求第i个三维点X_i投 影到第k个视角的对应点应该尽量与视角k上对应的第i个标记点接近。可采 用迭代求解的方法。

第二个能量函数即重建的目标函数中E_color项需要用到估计的摄像机参 数P，而第一能量函数估计出来的X坐标只是标记点对应的三维点坐标，不用 于后面的目标函数求解计算。

本发明利用手机自拍图像快速的重建出精确的三维人脸模型，基于手机自 拍图像，不受角度限制，任意姿态、角度下的人脸图像都可以用于三维人脸重 建，，可重建出稠密、精细的三维人脸模型，重建的三维模型旋转到其他任意 视角，仍能得到逼真的三维人脸模型；利用该方法可用于人脸识别系统，如基 于三维人脸的手机支付。也可以在不改变硬件的条件下，将手机内置摄像机变 成深度摄像机，并设计相关的手机APP。

人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别 等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计 算机辅助设计等领域研究者的重视。本发明从手机重建出来的三维人脸模型可 用于影视游戏领域，同时在三维人脸识别领域不仅可以提升人脸识别系统的识 别率，同时兼顾防伪功能。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限 制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域 的技术人员可以作出各种修改或改型。