一种3D人脸重建方法、装置及服务器

摘要

本申请公开了一种3D人脸重建方法、装置及服务器，其中方法包括：对于获取的2D人脸图像，确定其上的特征点；依据特征点确定人脸的姿态参数，并按照姿态参数调整通用三维人脸模型的姿态；确定特征点在通用三维人脸模型上的对应点，并对处于遮挡状态下的对应点进行调整，以得到初步3D人脸模型；对初步3D人脸模型进行变形调整，并对变形后的3D人脸模型进行纹理映射，得到最终的3D人脸。本申请获取的2D人脸图像可以是人的侧脸图像，依据特征点确定出该侧脸图像的姿态参数，进而对通用三维人脸模型进行姿态调整，使得通用三维人脸模型的姿态与人脸姿态一致，进而通过后续处理得到3D人脸。

说明书

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种3D人脸重建方法、 装置及服务器。

背景技术

近年来，随着人脸识别技术、人脸视频会议、人脸3D动画、虚拟技术的 发展，三维人脸建模受到了越来越多的研究者们的关注，其中3D人脸形状重 建是三维人脸建模的关键技术之一。

目前3D人脸重建的方法大多是从多个角度采集多张人脸照片，或者采集 一张人脸正面照片，得到3D人脸，进而依据该3D人脸照片进行3D人脸的重建。 但是，现实场景中，很多情况下我们是无法采集到人脸正面图像的，比如在 进行人脸识别时，很有可能仅采集到人的侧脸，此时现有的3D人脸重建方法 将无法构建出3D人脸，或者构建的3D人脸效果极差。

发明内容

有鉴于此，本申请提供了一种3D人脸重建方法、装置及服务器，以便针 对仅包含人侧脸的照片仍能够构建3D人脸。

为了实现上述目的，现提出的方案如下：

一种3D人脸重建方法，其特征在于，包括：

获取用于进行3D人脸重建的2D人脸图像，并确定所述2D人脸图像上 的特征点，所述特征点用于表征人脸轮廓；

利用所述特征点确定人脸的姿态参数，并按照所述姿态参数调整预先获 取的通用三维人脸模型的姿态；

确定所述特征点在所述通用三维人脸模型上的对应点，并对处于遮挡状 态下的对应点进行调整，得到初步3D人脸模型；

对所述初步3D人脸模型进行变形调整，以使所述初步3D人脸模型上对 应点间关系与所述2D人脸图像上特征点间的位置关系一致，得到变形后3D 人脸模型；

对所述变形后3D人脸模型进行纹理映射，得到3D人脸。

一种3D人脸重建装置，其特征在于，包括：

图像特征点确定单元，用于获取用于进行3D人脸重建的2D人脸图像， 并确定所述2D人脸图像上的特征点，所述特征点用于表征人脸轮廓；

姿态调整单元，用于利用所述特征点确定人脸的姿态参数，并按照所述 姿态参数调整预先获取的通用三维人脸模型的姿态；

特征点匹配单元，用于确定所述特征点在所述通用三维人脸模型上的对 应点，并对处于遮挡状态下的对应点进行调整，得到初步3D人脸模型；

模型变形单元，用于对所述初步3D人脸模型进行变形调整，以使所述初 步3D人脸模型上对应点间位置关系与所述2D人脸图像上特征点间的位置关 系一致，得到变形后3D人脸模型；

纹理映射单元，用于对所述变形后3D人脸模型进行纹理映射，得到3D人 脸。

一种服务器，其特征在于，包括权利要求6-9任一项所述的3D人脸重建装 置。

从上述的技术方案可以看出，本申请实施例提供的3D人脸重建方法，对 于获取的2D人脸图像，首先确定出其上的特征点，依据特征点确定人脸的姿 态参数，并按照姿态参数调整通用三维人脸模型的姿态，然后确定出特征点 在通用三维人脸模型上的对应点，并对处于遮挡状态下的对应点进行调整， 以得到初步3D人脸模型，接着对初步3D人脸模型进行变形调整，并对变形后 的3D人脸模型进行纹理映射，得到最终的3D人脸。本申请获取的2D人脸图像 可以是人的侧脸图像，依据特征点确定出该侧脸图像的姿态参数，进而对通 用三维人脸模型进行姿态调整，使得通用三维人脸模型的姿态与人脸姿态一 致，进而通过后续处理得到3D人脸。由于本申请不限定2D图像的拍摄角度， 因而其鲁棒性更高，人脸识别的准确度也进一步得到提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种服务器硬件结构示意图；

图2为本申请实施例公开的一种3D人脸重建方法流程图；

图3为本申请实施例示例的一种2D人脸图像特征点选取方式示意图；

图4为本申请实施例示例的一种人脸图像在空间直角坐标系中旋转示意 图；

图5为本申请实施例公开的另一种3D人脸重建方法流程图；

图6为本申请实施例公开的又一种3D人脸重建方法流程图；

图7为本申请实施例公开的一种3D人脸重建装置结构示意图；

图8为本申请实施例公开的一种特征点匹配单元结构示意图；

图9为本申请实施例公开的一种模型变形单元结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而 不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的3D人脸重建方法基于服务器，该服务器的硬件结构 可以是电脑、笔记本等。在介绍本申请的3D人脸重建方法之前，首先介绍一 下服务器的硬件结构。如图1所示，该服务器可以包括：

处理器1，通信接口2，存储器3，通信总线4，和显示屏5；

其中处理器1、通信接口2、存储器3和显示屏5通过通信总线4完成相 互间的通信。

接下来，我们结合服务器硬件结构，对本申请的3D人脸重建方法进行介 绍，如图2所示，该方法包括：

步骤S200、获取用于进行3D人脸重建的2D人脸图像，并确定所述2D 人脸图像上预设数量的特征点；

具体地，获取2D人脸图像时可以通过通信接口2进行获取。可选的，通 信接口2可以为通信模块的接口，如GSM模块的接口。获取的2D人脸图像 可以存储到存储器3中，存储器3可能包含高速RAM存储器，也可能还包括 非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选的，对于获取的2D人脸图像，其可以是本地存储的，也可以是从网 络上下载的，对于图像的格式本实施例不进行限定，其可以是JPEG格式、 BMP格式等等。本申请中获取的2D人脸图像可以不是人脸正面图像，对于 偏离正面一定角度的人脸图像也可以。较优的，2D人脸图像不能够偏离正面 角度过大，以控制在能够看到人脸上的两个眼睛的角度最好。

对于选择的特征点，其可以是预先设定好的人脸上的点，一般性的为多 个特征点。所选择的特征点用于表征人脸轮廓，参见图3所示，人脸中的眼 眉、眼睛、鼻子、嘴巴、下巴以及两侧脸颊能够较好地刻画一张脸，因此可 以将这些位置或者这些位置上得某几个点作为特征点。确定特征点的方式可 以是自动化确定，也可以是人工方式。对于前者，可以按照一定的算法编写 程序，从图像中自动读取特征点的坐标；对于后者，可以通过手工方式在图 像上进行位置指定。

步骤S210、利用所述特征点确定人脸的姿态参数，并按照所述姿态参数 调整预先获取的通用三维人脸模型的姿态；

具体地，该步骤可以由处理器1来执行，该步骤对应的代码可以存储在 存储器3中，在执行时由处理器1进行调用。处理器1可能是一个中央处理 器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)， 或者是被配置成实施本申请实施例的一个或多个集成电路。

处理器1可以利用各个特征点之间的位置关系可以确定出人脸的姿态参 数。姿态参数可以以人脸在空间直角坐标系的旋转方向及角度来确定，参见 图4，姿态参数可以由人脸图像沿X轴、Y轴和Z轴方向旋转的角度来构成。

对于通用三维人脸模型，按照已经确定出的人脸图像的姿态参数进行调 整，使之保持与人脸图像的姿态一致。

步骤S220、确定所述特征点在所述通用三维人脸模型上的对应点，并对 处于遮挡状态下的对应点进行调整，得到初步3D人脸模型；

具体地，该步骤可以由处理器1来执行，该步骤对应的代码可以存储在 存储器3中，在执行时由处理器1进行调用。由于我们一般选择设置多个特 征点，因此处理器1将2D人脸图像上的特征点在通用三维人脸模型上对应进 行标注时，可以得到一系列的对应点。由于步骤S210中对通用三维人脸模型 进行了姿态调整，也即当2D人脸图像非正面时，调整后的通用三维人脸模型 也非正面模型，因此在其上标注的对应点有可能会出现一侧对应点出现遮挡 的现象。对于此类处于遮挡状态下的对应点可以进行平移调整，使之可见。 调整后得到初步3D人脸模型。

步骤S230、对所述初步3D人脸模型进行变形调整；

具体地，该步骤可以由处理器1来执行，该步骤对应的代码可以存储在 存储器3中，在执行时由处理器1进行调用。

通过对初步3D人脸模型进行变形调整，使得初步3D人脸模型上各对应 点间位置关系与所述2D人脸图像上特征点间的位置关系一致，得到变形后 3D人脸模型。简单地讲，即比照2D人脸图像，对初步3D人脸模型进行变 形调整，调整人脸的高矮、胖瘦。

步骤S240、对所述变形后3D人脸模型进行纹理映射，得到3D人脸。

具体地，该步骤可以由处理器1来执行，该步骤对应的代码可以存储在 存储器3中，在执行时由处理器1进行调用。

3D人脸主要由几何结构信息和纹理信息两部分构成，当变形得到特定人 脸模型后，也就得到了人脸的几何机构信息，再通过纹理映射技术给模型添 加纹理，即可得到逼真的三维人脸。对于最终得到的3D人脸，可以通过显示 屏5进行显示。

本申请实施例提供的3D人脸重建方法，对于获取的2D人脸图像，首 先确定出其上预设个数的特征点，依据特征点确定人脸的姿态参数，并按照 姿态参数调整通用三维人脸模型的姿态，然后确定出各个特征点在通用三维 人脸模型上的对应点，并对处于遮挡状态下的对应点进行平移调整，以得到 初步3D人脸模型，接着对初步3D人脸模型进行变形调整，并对变形后的3D 人脸模型进行纹理映射，得到最终的3D人脸。本申请获取的2D人脸图像可 以是人的侧脸图像，依据特征点确定出该侧脸图像的姿态参数，进而对通用 三维人脸模型进行姿态调整，使得通用三维人脸模型的姿态与人脸姿态一致， 进而通过后续处理得到3D人脸。由于本申请不限定2D图像的拍摄角度，因 而其鲁棒性更高，人脸识别的准确度也进一步得到提高。

在本申请的另一个实施例中，提供了另一种3D人脸重建方法，参见图5。

如图5所示，该方法包括：

步骤S500、获取用于进行3D人脸重建的2D人脸图像，并确定所述2D 人脸图像上的特征点；

步骤S510、利用各个所述特征点确定人脸的姿态参数，并按照所述姿态 参数调整预先获取的通用三维人脸模型的姿态；

步骤S520、确定所述特征点在所述通用三维人脸模型上的对应点，对于 处于遮挡状态下的对应点，确定其所在的垂直于人脸纵轴的平面；

具体地，参见图4，当人脸沿Y轴转动时，会出现人脸右侧或左侧脸颊 遮挡的情况。对于被遮挡的对应点，需要确定出其所在的垂直于Y轴的平面。

步骤S530、确定所述平面与所述通用三维人脸模型的相交轨迹；

根据上一步骤所确定出的平面，进一步确定出该平面与通用三维人脸模 型的相交轨迹。

步骤S540、将该对应点移至所述相交轨迹的最外端；

具体地，对于处于遮挡状态的对应点，按照上一步骤所确定的相交轨迹， 将其移至相交轨迹的最外端。这里，相交轨迹的最外端也可以看作投影到平 面后，距离Y轴最远的位置。

步骤S550、对所述初步3D人脸模型进行变形调整；

步骤S560、对所述变形后3D人脸模型进行纹理映射，得到3D人脸。

在本实施例中，公开了对处于遮挡状态下的对应点进行平移调整的具体 实施方式，通过平移调整，使得遮挡住的对应点能够显现出来。

在本申请的又一个实施例中，提供了又一种3D人脸重建方法，参见图6。

如图6所示，该方法包括：

步骤S600、获取用于进行3D人脸重建的2D人脸图像，并确定所述2D 人脸图像上的特征点；

具体地，特征点可以选择为多个。

步骤S610、利用所述特征点确定人脸的姿态参数，并按照所述姿态参数 调整预先获取的通用三维人脸模型的姿态；

步骤S620、确定所述特征点在所述通用三维人脸模型上的对应点，并对 处于遮挡状态下的对应点进行调整，得到初步3D人脸模型；

步骤S630、参考所述2D人脸图像上特征点间的比例关系，计算初步3D 人脸模型上各对应点相比于所述特征点的位移量；

为了便于理解，通过具体实例进行介绍。假设2D人脸图像上存在A、B、 C、D四个点，A位于两眉中间，B位于鼻尖，C位于上嘴唇中间，D位于下 巴上。在初步3D人脸模型上，与A、B、C、D四个点分别对应的点是E、F、 G、H。以AB间距L_AB为标杆，假设CD间距为0.3L_AB。进一步确定初步3D 人脸模型上EF间距为0.9L_AB，GH间距为0.4L_AB。由此可知，EF间距需要增 大0.1L_AB，GH间距需要减少0.1L_AB。

步骤S640、构造插值函数，并依据所述插值函数计算初步3D人脸模型 上非对应点的其它点的位移量；

具体地，在构造插值函数时，可以选用径向基函数进行插值函数的构建。 通过构建插值函数，计算出初步3D人脸模型上排除对应点之外的其它点的位 移量。

步骤S650、按照各对应点及非对应点的位移量，调整所述初步3D人脸 模型；

经过步骤S630和步骤S640得出初步3D人脸模型上各个点的位移量，进 而按照该位移量对人脸模型进行变形调整，得到变形后的3D人脸模型。

步骤S660、对所述变形后3D人脸模型进行纹理映射，得到3D人脸。

本实施例中介绍了一种对初步3D人脸模型进行变形调整的具体实施方 式，通过对初步3D人脸模型进行变形，使得人脸模型更加贴近于实际情况。

此外，需要说明的是，以上对变形后的3D人脸模型进行纹理映射的过程， 具体可以采用保相似的网格参数化方法进行纹理映射。

保相似的网格参数化方法从三角形表示的边角关系出发，利用相邻边长 比值及夹角相等则三角形相似这一判定定理，在平面上构建与三维网格上对 应的邻边的长度比值和夹角来建立全局的线性方程组，求解该方程组得到参 数化后的二维平面网格，进而得到模型上顶点与二维平面各三角形顶点之间 的映射关系。该方法计算简单快速，参数化后的三角形扭曲较小，可以产生 较好的纹理映射效果。

下面对本申请实施例提供的3D人脸重建装置进行描述，下文描述的3D人 脸重建装置与上文描述的3D人脸重建方法可相互对应参照。本申请提供的3D 人脸重建装置可以应用于图1所示的服务器中。

参见图7，图7为本申请实施例公开的一种3D人脸重建装置结构示意图。

如图7所示，该装置包括：

图像特征点确定单元71，用于获取用于进行3D人脸重建的2D人脸图像， 并确定所述2D人脸图像上的特征点，所述特征点用于表征人脸轮廓；

姿态调整单元72，用于利用所述特征点确定人脸的姿态参数，并按照所 述姿态参数调整预先获取的通用三维人脸模型的姿态；

特征点匹配单元73，用于确定所述特征点在所述通用三维人脸模型上的 对应点，并对处于遮挡状态下的对应点进行调整，得到初步3D人脸模型；

模型变形单元74，用于对所述初步3D人脸模型进行变形调整，以使所 述初步3D人脸模型上各对应点间位置关系与所述2D人脸图像上特征点间的 位置关系一致，得到变形后3D人脸模型；

纹理映射单元75，用于对所述变形后3D人脸模型进行纹理映射，得到 3D人脸。

可选的，本申请实施例还公开了上述特征点匹配单元73的一种可选结构， 如图8所示，特征点匹配单元73可以包括：

平面确定单元731，用于对于处于遮挡状态下的对应点，确定其所在的垂 直于人脸纵轴的平面；

轨迹确定单元732，用于确定所述平面与所述通用三维人脸模型的相交轨 迹；

对应点平移单元733，用于将该对应点移至所述相交轨迹的最外端。

可选的，本申请实施例还公开了上述模型变形单元74的一种可选结构， 如图9所示，模型变形单元74可以包括：

第一位移量计算单元741，用于参考所述2D人脸图像上特征点间的比例 关系，计算初步3D人脸模型上各对应点相比于所述特征点的位移量；

第二位移量计算单元742，用于构造插值函数，并依据所述插值函数计算 初步3D人脸模型上非对应点的其它点的位移量；

具体地，在构造插值函数时，可以选用径向基函数进行插值函数的构建。

位移量调整单元743，用于按照各对应点及非对应点的位移量，调整所述 初步3D人脸模型。

可选的，上述纹理映射单元75可以包括：第一纹理映射子单元，用于采 用保相似的网格参数化方法进行纹理映射。

本申请实施例提供的3D人脸重建装置，对于获取的2D人脸图像，首 先确定出其上的特征点，依据特征点确定人脸的姿态参数，并按照姿态参数 调整通用三维人脸模型的姿态，然后确定出各个特征点在通用三维人脸模型 上的对应点，并对处于遮挡状态下的对应点进行调整，以得到初步3D人脸模 型，接着对初步3D人脸模型进行变形调整，并对变形后的3D人脸模型进行 纹理映射，得到最终的3D人脸。本申请获取的2D人脸图像可以是人的侧脸 图像，依据特征点确定出该侧脸图像的姿态参数，进而对通用三维人脸模型 进行姿态调整，使得通用三维人脸模型的姿态与人脸姿态一致，进而通过后 续处理得到3D人脸。由于本申请不限定2D图像的拍摄角度，因而其鲁棒性 更高，人脸识别的准确度也进一步得到提高。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而 使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或 者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……” 限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存 在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都 是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用 本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下， 在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。