使用单幅彩色图像和深度信息的面部纹理贴图生成

摘要

提供一种用于使用单幅彩色图像和深度信息来生成面部纹理贴图的电子装置。所述电子装置存储面部的第一彩色图像和对应深度信息、面部的未纹理化三维(3D)面部模型和参考面部纹理模型。所述电子装置基于所述未纹理化3D面部模型、所述第一彩色图像和所述深度信息来生成所述面部的第一纹理贴图。所述电子装置还通过对所述第一纹理贴图上的多个第一有效点进行所述参考面部纹理模型的纹理模型拟合来生成第二纹理贴图。所述电子装置基于所述第二纹理贴图的目标函数的最小化来细化所述第二纹理贴图，并且进一步基于所述第一纹理贴图和所述细化的第二纹理贴图来生成最终纹理贴图。

说明书

相关申请的引用/引用并入

无。

技术领域

本公开的各个实施例涉及三维(3D)建模技术、虚拟人技术和虚拟现实(VR)技术。更具体地，本公开的各个实施例涉及使用单幅彩色图像和深度信息来生成面部纹理贴图(map)的电子装置和方法。

背景技术

三维(3D)计算机图形和3D建模领域的进步提供了有助于在3D计算机图形环境中创建3D模型和可视化真实对象的多种技术。诸如3D角色模型之类的3D模型越来越多地用于动画电影、游戏和虚拟现实系统，以增强用户体验。人的面部的3D面部模型可以是类似于人的实际面部的3D图形模型。通常，为了将与人关联的面部纹理渲染到3D面部模型上，可能需要纹理贴图。这样做可能是为了确保渲染的3D面部模型与人的面部相似，并且对观众来说显得逼真。

在一些常规方法中，可以基于从数量有限的视点捕捉的数量有限的面部图像来生成纹理贴图。在这样的方法中，可以通过将来自数量有限的面部图像的颜色信息直接映射到U-V坐标贴图上来生成纹理贴图。然而，归因于由数量有限的视点造成的遮挡，所生成的纹理贴图可能不能代表人的面部的全部纹理。例如，如果从面部的正视图捕捉图像，则在纹理贴图中可能没有面部的某些区域(比如面部的侧面、耳朵和脖子)的纹理。用于3D面部模型的这种纹理贴图可能是不完整和不可取的。

如在本申请的其余部分中并参考附图所述，通过将所描述的系统与本公开的一些方面进行比较，对本领域的技术人员来说，常规和传统方法的其他限制和缺点将变得显而易见。

发明内容

如在权利要求书中更完整地所述，提供一种基本上如在附图至少之一中所示和/或结合附图至少之一所述的用于使用单幅彩色图像和深度信息来生成面部纹理贴图的电子装置和方法。

通过浏览本公开的以下详细说明以及附图，可以理解本公开的这些和其他特征及优点，附图中，相同的附图标记表示相同的部分。

附图说明

图1是图解说明按照本公开的实施例的使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性网络环境的方框图。

图2是图解说明按照本公开的实施例的使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性电子装置的方框图。

图3图解说明按照本公开的实施例的用于生成参考面部纹理模型的示例性操作。

图4图解说明按照本公开的实施例的用于使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性操作。

图5图解说明按照本公开的实施例的用于生成用户的面部的第一纹理贴图的示例性操作。

图6图解说明按照本公开的实施例的用于生成细化的第二纹理贴图的示例性操作。

图7图解说明按照本公开的实施例的用于生成用户的面部的最终纹理贴图的示例性操作。

图8是图解说明按照本公开的实施例的用于使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性方法的流程图。

具体实施方式

以下说明的实现可以在所公开的用于使用单幅彩色图像和深度信息来生成面部纹理贴图的装置和方法中找到。本公开的示例性方面提供一种可以包括存储器和电路的电子装置。所述存储器可被配置成存储用户面部的第一彩色图像和对应的深度信息、用户面部的未纹理化三维(3D)面部模型、以及参考面部纹理模型。具体地，第一彩色图像和对应的深度信息可以表示用户面部的正视图。参考面部纹理模型的例子可以是用于与用户的面部不同的多个面部的主成分分析(PCA)纹理模型。

所公开的电子装置可被配置成基于两个纹理贴图，即，第一纹理贴图和第二纹理贴图的组合来生成用户面部的纹理贴图。所述第一纹理贴图可以基于用户面部的单幅高分辨率彩色图像和未纹理化3D面部模型来生成。所述单幅高分辨率彩色图像可以表示用户面部的正视图。所述未纹理化3D面部模型可以是用户面部的形状细化的3D模型，并且可以精确地表示用户面部的多个形状特征。从而，所生成的第一纹理贴图可以具有精确地映射到未纹理化3D面部模型的形状部分的纹理，并且可以比基于形状未细化的3D面部模型所生成的纹理贴图更可靠。所述第一纹理贴图可以捕捉面部的所有正面面部区域的纹理信息，而面部的剩余面部区域在第一纹理贴图中可能会缺失或表示得不准确，因为在单幅高分辨率彩色图像中，面部的剩余面部区域的纹理信息可能被遮挡。

所公开的电子装置还可被配置成基于对第一纹理贴图进行参考面部纹理模型的纹理模型拟合来生成第二纹理贴图。所述参考面部纹理模型可以是面部纹理模型，所述面部纹理模型可以基于对于与用户面部不同的多个面部的多个面部纹理贴图的PCA来生成。所生成的第二纹理贴图可以包括面部的剩余面部区域的纹理信息。所公开的电子装置还可被配置成基于第一纹理贴图和第二纹理贴图的组合来生成最终纹理贴图。所述最终纹理贴图可以包括来自第一纹理贴图的正面面部区域(比如眼睛、鼻子和嘴唇)和来自第二纹理贴图的剩余面部区域(比如耳朵和脖子两侧)的纹理信息。生成的最终纹理贴图可以表示用户面部的完整纹理。

图1是图解说明按照本公开的实施例的使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性网络环境的方框图。参考图1，图中表示了网络环境100。网络环境100可以包括电子装置102、扫描设备104和服务器106。扫描设备104还可以包括图像传感器104A和深度传感器104B。电子装置102、扫描设备104和服务器106可以经由通信网络108彼此通信耦接。用户116可以与扫描设备104关联。电子装置102可被配置成存储用户116的面部的第一彩色图像110、用户116的面部的深度信息112、以及用户116的面部的未纹理化三维(3D)面部模型114。

电子装置102可以包括可被配置成存储参考面部纹理模型的适当逻辑、电路和接口。参考面部纹理模型可以是通过对与用户116的面部不同的多个面部的多个面部纹理贴图应用PCA而提取的多个特征值和多个特征向量。电子装置102还可被配置成基于用户116的面部的未纹理化3D面部模型114、第一彩色图像110和深度信息112来生成用户116的面部的第一纹理贴图。电子装置102还可被配置成基于对生成的第一纹理贴图进行参考面部纹理模型的纹理模型拟合来生成用户116的面部的第二纹理贴图。电子装置102还可被配置成细化所生成的第二纹理贴图，并且基于第一纹理贴图和细化的第二纹理贴图来生成用户116的面部的最终纹理贴图。电子装置102的例子可以包括但不限于计算设备、智能电话机、视频会议系统、基于增强现实的设备、游戏设备、主机、服务器、计算机工作站、和/或消费电子(CE)设备。

扫描设备104可以包括可被配置成扫描用户116的面部的适当逻辑、电路和接口。扫描设备104可被配置成从一个或多个视角捕捉用户116的面部的多个彩色图像和对应的深度信息。扫描设备104还可被配置成经由通信网络108，将捕捉的多个彩色图像和对应的深度信息发送到电子装置102和服务器106。扫描设备104可以包括可以从不同的视角捕捉用户116的面部的多个传感器(比如图像传感器(比如图像传感器104A)、深度传感器(比如深度传感器104B)、颜色传感器(比如红-绿-蓝(RGB)传感器)和/或红外(IR)传感器)的组合。扫描设备104的例子可以包括但不限于深度传感器、RGB传感器、IR传感器、3D网格结构发生器、图像传感器或运动检测器设备。

服务器106可以包括可被配置成存储由扫描设备104捕捉的多个彩色图像和对应的深度信息的适当逻辑、电路和接口。按照实施例，服务器106还可被配置成存储与用户116的面部不同的多个面部的参考面部纹理模型。服务器106的例子可以包括但不限于数据库服务器、文件服务器、web服务器、云服务器、应用服务器、主机服务器或其他类型的服务器。

通信网络108可以包括电子装置102、扫描设备104和服务器106可以通过其彼此通信的通信介质。通信网络108的例子可以包括但不限于因特网、云网络、无线保真(Wi-Fi)网络、个人区域网络(PAN)、局域网(LAN)或城域网(MAN)。网络环境100中的各种设备可被配置成按照各种有线和无线通信协议连接到通信网络108。此类有线和无线通信协议的例子可以包括但不限于传输控制协议和网际协议(TCP/IP)、用户数据报协议(UDP)、超文本传送协议(HTTP)、文件传送协议(FTP)、Zig Bee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备间通信、蜂窝通信协议和蓝牙(BT)通信协议中的至少一种。

操作中，扫描设备104可被配置成从一个或多个视角捕捉用户116的面部的第一多个彩色图像和对应于第一多个彩色图像的第一深度信息。用户116可以位于扫描设备104的前面。扫描设备104的图像传感器104A可被配置成捕捉可位于扫描设备104前面的用户116的面部的第一多个彩色图像。深度传感器104B可被配置成捕捉与用户116的面部的第一多个彩色图像对应的第一深度信息。捕捉的用户116的面部的第一深度信息可以包括关于用户116的面部上的点在3D空间中的“Z”坐标的信息。例如，基于用户116的面部的各个区域的第一深度信息，可以精确地估计诸如痣之类的突出物的数量、鼻子的隆起、面颊区域相对于前额区域的深度、以及面部的不同区域的不同深度。

可以使第一多个彩色图像和对应的第一深度信息彼此同步，使得用户116的面部的第一多个彩色图像和对应的深度信息可以同时一起捕捉，并且可以表示同一视场。第一多个彩色图像和对应的第一深度信息的同步可以从三维角度增强对面部各区域的形状、不同的面部特征、以及深度的理解。扫描设备104还可被配置成经由通信网络108将第一多个彩色图像和对应的第一深度信息发送到电子装置102和服务器106。在一些实施例中，扫描设备104可以是电子装置102的一部分。在这种情况下，第一多个彩色图像和对应的第一深度信息可以直接存储在电子装置102处。

电子装置102可被配置成存储第一多个彩色图像中的第一彩色图像110和对应于第一彩色图像110的深度信息112。可以使第一彩色图像110与深度信息112同步。第一彩色图像110可以是可描绘用户116的面部的实际纹理的高分辨率图像。第一彩色图像110可以从用户116的面部的正视图捕捉。

电子装置102还可被配置成存储用户116的面部的未纹理化3D面部模型114。未纹理化3D面部模型114可以是用户116的面部在3D空间中的数学表示。未纹理化3D面部模型114可以是用户116的面部的形状细化的3D面部模型。未纹理化3D面部模型114的形状可以与用户116的面部的形状相同或几乎相同。未纹理化3D面部模型114上的多个关键点(landmark)区域的形状可以与用户116的面部上的多个关键点区域的实际形状相同或几乎相同。所述多个关键点区域可以对应于用户116的面部的不同特征，比如眼睛、鼻子、嘴唇、以及定义人脸的其他类似特征。在未纹理化3D面部模型114中，用户116的面部的纹理信息可能不存在。

按照实施例，电子装置102可被配置成基于第一多个彩色图像和对应的第一深度信息来生成未纹理化3D面部模型114。这里说明用于生成未纹理化3D面部模型114的示例性操作。为了生成用户116的面部的未纹理化3D面部模型114，电子装置102可被配置成存储可以基于对于多个面部(例如100～300个面部)的主成分分析(PCA)生成的3D面部模型。所存储的3D面部模型的形状可以是所述多个面部的平均形状。电子装置102还可被配置成基于第一多个彩色图像和对应的第一深度信息来生成用户116的面部的点云。可以生成点云来表示包括多个特征点(比如眼睛、鼻子和嘴唇)的用户116的面部的外表面。

电子装置102还可被配置成使所生成的点云与所存储的3D面部模型配准。电子装置102还可被配置成对用户116的面部上的多个特征点应用刚性配准操作，并对用户116的面部上的所有剩余特征点应用非刚性配准操作。在刚性配准操作中，电子装置102可被配置成使用户116的面部的多个特征点(比如眼睛、鼻子、嘴唇和/或其他特征点)与存储的3D面部模型配准，以生成刚性配准的点云。在非刚性配准操作中，可以使用户116的面部上的所有剩余特征点与存储的3D面部模型配准。

电子装置102还可被配置成基于对存储的3D面部模型应用刚性和非刚性配准操作，以中性表达法生成变形的平均形状面部模型。存储的3D面部模型可以将用户116的面部表示为不同的基本形状组件的组合。电子装置102还可被配置成估计存储的3D面部模型的不同的基本形状组件的权重。电子装置102还可被配置成基于估计的权重，通过使用生成的点云对存储的3D面部模型进行基于形状的模型拟合(model-fitment)，生成用户116的面部的第一3D面部模型。电子装置102还可被配置成细化用户116的面部的第一3D面部模型的形状。

电子装置102可被配置成将用户特有的外观属性包含到用户116的面部的第一3D面部模型中，以细化第一3D面部模型的形状。电子装置102还可被配置成基于第一3D面部模型的形状细化来生成用户116的面部的细化的第一3D面部模型。所生成的用户116的面部的细化的第一3D面部模型可以对应于用户116的面部的未纹理化3D面部模型114。

电子装置102还可以被配置成存储参考面部纹理模型。参考面部纹理模型可以是通过将PCA应用于与用户116的面部不同的多个面部的多个面部纹理贴图而提取的多个特征向量和特征值。例如，数百个不同人类的面部具有不同的纹理。所述多个面部中的每个面部都可能在年龄、面部特征、颜色和光滑度方面彼此不同。用户面部的面部纹理贴图可以是可表示该用户面部的外观的2D贴图(例如U-V坐标贴图)。参考面部纹理模型可以是可基于对于与用户116的面部不同的多个面部的多个面部纹理贴图的主成分分析(PCA)而生成的面部纹理模型。

在一些实施例中，电子装置102可被配置成从服务器，比如服务器106检索参考面部纹理模型。在一些其他实施例中，扫描设备104可被配置成捕捉与用户116的面部不同的多个面部的第二多个彩色图像和对应的第二深度信息。可以从多个视点捕捉第二多个彩色图像和对应的第二深度信息。例如，扫描设备104可以是一个或多个高分辨率摄像机，于是，捕捉的第二多个彩色图像可以是可以从多个视点捕捉的多个面部的高分辨率图像。捕捉的第二多个彩色图像和对应的第二深度信息可以表示与用户116的面部不同的多个面部的整个面部部分。一个或多个高分辨率摄像机可以帮助捕捉面部的更多视点，以便通过对高分辨率纹理贴图应用PCA来获得参考面部纹理模型。扫描设备104可被配置成在诸如白光背景之类的公共环境光照条件下捕捉第二多个彩色图像。电子装置102还可被配置成基于捕捉的第二多个彩色图像来生成多个面部中的每一个的面部网格。多个面部中的每一个的面部网格可以是由多个多边形(比如三角形)组成的3D网格。

电子装置102还可被配置成在U-V坐标贴图上展开多个面部中的每个面部的每个面部网格。U-V坐标贴图可以是3D模型的纹理的2D表示。电子装置102还可被配置成基于面部网格在U-V坐标贴图上的展开来生成与用户116的面部不同的多个面部中的每个面部的面部纹理贴图。电子装置102还可被配置成通过对与用户116的面部不同的多个面部的多个面部纹理贴图应用主成分分析(PCA)来生成参考面部纹理模型。PCA可用于从大的相关数据成分集合中识别和提取某些重要的不相关数据成分。参考面部纹理模型的生成例如在图3中进一步详细说明。

电子装置102还可被配置成确定第一彩色图像110上的第一多个三角形和未纹理化3D面部模型114上的第二多个三角形。电子装置102还可被配置成将第一彩色图像110上的第一多个三角形中的每个三角形映射到未纹理化3D面部模型114上的第二多个三角形中的对应三角形。基于第一彩色图像110在未纹理化3D面部模型114上的透视投影，第一多个三角形中的每个三角形可以映射到第二多个三角形中的对应三角形。电子装置102还可被配置成确定U-V坐标贴图上的第三多个三角形。所述U-V坐标贴图可以是可表示3D模型的纹理贴图的2D特征图像。U-V坐标贴图中的“U”和“V”可以表示来自用户116的面部的纹理值的2D坐标。电子装置102还可被配置成基于未纹理化3D面部模型114的第二多个三角形中的每一个在U-V坐标贴图上的第三多个三角形中的对应三角形的映射，确定U-V坐标贴图上的第三多个三角形。

电子装置102还可被配置成计算U-V坐标贴图上的第三多个三角形与第一彩色图像110上的第一多个三角形之间的仿射变换。仿射变换可以指保留图像中的点、直线和平面的函数。可以估计仿射变换，以使U-V坐标贴图上的第三多个三角形与第一彩色图像110上的第一多个三角形配准。

电子装置102还可被配置成基于计算的仿射变换，从第一彩色图像110上的第一多个三角形的对应三角形向U-V坐标贴图上的第三多个三角形中的每一个应用颜色信息。电子装置102还可被配置成基于对U-V坐标贴图上的第三多个三角形中的每一个应用颜色信息来生成用户116的面部的第一纹理贴图。第一纹理贴图可以基于第一彩色图像110的颜色信息来表示用户116的面部的纹理。第一纹理贴图可以表示用户116的面部的正面面部部分的精确纹理。然而，在第一纹理贴图中，用户116的面部的一些部分(比如耳朵和脖子的两侧)的纹理可能缺失或者表示得不准确。第一纹理贴图中此类部分的缺失或者表示得不准确可能是第一彩色图像110中此类部分的遮挡的结果。第一纹理贴图的生成例如在图5中进一步详细说明。

电子装置102还可被配置成通过对生成的第一纹理贴图上的多个第一有效点进行参考面部纹理模型的纹理模型拟合来生成用户116的面部的第二纹理贴图。所述多个第一有效点可以是属于可以在第一彩色图像110中观察到的用户116的面部区域的多个点。由于参考面部纹理模型是基于对与用户116的面部不同的多个面部的多个面部纹理贴图应用PCA而生成的，因此参考面部纹理模型的光照条件可能不同于用户116面部的光照条件。

第一彩色图像110可能包括一些外部光照影响，比如外部光源对用户116的面部的光照影响。由于第一纹理贴图是基于第一彩色图像110生成的，因此第一纹理贴图可以包括外部光源的光照影响。电子装置102还可被配置成基于从第一纹理贴图中去除光照影响来细化第二纹理贴图。没有光照影响的第一纹理贴图可以用作参考来细化第二纹理贴图。电子装置102还可被配置成基于所生成的第二纹理贴图的目标函数的最小化来细化第二纹理贴图。目标函数可以包括偏移项和平滑项。电子装置102可被配置成计算偏移项和平滑项。目标函数的最小化例如在图6中详细说明。细化的第二纹理贴图可以包括在第一彩色图像110中被遮挡的面部部分的纹理，并且此类面部部分的对应纹理在第一纹理贴图中可能缺失或者表示得不准确。第二纹理贴图和细化的第二纹理贴图的生成例如在图6中详细说明。

电子装置102还可被配置成基于用于用户116的面部的第一掩模来提取第一纹理贴图的第一部分。可以为用户116的面部的正面面部部分提取第一纹理贴图的第一部分。电子装置102还可被配置成基于用于用户116的面部的第二掩模来提取细化的第二纹理贴图的第二部分。可以为用户116的面部的剩余面部部分提取第二纹理贴图的第二部分。电子装置102还可被配置成基于第一纹理贴图的第一部分和第二纹理贴图的第二部分的混合来生成最终纹理贴图。当第一纹理贴图的第一部分与第二纹理贴图的第二部分混合时，可以将光照影响加回最终纹理贴图中。最终纹理贴图可以表示用户116的面部的完整纹理，并且最终纹理贴图的纹理可以与用户116的面部的实际纹理相同或几乎相同。

按照实施例，电子装置102还可被配置成通过将生成的最终纹理贴图渲染到未纹理化3D面部模型114上来生成用户116的面部的纹理化3D面部模型。电子装置102还可被配置成在显示设备上渲染纹理化3D模型。用户116的面部的纹理化3D面部模型可以真实地表示用户116的面部。纹理化3D面部模型可以进一步在虚拟现实(VR)或增强现实(AR)环境中使用，来表示用户116的面部。用户116的面部的纹理化3D面部模型的应用还可以包括视频游戏中的动画、视觉效果(VFX)、计算机生成的图像(CGI)和基于3D模型的视频会议。

图2是图解说明按照本公开的实施例，使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性电子装置的方框图。结合图1的要素来说明图2。参考图2，图中表示了电子装置102的方框图200。电子装置102可以包括电路202。电路202还可以包括处理器204。电子装置102还可以包括存储器206和输入/输出(I/O)设备208。I/O设备208可以包括可以渲染图形用户界面(GUI)212的显示设备210。电子装置102还可以包括网络接口214。电路202可以通信地耦接到存储器206和I/O设备208。电路202可被配置成通过使用网络接口214与扫描设备104和服务器106通信。

处理器204可以包括可被配置成基于用户116的面部的未纹理化3D面部模型114、第一彩色图像110和深度信息112来生成用户116的面部的第一纹理贴图的适当逻辑、电路和接口。处理器204还可被配置成通过对所生成的第一纹理贴图进行参考面部纹理模型的纹理模型拟合来生成用户116的面部的第二纹理贴图。处理器204还可被配置成细化所生成的第二纹理贴图，并基于第一纹理贴图和细化的第二纹理贴图的混合来生成用户116的面部的最终纹理贴图。处理器204可以基于本领域已知的许多处理器技术来实现。处理器技术的例子可以包括但不限于中央处理器(CPU)、基于X86的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)和其他处理器。

存储器206可以包括可被配置成存储第一彩色图像110、深度信息112和未纹理化3D面部模型114的适当逻辑、电路和接口。存储器206还可被配置成存储参考面部纹理模型，例如，来自与用户116的面部不同的多个面部的面部纹理贴图的PCA模型。存储器206的实现的例子可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓冲存储器和/或安全数字(SD)卡。

I/O设备208可以包括可被配置成接收来自用户(比如用户116)的输入，并基于从用户接收的输入向用户提供输出的适当逻辑、电路和接口。可以包括各种输入和输出设备的I/O设备208可被配置成与电路202通信。I/O设备208的例子可以包括但不限于触摸屏、键盘、鼠标、操纵杆、麦克风，显示设备(例如，显示设备210)和扬声器。

显示设备210可以包括可被配置成显示用户116的面部的纹理化3D面部模型的适当逻辑、电路和接口。在一些实施例中，显示设备210可以是与电子装置102关联的外部显示设备。显示设备210可以是可以使诸如用户116之类的用户能够经由显示设备210提供用户输入的触摸屏。触摸屏可以是电阻式触摸屏、电容式触摸屏或热感式触摸屏中的至少一种。显示装置210可以通过几种已知技术(比如但不限于液晶显示器(LCD)、发光二极管(LED)显示器、等离子体显示器、或有机LED(OLED)显示技术、或其他显示设备中的至少一种)来实现。按照实施例，显示设备210可以指的是头戴式设备(HMD)的显示屏、智能眼镜设备、透视显示器、基于投影的显示器、电致变色显示器或透明显示器。

GUI 212可以对应于在诸如显示设备210之类的显示设备上呈现的用户界面(UI)。GUI 212可被配置成显示用户116的面部的纹理化3D面部模型。另外，GUI 212还可被配置成显示图形元素，所述图形元素可对应于用于视图选择、显示控制和其他交互式用户选项的用户可选择选项。在一些实施例中，GUI 212可以呈现在通信耦接到电子装置102的外部显示屏上。

网络接口214可以包括可被配置成便利经由通信网络108在电子装置102、扫描设备104和服务器106之间进行通信的适当逻辑、电路和接口。网络接口214可以通过使用各种已知技术来实现，以支持电子装置102与通信网络108的有线或无线通信。网络接口214可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(CODEC)芯片集、用户识别模块(SIM)卡、或本地缓冲电路。网络接口214可被配置成经由无线通信与网络(比如因特网、内联网或诸如蜂窝电话网络、无线局域网(LAN)和城域网(MAN)之类的无线网络)进行通信。无线通信可被配置成使用多种通信标准、协议和技术中的一种或多种，比如全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、宽带码分多址接入(W-CDMA)、长期演进(LTE)、码分多址接入(CDMA)、时分多址接入(TDMA)、蓝牙、无线保真(Wi-Fi)(比如IEEE 802.11a、IEEE 802.11b、IEEE 802.11g或IEEE802.11n)、网际协议语音(VoIP)、光保真(Li-Fi)、微波接入全球互通(WI-MAX)、电子邮件协议、即时消息接发、以及短消息服务(SMS)。电路202的操作例如在图3、4、5、6和7中详细说明。

图3图解说明按照本公开的实施例的用于生成参考面部纹理模型的示例性操作。结合图1和图2的要素来说明图3。参考图3，图中表示了包括用于生成参考面部纹理模型的一组操作的处理流水线300。

在302，执行扫描操作。在扫描操作中，扫描设备(与扫描设备104相同或不同)可被配置成扫描可以与用户116的面部不同的多个面部。所述扫描设备可被配置成从多个视点并且在公共环境光照条件下(例如在公共白光背景下)扫描所述多个面部。可以在公共环境光照条件下捕捉所述多个面部，使得捕捉所述多个面部中的每个面部的统一纹理。可以针对对应面部的关键面部特征，用统一的照明来捕捉所述多个面部中的每个面部。

例如，扫描设备可以是高分辨率摄像机。扫描设备的图像传感器可被配置成捕捉多个面部的第二多个图像，并且深度传感器可被进一步配置成捕捉与第二多个彩色图像对应的第二深度信息。再例如，多个扫描设备310可被配置成从多个视点扫描面部312。多个扫描设备310中的每一个可以是高分辨率摄像机，所述高分辨率摄像机可被配置成从多个视点捕捉第二多个彩色图像，使得多个面部中的每一个的整个面部部分都被捕捉。第二多个彩色图像可以是与用户116的面部不同的多个面部的高分辨率彩色图像，并且第二多个彩色图像中的每一个可以是与用户116的面部不同的多个面部中的每一个的整个面部部分的表示。面部312可以不同于用户116的面部。处理器204可被配置成基于捕捉的第二多个彩色图像和对应的第二深度信息来生成所述多个面部中的每个面部(比如面部312)的面部网格。所述多个面部中的每一个的面部网格可以表示所述多个面部中的对应面部的面部细节。所述多个面部中的每一个的面部网格可以是可以由多个三角形组成的3D网格。所述多个面部中的每个面部的面部网格可以包括多个顶点，所述多个顶点可以连接面部网格的多个三角形中的一组三角形。所述多个面部中的每个面部的面部网格应当彼此配准。或者说，生成的所述多个面部中的每个面部的面部网格应包括相等数量的三角形和顶点。另外，在第一面部的第一面部网格上的第一位置的顶点和在第二面部的第二面部网格上的对应位置的对应顶点可以分别表示第一面部网格和第二面部网格上的同一面部点。

在304，执行展开操作。在展开操作中，处理器204可被配置成相对于U-V坐标贴图314展开生成的多个面部中的每个面部的面部网格。处理器204可以被配置成为与用户116的面部不同的多个面部生成多个面部纹理贴图316。可以相对于U-V坐标贴图314生成多个面部纹理贴图316中的每个面部纹理贴图。多个面部纹理贴图316中的每个面部纹理贴图可以是2D U-V坐标贴图，该2D U-V坐标贴图可以表示多个面部中的对应面部的面部纹理。例如，第一面部纹理贴图316A可以表示面部312的面部纹理，比如皮肤和面部特征(例如眼睛、鼻子、嘴唇、耳朵等)的颜色和外观。可以使多个面部纹理贴图316中的每个面部纹理贴图彼此配准。

在306，可以执行主成分分析(PCA)操作。在PCA操作中，处理器204可被配置成对多个面部纹理贴图316应用PCA。PCA是一种可用于从大的相关数据成分集中识别和提取某些重要的不相关数据成分的统计过程。更具体地，PCA可以用于从多个面部纹理贴图316中提取某些重要的不相关面部成分的纹理信息。处理器204可被配置成基于多个面部纹理贴图316来估计平均面部纹理。平均面部纹理可以是与用户116的面部不同的多个面部的多个面部纹理的平均值。多个面部的面部纹理可以由多个面部纹理贴图316表示。例如，“t

其中，T'表示平均面部纹理；和

t

处理器204还可被配置成计算多个面部纹理贴图316的每个面部纹理贴图的一组特征向量和一组特征值。该组特征向量和该组特征值例如可以通过下式(2)和(3)计算：

X＝[t

其中，

U

Σ是其中对角线上的每个值表示一个特征值的对角矩阵。

在308，可以生成参考面部纹理模型。处理器204可被配置成基于PCA对多个面部纹理贴图316的应用来生成参考面部纹理模型。参考面部纹理模型可以是对应于与用户116的面部不同的多个面部的PCA模型。

图4图解说明按照本公开的实施例的使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性操作。结合图1、2和3的要素来说明图4。参考图4，图中表示了处理流水线400，以说明使用从402到410的操作来生成面部纹理贴图。

在402，执行数据获取操作。在数据获取操作中，处理器204可被配置成从存储器206检索第一彩色图像110和与用户116的面部的第一彩色图像110对应的深度信息112。处理器204还可被配置成从存储器206检索用户116的面部的未纹理化3D面部模型114。在一些实施例中，第一彩色图像110、深度信息112和未纹理化3D面部模型114可以存储在服务器106上。在这种情况下，处理器204可被配置成经由通信网络108从服务器106检索第一彩色图像110、深度信息112和未纹理化3D面部模型114。可以使深度信息112与第一彩色图像110同步，使得第一彩色图像和对应于第一彩色图像110的深度信息112可以同时一起捕捉，并且可以表示同一视场。

在404，可以执行第一纹理映射操作。在第一纹理映射操作中，处理器204可被配置成基于检索的第一彩色图像110、深度信息112和未纹理化3D面部模型114来生成用户116的面部的第一纹理贴图404A。处理器204可被配置成通过使用未纹理化3D面部模型114将第一彩色图像110上的多个三角形中的每个三角形变换并映射到U-V坐标贴图上的对应三角形。U-V坐标贴图可以在2D布局上描述用于3D模型的纹理信息。第一纹理贴图404A可以通过直接应用来自检索的第一彩色图像110的纹理(或颜色信息)来生成。第一纹理贴图404A的生成例如在图5中进一步详细说明。所生成的第一纹理贴图404A可以包括某些被遮挡的面部区域的纹理信息可能在第一彩色图像110中缺失或不可用的一些区域。例如，被遮挡的面部区域可包括耳后区域、鼻子周围区域或脖子周围的侧面区域。

在406，可以执行第二纹理映射操作。在第二纹理映射操作中，处理器204可被配置成从存储器206检索参考面部纹理模型406A。参考面部纹理模型406A可以对应于图3的参考面部纹理模型。处理器204还可被配置成生成用户116的面部的第二纹理贴图406B。处理器204还可被配置成通过参考面部纹理模型406A对生成的第一纹理贴图404A上的多个第一有效点的纹理模型拟合来生成第二纹理贴图406B。参考面部纹理模型406A对第一纹理贴图404A上的多个第一有效点的纹理模型拟合例如在图6中进一步详细说明。

在408，执行第二纹理贴图细化操作。在第二纹理贴图细化操作中，处理器204可以进一步被配置成细化第二纹理贴图406B。处理器204可被配置成基于第二纹理贴图406B的目标函数的最小化来生成细化的第二纹理贴图408A。处理器204还可被配置成进一步基于从生成的第一纹理贴图404A中去除光照影响来生成细化的第二纹理贴图408A。第一纹理贴图404A中的光照影响可以是可能存在于第一彩色图像110中的来自外部光源的光照影响。处理器204可被配置成生成用户116的面部的细化的第二纹理贴图408A，使得在细化的第二纹理贴图408A中捕捉的纹理几乎与用户116的面部的实际纹理相同。

基于纹理模型拟合的第二纹理贴图406B的生成显示了纹理的更一般的信息(因为纹理模型提取自多个面部)。应用细化以确保面部的纹理出现在细化的第二纹理贴图408A中。例如，一些面部可能有痣，而其他面部可能在同一位置没有痣。第二纹理贴图406B的细化例如在图6中进一步详细说明。

在410，执行纹理贴图混合操作。在纹理贴图混合操作中，处理器204可被配置成混合第一纹理贴图404A和细化的第二纹理贴图408A。处理器204还可被配置成基于第一纹理贴图404A和细化的第二纹理贴图408A的混合来生成最终纹理贴图410A。处理器204可被配置成为用户116的面部的正面面部部分从第一纹理贴图404A中提取第一部分，并且为用户116的面部的剩余面部部分从细化的第二纹理贴图408A中提取第二部分。处理器204还可被配置成通过混合第一纹理贴图404A的第一部分和细化的第二纹理贴图408A的第二部分来生成最终纹理贴图410A。最终纹理贴图410A的生成例如在图7中进一步详细说明。

图5图解说明按照本公开的实施例的用于生成用户的面部的第一纹理贴图的示例性操作。结合图1、2、3和4的要素来说明图5。参考图5，图中表示了第一彩色图像502、未纹理化3D面部模型504、U-V坐标贴图506和第一纹理贴图508。图中还表示了第一彩色图像502上的第一三角形502A、未纹理化3D面部模型504上的第二三角形504A、以及U-V坐标贴图506上的第三三角形506A。第一彩色图像502可以对应于第一彩色图像110(如图1中所示)。未纹理化3D面部模型504可以对应于未纹理化3D面部模型114(如图1中所示)。这里说明第一纹理映射操作的细节。

处理器204可被配置成确定第一彩色图像502上的第一多个三角形。第一彩色图像502上的第一多个三角形可以包括第一三角形502A。未纹理化3D面部模型504可以包括第二多个三角形，所述第二多个三角形包括第二三角形504A。处理器204还可被配置成将第一彩色图像502上的第一多个三角形中的每个三角形映射到未纹理化3D面部模型504上的第二多个三角形中的对应三角形。基于第一彩色图像502在3D空间中的未纹理化3D面部模型504上的透视投影，第一彩色图像502上的第一多个三角形可以被映射到未纹理化3D面部模型504上的对应第二多个三角形。第一彩色图像502上的第一多个三角形中的每一个到未纹理化3D面部模型504上的第二多个三角形中的对应三角形的透视投影可以基于图像传感器104A的焦距、投影的中心、以及图像传感器104A和用户116之间的距离。例如，基于透视投影，第一彩色图像502上的第一三角形502A可以映射到未纹理化3D面部模型504上的第二三角形504A。

处理器204还可被配置成通过在U-V坐标贴图506上U-V坐标映射未纹理化3D面部模型504的第二多个三角形来确定U-V坐标贴图506上的第三多个三角形。处理器204还可被配置成基于U-V坐标贴图506的每个顶点的UV坐标，在U-V坐标贴图506上映射未纹理化3D面部模型504的第二多个三角形。UV坐标表示未纹理化3D面部模型504的多个顶点的X-Y-Z坐标在2D空间中的投影。确定的U-V坐标贴图506上的第三多个三角形可以包括第三三角形506A。

处理器204还可被配置成估计U-V坐标贴图506上的第三多个三角形与第一彩色图像502上的第一多个三角形之间的对应。处理器204还可被配置成计算U-V坐标贴图506上的第三多个三角形中的每个三角形与第一彩色图像502上的第一多个三角形中的对应三角形之间的仿射变换。U-V坐标贴图506上的第三多个三角形中的每个三角形与第一彩色图像502上的第一多个三角形中的对应三角形之间的仿射变换例如可以通过使用下式(4)来计算：

其中，R和T表示仿射变换；

(a

(x

例如，处理器204可被配置成计算U-V坐标贴图506上的第三三角形506A和第一彩色图像502上的第一三角形502A之间的仿射变换。第一三角形502A可以由顶点(a1，b1)、(a2，b2)和(a3，b3)表示。第三三角形506A可以由顶点(x1，y1)、(x2，y2)和(x3，y3)表示。计算的仿射变换可以应用于U-V坐标贴图506上的第三三角形506A的每个顶点。处理器204还可被配置成将第一彩色图像502上的第一多个三角形中的每个三角形的颜色信息插值到U-V坐标贴图506上的对应三角形。例如，处理器204可被配置成将第一三角形502A的颜色信息插值到对应的第三三角形506A。

处理器204还可被配置成基于计算的仿射变换和第一彩色图像502上的第一多个三角形中的对应三角形的颜色信息的插值，将纹理应用于U-V坐标贴图506上的第三多个三角形中的每个三角形。例如，处理器204可被配置成基于计算的第三三角形506A和第一三角形502A之间的仿射变换，将纹理应用于第三三角形506A。处理器204可被配置成进一步基于第一彩色图像502上的第一三角形502A的颜色信息到U-V坐标贴图506上的第三三角形506A的插值，将纹理应用于第三三角形506A。类似地，处理器204还可被配置成基于对U-V坐标贴图506上的第三多个三角形中的每个三角形的纹理的应用，确定与第一纹理贴图508对应的纹理化U-V坐标贴图。

用户116的面部的第一纹理贴图508可以用来确定用户116的面部的3D面部模型的纹理。然而，第一纹理贴图508可能不能表示用户116面部的整个面部纹理，因为第一彩色图像502可能只显示用户116的面部的正视图。面部的一些被遮挡区域的纹理可能在第一彩色图像502中未被捕捉，从而可能在第一纹理贴图508中缺失。例如，第一纹理贴图508可能包括描述用户116的面部的被遮挡区域的缺失纹理的一些区域(用图案示出)。

图6图解说明按照本公开的实施例的用于生成细化的第二纹理贴图的示例性操作。结合图1、2、3、4和5的要素来说明图6。参考图6，图中表示了处理流水线600，以说明使用从602到608的操作来生成细化的第二纹理贴图。

在602，执行用于估计光照方向的操作。在该操作中，处理器204可被配置成迭代地估计对于第一纹理贴图(比如第一纹理贴图508)上的多个第一有效点的光照方向。估计的光照方向可以是对于第一纹理贴图上的多个第一有效点的光照方向。多个第一有效点中的每个有效点可以是第一纹理贴图508上的一个点，对于该点，在未纹理化3D面部模型114上可存在对应的三角形。另外，多个第一有效点中的每个有效点可以是第一纹理贴图508上的一个点，对于该点可以从第一彩色图像110中观察到对应的点。

应注意的是，从第一彩色图像110可能观察不到对应的三角形。第一纹理贴图508和第二纹理贴图(例如，图6的第二纹理贴图606A)可以表示未纹理化3D面部模型114上的具有对应关系的同一组点和三角形的纹理。第一纹理贴图508上的多个第一有效点可以映射到未纹理化3D面部模型114上的顶点和第一彩色图像110的观察区域。对于未观察到的区域，关于第一纹理贴图508的信息可能是无效的。

处理器204可被配置成基于反射模型、第一纹理贴图508和未纹理化3D面部模型114来估计对于第一纹理贴图508上的多个第一有效点的光照方向。反射模型可以是关于表面上的点的照明的经验模型。反射模型的例子可以是Phong反射模型。该反射模型可将表面(例如，用户116的面部)可以反射光的方式阐明为环境光、漫射光和镜面反射的组合。该反射模型可以包括环境光和漫射光每一个的光照强度、光照方向、以及镜面反射率之间的关系。该反射模型例如可以使用如下公式(5)、公式(6)、公式(7)和公式(8)来表示：

I(w)＝(L

(Nd)

其中，

l

l

I(w)表示用户116的面部的渲染纹理；

n表示纹理I(w)的点的数量；

ρ表示多个点中的每个点的反照率值；

d表示光照方向；

N表示在多个点中的每个点处的法线；

e表示在多个点中的每个点处的镜面反射率；以及

*表示元素的乘积。

在第一多个有效点中的每个有效点处的法线可以是其在未纹理化3D面部模型114上的对应三角形的法线。处理器204还可被配置成迭代地估计多个第一有效点的来自第一彩色图像110的光照方向。在第一次迭代中，可以在不考虑镜面反射和环境光的情况下估计光照方向。在第一次迭代中，参考面部纹理模型406A的平均面部纹理被认为是多个第一有效点中的每一个的反照率值“ρ”。此外，在第一次迭代中，漫射光的红色通道、绿色通道和蓝色通道的光照强度(也表示为“l

其中，I

A＝[L

在第一次迭代中，如式(9)所描述的第一目标函数可被重新格式化，并且可以由如下的式(10)表示：

其中，当L

N表示在多个第一有效点中的每个有效点处的法线；

N

d＝((B*N

处理器204还可被配置成在最小化由式(9)表示的第一目标函数的同时应用第一约束。第一约束可以认为光的方向是从面部的外面到面部的表面。第一约束可以用“N

对于后续迭代，处理器204还可被配置成基于第二目标函数的最小化来估计光照方向。例如，第二目标函数可以用如下的式(11)表示：

后续迭代中的l

d＝((A*N

其中，d表示特定迭代的多个第一有效点的来自第一彩色图像的光照方向。

处理器204还可被配置成基于估计的光照方向，估计多个第一有效点中的每个有效点的镜面反射率。镜面反射率可以是多个光波从用户116的面部表面上的多个第一有效点的镜面反射。镜面反射率例如可以通过使用如下的式(13)来估计：

e

其中，e

k

v

γ表示第一彩色图像110中的面部表面的光泽度的常数；

(,)表示内积；

r

d表示估计的在有效点“i”处的光照方向；以及

n

在604，执行用于估计光照强度的操作。在该操作中，处理器204还可被配置成估计对于多个第一有效点的环境光和漫射光的光照强度。可以至少基于每次迭代中估计的光照方向来估计对于多个有效点的环境光和漫射光中的每一个的光照强度。处理器204还可被配置成估计环境光和漫射光中的每一个的多个颜色通道的光照强度。光照强度可以是可以由第一纹理贴图508上的多个第一有效点中的每个有效点反射的光的强度。例如，可以基于第一目标函数的最小化来估计对于多个第一有效点中的每个有效点的环境光和漫射光中的每一个的红色通道的光照强度。第一目标函数例如可以通过使用如下的式(14)来表示：

其中，I

C＝[ρ

ρ

e

处理器204还可被配置成估计对于多个第一有效点的环境光和漫射光中的每一个的绿色通道和蓝色通道的光照强度。例如，可以基于第二目标函数的最小化来估计绿色通道的光照强度。第二目标函数例如可以通过使用如下的式(16)来表示：

其中，I

C＝[ρ

ρ

e

例如，可以基于第三目标函数的最小化来估计对于多个第一有效点中的每个有效点的环境光和漫射光中的每一个的蓝色通道的光照强度。第三目标函数例如可以由如下的式(18)表示：

其中，I

C＝[ρ

ρ

e

在606，执行纹理模型拟合操作。在该操作中，处理器204还可被配置成估计第一纹理贴图508上的多个点的一组反照率值。该组反照率值可以基于参考面部纹理模型406A、估计的环境光和漫射光中的每一个的光照强度、光照方向、以及镜面反射率来估计。估计的一组反照率值可以是可与用户116的面部的真实面部纹理对应的一组重建的反照率值。所述一组反照率值可以从参考面部纹理模型406A和第一纹理贴图508重建。参考面部纹理模型406A可以是通过对与用户116的面部不同的多个面部的多个面部纹理贴图应用PCA而提取的多个特征向量和特征值的组合。所述一组反照率值例如可以通过使用如下的式(20)来估计：

其中，ρ表示有效点的反照率值；

U

∑

β表示通过对用于生成参考面部纹理模型406A的多个面部的多个面部纹理贴图应用PCA而提取的特征向量的系数。

处理器204还可被配置成估计通过对与用户116的面部不同的多个面部的多个面部纹理贴图应用PCA而提取的多个特征向量中的每一个的系数。可以基于估计的光照方向、估计的光照强度和镜面反射率来估计多个面部纹理贴图中的每一个的系数。通过对多个面部纹理贴图应用PCA而提取的多个特征向量中的每一个的系数可以基于目标函数的最小化来估计。目标函数例如可以由如下给出的式(21)表示：

其中，T表示目标纹理；

λ表示与特征向量关联的权重的参数；以及

σ

其中，a'＝(I

处理器204还可被配置成基于所确定的一组反照率值来生成第二纹理贴图606A。生成的第二纹理贴图606A可以包括所确定的一组反照率值。所生成的第二纹理贴图606A可以包括第一纹理贴图508中纹理可能缺失或者表示得不准确的多个被遮挡区域的重建纹理。

在608，执行用于细化第二纹理贴图606A的操作。在该操作中，处理器204还可被配置成基于从所生成的第一纹理贴图508上的多个第一有效点去除光照影响来细化所生成的第二纹理贴图606A。由于第一纹理贴图508是基于第一彩色图像502生成的，因此第一纹理贴图508也可以包括来自可能存在于第一彩色图像502中的一些外部光源的光照影响。处理器204还可被配置成去除来自第一纹理贴图508的光照影响，并利用第一纹理贴图作为参考来细化第二纹理贴图606A。处理器204还可被配置成基于没有光照影响的第一纹理贴图508来细化第二纹理贴图606A，以重建与用户116的面部的真实反照率值相同或几乎相同的第二纹理贴图606A的反照率值。例如，可以通过使用如下给出的式(23)来去除来自第一纹理贴图508上的多个第一有效点中的每一个的光照影响：

a′＝(I

其中，a'表示在去除光照影响之后在第一纹理贴图508上的多个第一有效点的纹理。

细化(即，608)的目的是使第二纹理贴图606A(对于更接近面部的真实反照率的反照率)例如处理痣或一些其他特定的外观特征。从式(23)，可以估计a'作为用于在608的细化的参考。可以进行光照影响的去除，以去除所述参考的光照影响并确保第二纹理贴图606A更接近所述参考。

处理器204还可被配置成计算第二纹理贴图606A上的多个点的偏移项。偏移项可以基于关于第一纹理贴图508上的多个点和第二纹理贴图606A上的多个点之间的第一多个对应的第一关系来计算。偏移项例如可以通过使用如下给出的式(24)来计算：

其中，Δt

a'

ρ

n表示点的数量。

处理器204还可被配置成计算第二纹理贴图606A上的多个点的平滑项。平滑项可以基于关于第二纹理贴图606A上的多个点中的相邻点之间的第二多个对应的第二关系来计算。平滑项例如可以通过使用如下给出的式(25)来计算：

其中，

Δt

Δt

w表示用于权重的参数；和

i,j∈N表示有效点“i”和有效点“j”相邻。

处理器204还可被配置成基于作为偏移项和平滑项的组合的目标函数的最小化来生成细化的第二纹理贴图610。细化的第二纹理贴图610可以由如下的式(26)给出的目标函数生成：

其中，N表示第二纹理贴图606A上的点的数量。

细化的第二纹理贴图610可以包括用户116的面部的多个被遮挡区域的细化纹理，对于这些被遮挡区域，纹理在第一纹理贴图508中缺失或者表示得不准确。处理器204还可被配置成将第一纹理贴图508的光照影响添加到细化的第二纹理贴图610。具有第一纹理贴图508的光照影响的细化的第二纹理贴图610可以表示可在第一彩色图像110中捕捉的用户116的面部的实际纹理。

图7图解说明按照本公开的实施例的用于生成用户的面部的最终纹理贴图的示例性操作。结合图1、2、3、4、5和6的要素来说明图7。参考图7，图中表示了用于生成用户116的面部的最终纹理贴图的处理流水线700。还表示了第一纹理贴图704A、第一掩模704B、细化的第二纹理贴图706A、第二掩模706B和最终纹理贴图708。第一纹理贴图704A可以对应于图5的第一纹理贴图508。细化的第二纹理贴图706A可以对应于图6的细化的第二纹理贴图610。这里进一步介绍(如在图4中所述的)纹理贴图混合操作的细节。

处理器204可被配置成基于第一掩模704B在第一纹理贴图704A上的应用来提取第一纹理贴图704A的第一部分。第一部分可以对应于用户116的面部的正面面部部分，比如眼睛、鼻子和嘴唇。由于第一纹理贴图704A是基于第一彩色图像110生成的，因此第一纹理贴图704A可以表示用户116的面部的正面面部部分的精确或几乎精确的纹理。处理器204还可被配置成为用户116的面部的正面面部部分，比如眼睛、鼻子和嘴唇的纹理，提取第一纹理贴图704A的第一部分。处理器204还可被配置成基于第二掩模706B在细化的第二纹理贴图706A上的应用来提取细化的第二纹理贴图706A的第二部分。第二部分可以对应于用户116的面部的剩余面部部分。剩余面部部分的纹理可能由于第一彩色图像110中诸如耳朵和脖子之类的剩余面部部分的遮挡而在第一纹理贴图704A中可能缺失或者表示得不准确。细化的第二纹理贴图706A可以包括用于用户116的面部的剩余部分的重建纹理。处理器204还可被配置成为诸如耳朵和脖子之类的剩余面部部分的纹理，提取细化的第二纹理贴图706A的第二部分。

处理器204还可被配置成向第一掩模704B和第二掩模706B分配权重，以生成最终纹理贴图704。最终的纹理贴图708可以例如通过使用如下给出的式(27)来生成：

M(i)＝T

其中，M(i)表示最终纹理贴图708上的像素“i”的纹理值；

T

T2表示细化的第二纹理贴图706A的纹理；以及

w

图8描述按照本公开的实施例的使用单幅彩色图像和深度信息来生成面部纹理贴图的示例性方法的流程图。结合图1、2、3、4、5、6和7的要素来说明图8。参考图8，图中表示了流程图800。流程图800的操作可以在电子装置102中执行。操作可以始于802，然后进行到804。

在804，可以基于用户116的面部的未纹理化3D面部模型114、第一彩色图像110和对应的深度信息112来生成用户116的面部的第一纹理贴图508。处理器204可被配置成基于第一彩色图像110上的第一多个三角形中的每一个到未纹理化3D面部模型114上的第二多个三角形中的对应三角形的映射来生成第一纹理贴图508。处理器204还可被配置成计算U-V坐标贴图(比如U-V坐标贴图506)上的第三多个三角形与第一彩色图像110上的第一多个三角形之间的仿射变换。处理器204还可被配置成通过在U-V坐标贴图506的第三多个三角形中的每一个上应用纹理来生成第一纹理贴图508。可以基于计算的仿射变换和第一彩色图像110的第一多个三角形中的每一个的颜色信息的插值，在第三多个三角形中的每一个上应用纹理。例如，在图5中说明了第一纹理贴图508的生成。

在806，通过参考面部纹理模型406A对生成的第一纹理贴图508上的多个第一有效点的纹理模型拟合，可以生成用户116的面部的第二纹理贴图606A。多个第一有效点可以对应于属于在第一彩色图像110中观察到的面部的点。处理器204可被配置成通过参考面部纹理模型406A对生成的第一纹理贴图508上的多个第一有效点的纹理模型拟合来生成用户116的面部的第二纹理贴图606A。例如，在图6中说明了第二纹理贴图606A的生成。

在808，可以基于所生成的第二纹理贴图606A的目标函数的最小化来细化所生成的第二纹理贴图606A。处理器204还可被配置成基于第二纹理贴图606A的目标函数的最小化来细化第二纹理贴图606A。处理器204还可被配置成基于从生成的第一纹理贴图508中去除光照影响来细化第二纹理贴图606A。例如，在图6中说明了细化的第二纹理贴图610的生成。处理器204还可被配置成将第一纹理贴图508的光照影响加回细化的第二纹理贴图610中。

在810，可以基于生成的第一纹理贴图508和细化的第二纹理贴图610为用户116的面部生成最终纹理贴图708。处理器204可被配置成基于所生成的第一纹理贴图508和细化的第二纹理贴图610来生成最终纹理贴图708。处理器204还可被配置成基于用于用户116的面部的第一掩模704B来提取第一纹理贴图508的第一部分。处理器204还可被配置成基于用于用户116的面部的第二掩模706B来提取细化的第二纹理贴图610的第二部分。最终纹理贴图708可以表示可与用户116的面部的实际纹理相同或几乎相同的纹理贴图。例如，在图7中说明了用于用户116的面部的最终纹理贴图708的生成。然后控制可以转到结束。

本公开的各个实施例可以提供上面存储指令的非临时性计算机可读介质和/或存储介质，和/或非临时性机器可读介质和/或存储介质，所述指令可由诸如电子装置之类的机器和/或计算机执行，用于使用单幅彩色图像和深度信息来生成面部纹理贴图。所述至少一个代码段可以使所述机器和/或计算机进行操作，所述操作包括存储用户的面部的第一彩色图像和对应深度信息、用户的面部的未纹理化三维(3D)面部模型、以及参考面部纹理模型。参考面部纹理模型可以是针对与用户的面部不同的多个面部的多个面部纹理贴图的主成分分析(PCA)模型。所述操作还包括基于用户的面部的未纹理化3D面部模型、第一彩色图像和对应深度信息来生成用户的面部的第一纹理贴图。所述操作还包括通过对生成的第一纹理贴图上的多个第一有效点进行参考面部纹理模型的纹理模型拟合来生成用户的面部的第二纹理贴图。多个第一有效点对应于属于在第一彩色图像中观察到的用户的面部的点。所述操作还包括基于所生成的第二纹理贴图的目标函数的最小化来细化所生成的第二纹理贴图。所述操作还包括基于生成的第一纹理贴图和细化的第二纹理贴图为用户的面部生成最终纹理贴图。

本公开的示例性方面可以包括包含电路202和存储器206的电子装置102。存储器206可被配置成存储用户116的面部的第一彩色图像110和对应深度信息112、用户116的面部的未纹理化三维(3D)面部模型114、以及参考面部纹理模型。参考面部纹理模型可以是用于与用户116的面部不同的多个面部的多个面部纹理贴图的主成分分析(PCA)模型。电路202可被配置成基于用户116的面部的未纹理化3D面部模型114、第一彩色图像110和对应深度信息112来生成用户116的面部的第一纹理贴图508。电路202还可被配置成通过对生成的第一纹理贴图508上的多个第一有效点进行参考面部纹理模型的纹理模型拟合来生成用户116的面部的第二纹理贴图606A。多个第一有效点可以对应于属于第一彩色图像110中的用户116的面部的点。电路202还可被配置成基于所生成的第二纹理贴图606A的目标函数的最小化来细化所生成的第二纹理贴图606A。电路202还可被配置成基于所生成的第一纹理贴图508和细化的第二纹理贴图610为用户116的面部生成最终纹理贴图708。

按照实施例，未纹理化3D面部模型114可以是用户116的面部的形状细化的3D面部模型。PCA模型可以对应于通过对与用户的面部不同的多个面部的多个面部纹理贴图应用PCA而提取的特征向量和特征值的组合。电子装置102还可以包括扫描设备104，扫描设备104被配置成捕捉用户116的面部的第一多个彩色图像和与第一多个彩色图像对应的第一深度信息。第一多个彩色图像和对应的第一深度信息包括第一彩色图像110和对应深度信息112。电路202还可被配置成基于捕捉的第一多个彩色图像和对应的第一深度信息来生成用户116的面部的未纹理化3D面部模型114。

按照实施例，扫描设备104还可被配置成捕捉与用户116的面部不同的多个面部的第二多个彩色图像和对应的第二深度信息。所捕捉的多个面部的第二多个彩色图像是在公共环境光照条件下捕捉的。电路202还可被配置成基于捕捉的第二多个彩色图像来生成多个面部中的每一个的面部网格，其中多个面部中的每一个的面部网格彼此配准。电路202还可被配置成基于生成的多个面部中的对应面部的面部网格在U-V坐标贴图上的展开，生成多个面部中的对应面部的多个面部纹理贴图中的每个面部纹理贴图。电路202还可被配置成通过对与用户116的面部不同的多个面部的多个面部纹理贴图应用主成分分析(PCA)来生成参考面部纹理模型。

按照实施例，电路202还可被配置成确定第一彩色图像110上的第一多个三角形。电路202还可被配置成将第一彩色图像110上的第一多个三角形中的每个三角形映射到未纹理化3D面部模型114上的第二多个三角形中的对应三角形。映射可以基于第一彩色图像110在3D空间中的未纹理化3D面部模型114上的透视投影。电路202还可被配置成通过将第二多个三角形U-V坐标映射在U-V坐标贴图506上来确定U-V坐标贴图506上的第三多个三角形。电路202还可被配置成计算U-V坐标贴图506上的第三多个三角形和第一彩色图像110上的第一多个三角形之间的仿射变换。电路202还可被配置成通过对第三多个三角形中的每个三角形应用纹理来确定纹理化U-V坐标贴图。对每个三角形应用纹理可以基于计算的仿射变换，并且纹理化U-V坐标贴图可以是第一纹理贴图508。对U-V坐标贴图506上的第三多个三角形中的每个三角形应用纹理可以进一步基于来自第一彩色图像110上的第一多个三角形中的对应三角形的彩色信息的插值。

按照实施例，电路202还可被配置成迭代地估计第一纹理贴图508的环境光和漫射光中的每一个的光照强度、光照方向、以及镜面反射率。第一纹理贴图508的环境光和漫射光的光照强度、光照方向、以及镜面反射率可以基于反射率模型、第一纹理贴图508以及未纹理化3D面部模型114来估计。反射率模型可以包括环境光和漫射光中的每一个的光照强度、光照方向、以及镜面反射率之间的关系。电路202还可被配置成基于参考面部纹理模型、估计的环境光和漫射光中的每一个的光照强度、光照方向、以及镜面反射率来估计第一纹理贴图508上的多个点的一组反照率值。生成的第一纹理贴图508上的多个第一有效点中的每个有效点可以是在未纹理化3D面部模型114上的对应位置处观察到三角形的点。

按照实施例，电路202还可被配置成基于关于第一纹理贴图508上的多个点与第二纹理贴图606A上的多个点之间的第一多个对应的第一关系来计算第二纹理贴图606A上的多个点的偏移项。电路202还可被配置成基于关于第二纹理贴图606A上的多个点中的相邻点之间的第二多个对应的第二关系来计算第二纹理贴图606A上的多个点的平滑项。电路202还可被配置成基于计算的偏移项和计算的平滑项使目标函数最小化。电路202还可被配置成进一步基于从生成的第一纹理贴图508中去除光照影响来细化第二纹理贴图606A。电路202还可被配置成将第一纹理贴图的光照影响添加到细化的第二纹理贴图。

按照实施例，电路202还可被配置成基于用于用户116的面部的第一掩模704B来提取第一纹理贴图508的第一部分。电路202还可被配置成基于用于用户116的面部的第二掩模706B来提取细化的第二纹理贴图610的第二部分。电路202还可被配置成基于所提取的第一部分和所提取的第二部分的组合来生成最终纹理贴图708。第一部分可以对应于用户116的面部的正面面部部分，而第二部分可以对应于用户116的面部的剩余面部部分。电路202还可被配置成通过将所生成的最终纹理贴图708渲染到未纹理化3D面部模型114上，生成用户116的面部的纹理化3D面部模型。

本公开可以用硬件或者硬件和软件的组合来实现。本公开可以以集中方式，在至少一个计算机系统中，或者以分布式方式实现，其中不同的元件可以分布在几个互连的计算机系统上。适于执行本文中所述的方法的计算机系统或其他装置可能是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当被加载和执行时，所述计算机程序可以控制所述计算机系统，使得所述计算机系统执行本文中所述的方法。本公开可以用包括还进行其他功能的集成电路的一部分的硬件来实现。

本公开还可以嵌入到计算机程序产品中，所述计算机程序产品包括使得能够实现本文中所述的方法的所有特征，并且当被载入计算机系统中时能够执行这些方法。在本上下文中，计算机程序意味着一组指令的采用任何语言、代码或注释的任意表达，所述一组指令旨在使具有信息处理能力的系统直接地或者在下列之一或两者之后进行特定功能：a)转换成另一种语言、代码或注释；b)以不同的材料形式进行再现。

虽然参考某些实施例说明了本公开，但是本领域技术人员可以理解，在不脱离本公开的范围的情况下，可以进行各种改变和等同替换。另外，可以进行许多修改以使特定情况或材料适应本公开的教导而不脱离本公开的范围。于是，本公开并不限于所公开的特定实施例，相反本公开将包括落入所附权利要求的范围内的所有实施例。