基于赋值照片权重的连续三维材质生成方法、设备及介质

摘要

本发明公开了一种基于赋值照片权重的连续三维材质生成方法，包括：将三维网格模型中的三角形面片的映射到照片，并使损失函数达到最小化；损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数；边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度；方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角；区域度量函数用于表示相邻三角形面片是否选自同一照片；照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。本发明还公开了一种计算机设备及计算机可读存储介质。本发明通过构建全新的损失函数，实现了用简单的方法获取了突出的视觉满意度。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于赋值照片权重的连续三维材质生成方法、计算机设备及计算机可读存储介质。

背景技术

三维模型是三角形面片的集合，三维模型的颜色一般通过以下两种方法连实现：

方法一、给三角形的每个顶点指定颜色；

方法二、将三角形的每个顶点映射到一幅二维的图片上，该方法可以实现更逼真的近乎现实的色彩和细节。其中，该方法中的图片称作纹理，将图片贴到三维模型的过程称作纹理映射，而采用真实的照片作为纹理，可以实现近乎真实的三维模型感观体验。

三维模型的纹理映射一般有手工指定和自动程序化指定等算法。由于三维模型的表面并非平面，纹理映射的主要难度是对三维物体，无法用一张照片覆盖360度的物体表面，因此，往往需要拍摄多张照片，并把多张照片拼接起来才能覆盖(参见图1)。这多张照片通常有非常大的重叠区域，那么在材质映射时，必然有相邻的三角形面片的材质纹理来自不同的照片，尤其在这多张照片的采光不统一，照片到三维模型的定位存在估计误差的情况下，可以看到明显的纹理错位现象。

一般而言，传统的纹理映射采用的是抹平算法。通过将不连续的部分模糊化，或用人工智能(Artificial Intelligence，缩写为AI)算法进行错位矫正，光照平滑等来处理。然而，这些算法忽略了一个事实，大多数情况下，特别是在人体脸部的纹理映射中，存在高纹理细节的部分和低纹理细节的部分(如五官不允许大的纹理错位，但脖子，脸颊后侧面就不那么引人注目)。

因此，如何保证相邻三角形面片的纹理的连续性是目前亟待解决的问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于赋值照片权重的连续三维材质生成方法、计算机设备及计算机可读存储介质，可通过构建全新的损失函数，实现了用简单的方法获取了突出的视觉满意度。

为了解决上述技术问题，本发明提供了一种基于赋值照片权重的连续三维材质生成方法，包括：将三维网格模型中的三角形面片的映射到照片，并使损失函数达到最小化；所述损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数；所述边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度；所述方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角；所述区域度量函数用于表示相邻三角形面片是否选自同一照片；所述照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。

作为上述方案的改进，相邻三角形面片边缘的材质颜色纹理匹配度越高，则边缘匹配度度量函数越小；三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角越小，则方向度量函数越小；若区域度量函数用于表示相邻三角形面片选自同一照片，则区域度量函数小。

作为上述方案的改进，所述边缘匹配度度量函数为：

其中，Boundary为相邻三角形面片的边缘，f

作为上述方案的改进，所述方向度量函数为：

其中，F为三角形面片的集合，Area(f

作为上述方案的改进，所述区域度量函数为：

其中，Boundary为相邻三角形面片的边缘，i

作为上述方案的改进，所述损失函数为：

其中，Boundary为相邻三角形面片的边缘，F为三角形面片的集合，f

作为上述方案的改进，所述ρ>γ>λ。

作为上述方案的改进，采用greedy近似优化算法优化所述损失函数，所述采用greedy近似优化算法优化损失函数的步骤包括：S1，初始化计算每个三角形面片f

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述连续三维材质生成方法的步骤。

相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述连续三维材质生成方法的步骤。

实施本发明，具有如下有益效果：

本发明基于材质连续性来选择三角形面片的映射结果，为三维网格模型增加了语义区域(即相邻三角形面片)，要求每个语义区域尽量选择同一幅照片作为材质，具体地，本发明在损失函数中增加上了“相邻三角形面片应该倾向于选自同一照片作为材质来源”的区域度量函数，避免了在无法获得满意的材质连续性的情况下，模糊化材质的需要，实现了用简单的方法获取了突出的视觉满意度。

另外，采用greedy近似优化算法，从最大比配面片为种子的生长优化策略，完美而简洁的实现了损失函数的优化。

附图说明

图1是来自不同照相机的照片被连续拼接成一幅全景图；

图2是来自不同角度的照片补丁罗列成的贴图材质；

图3是采用greedy近似优化算法优化损失函数的实施例流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

本发明基于赋值照片权重的连续三维材质生成方法包括：将三维网格模型中的三角形面片的映射到照片，并使损失函数达到最小化。

具体地，给定三维网格模型M＝{f

本发明的原理如下：为三维网格模型M中的每个三角形面片f

也就是说，本发明通过将三角形面片的映射到不同的照片，并实时计算不同照片情况下的损失函数，当损失函数达到最小时，所对应的照片即为最佳照片。

本发明中，所述损失函数包括边缘匹配度度量函数、方向度量函数、区域度量函数以及照片偏爱权重函数。其中，所述边缘匹配度度量函数用于表示相邻三角形面片边缘的材质颜色纹理匹配度，所述方向度量函数用于表示三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角，所述区域度量函数用于表示相邻三角形面片是否选自同一照片，所述照片偏爱权重函数用于对高质量的或特殊位置的照片给予加权。

如图2所示，材质图片是从多幅不同角度的物体照片切割而来。为了减少三角形面片的数量，通常使用照片生成材质图，将材质图映射到三角形面片上，实现照相真实度的三维模型渲染。在这种情况下，不可避免，三维网格模型中存在大量相邻的三角形面片，被映射到不同的照片所生成的材质中，这样会导致三角形面片到照片组的选择经常出现大面积非连续化的跳跃(也即相邻的三角形面片选择不同的照片，导致材质映射均匀性不如预期)；相应地，现有技术中可通过三维网格模型切割成多个大区域，每个区域指定映射目的照片的方法，这种方法有对小的细节的投射制造的过多的限制，导致如鼻子周围高法向变化区域的材质过于粗糙；同时，现有技术中还可采用复杂的人工神经元网络，但这种方法导致复杂，不易分析，质量不稳定，速度低效。

与现有技术不同的是，本发明构建了全新的损失函数，并在损失函数中增加上了“相邻三角形面片应该倾向于选自同一照片作为材质来源”的区域度量函数。

由上可知，本发明基于材质连续性来选择三角形面片的映射结果，为三维网格模型增加了语义区域(即相邻三角形面片)，要求每个语义区域尽量选择同一幅照片作为材质，避免了在无法获得满意的材质连续性的情况下，模糊化材质的需要，实现了用简单的方法获取了突出的视觉满意度。

下面分别对上述三个函数分别进行说明：

(1)边缘匹配度度量函数

相邻三角形面片边缘的材质颜色纹理匹配度越高，则边缘匹配度度量函数越小。优选地，所述边缘匹配度度量函数为：

其中，Boundary为相邻三角形面片的边缘，f

(2)方向度量函数

三角形面片的法线方向与三角形面片投射到的照片平面的法线方向之间的夹角越小，则方向度量函数越小。优选地，所述方向度量函数为：

其中，F为三角形面片的集合，Area(f

(3)区域度量函数

若区域度量函数用于表示相邻三角形面片选自同一照片，则区域度量函数小。优选地，所述区域度量函数为：

其中，Boundary为相邻三角形面片的边缘，i

(4)照片偏爱权重函数

照片偏爱权重函数由用户根据实际情况进行预设，灵活性及针对性强。

进一步，所述损失函数优选为“边缘匹配度度量函数”、“方向度量函数与照片偏爱权重函数的乘积”及“区域度量函数”之和，即所述损失函数为：

其中，Boundary为相邻三角形面片的边缘，F为三角形面片的集合，f

相应地，所述ρ>γ>λ。需要说明的是，本发明中边缘匹配度度量函数的权重值最大，方向度量函数的权重值最小。也就是说，优选考虑相邻三角形面片边缘的材质颜色纹理匹配度高的，其次考虑相邻三角形面片选自同一照片，最后再考虑三角形面片正对着的照片。

由于上述损失函数很难优化，本发明采用greedy近似优化算法优化所述损失函数。

如图3所示，所述采用greedy近似优化算法优化损失函数的步骤包括：

S101，初始化计算每个三角形面片f

其中，

S102，将J(i)从大到小压入优先队列，每一个三角形面片f

S103，从最大的J(i)开始，生长三角形面片f

也就是说，如果能够导致总体L{π(V→G}的成本降低，则对应的三角形面片f

所述三角形面片f

S104，重复步骤S103，直到没有三角形面片f

因此，本发明采用从最大比配面片为种子的生长优化策略，完美而简洁的实现了损失函数的优化。

相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述连续三维材质生成方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述连续三维材质生成方法的步骤。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。