基于图像的个性化真实感虚拟人物造型方法

摘要

本发明提出一种基于图像的个性化真实感虚拟人物造型方法。由正面、侧面、背面四幅人体的图像，快速地生成具有真实感外观的个性化三维人体模型。步骤包括：以基于扫掠曲面的人体模型为人体模板模型；从图像中提取人体特征信息，建立人体模板模型和人体图像之间的对应关系，变形人体模板模型，生成个性化人体几何模型；在人体模型二维参数化结果上，由人体图像生成逼真的人体纹理，并将人体纹理无缝地映射到三维个性化人体模型上，得到具有真实感视觉效果的个性人体模型。所述的人体图像来源于照相机、摄像机等。本发明为虚拟现实及数字娱乐领域提供了一种低成本、高效的人体造型新途径。

说明书

技术领域

本发明属于计算机图形图像处理技术和虚拟现实及数字娱乐领域，涉及一种利用从正面、侧面、背面摄取的四幅人体图像，生成具有真实感视觉外观的个性化人体模型的方法。

背景技术

目前三维人体造型大多通过以下三种方法实现：交互几何建模的方法、三维重建的方法和基于样本的方法。

交互几何建模的方法，大多根据人体解剖结构和外形特性，借助于Maya等三维造型软件，通过手工交互的方式完成。通常需要专业的美工人员才能胜任建模工作，制作时间较长，成本较高。

重建的方法，通过三维扫描仪或结构光的方式，可以得到精细的几何模型，但重建的结果中，通常存在大量的噪声数据和由于模型自遮挡或光线阴影引起的模型空洞，需要做大量的后续处理工作。

基于样本的方法，通过插值或变形样本人体模型，得到符合个性特征的人体模型。这种方法利用了已有模型的恒定结构，可以避免重建方法中的模型空洞现象，降低模型表面噪声的影响，在人体建模中显示出了众多的优越性。基于样本插值的方法，以大样本数据为基础，假设个性模型可以通过对样本的线性组合获取，但当个性参数超出样本集取值范围时，将不再有效，因而这类方法不适合构建穿有宽松服饰的人体模型。基于样本变形方法的有效性，则不受个性参数取值的影响。通过输入个性化的人体尺寸等数据变形已有的人体模型，得到个性化的结果模型。这种基于样本变形的方法，近年来，在基于人体图像的三维个性化人体造型中得到较多的应用，但已有的方法大多通过逐个变形模型的顶点来获取，通过柱面投影来实现纹理映射。这种基于逐个顶点变形的方法，通常缺乏人体的语义信息，导致模型的变形过程效率不高，同时变形过程容易产生模型自交现象等；而通过柱面投影映射纹理，需要将人体分割成躯干和四肢5个区域，进行分别纹理映射，这在相邻区域的边界上很容易引起纹理的变形和纹理裂缝，影响了视觉效果。

发明内容

本发明的目的在于：基于人体图像，提供一种操作简易、成本低廉，能快速地生成带服饰纹理的真实感个性化虚拟人。人体模型的变形基于人体的特征语义，具有效率高、算法鲁棒的优点；通过生成完整的人体纹理，实现了无缝的纹理映射。本发明提供的方法包括以下步骤：

步骤1：构造基于扫掠曲面的人体模型为人体模板模型，以平面截面环为扫掠曲面的基本几何元素，人体模型上的每个点都属于相应的截面环；

步骤2：在输入图像中，分割出人体图像，检测人体特征信息；

步骤3：从图像中获取人体几何信息，变形三维人体模板模型，生成个性化的人体几何模型；

步骤4：通过对人体模型的二维参数化，获得个性化人体模型的纹理坐标，在人体模型二维参数化结果上，由四幅正交人体图像生成逼真的人体纹理；

步骤5：将所述纹理无缝地映射到个性化人体模型上，得到真实感的视觉效果。

进一步，所述步骤2中的输入图像包括正面、侧面和背面四幅图像。

进一步，所述步骤2中的人体特征信息包括：人体特征点、人体骨架等。

进一步，所述步骤4中的正交人体图像为四幅正交人体图像。

进一步，所述步骤1包括：

步骤11：根据人体的生理结构信息，提取人体特征点，生成人体骨架；

步骤12：设置人体骨架上任意点的正交标架UVW；

步骤13：采样人体骨架，根据采样点上的局部标架向人体模型做截面，得到的截面环为扫掠曲面中的基本几何元素；

步骤14：建立截面环中心和骨架的相对坐标关系；

步骤15：采样截面环生成扫掠曲面的网格顶点，并三角化网格顶点，得到扫掠曲面；建立截面环和网格顶点从属关系；人体骨架、截面环扫掠曲面构成人体模板模型。

进一步，所述步骤2包括：

步骤21：在输入图像上，交互地分割出人体图像；根据人体生理特征信息，在人体图像轮廓上提取人体关节点；

步骤22：连接相邻的关节点，生成图像上的人体骨架。

进一步，所述步骤3包括：

步骤31：建立人体模板模型和二维人体图像在人体骨架上的对应关系；

步骤32：建立人体模板模型上截面环和人体图像之间的对应关系；

步骤33：得到截面环的几何变形参数，通过对截面环变形获取个性人体模型。

进一步，所述步骤4包括：

步骤41：自动将封闭的个性化人体模型切割成拓扑上等同于盘状的曲面，并参数化到二维平面，获得个性化人体模型的纹理坐标；

步骤42：在不同的视线方向上，自动检测人体图像和三维人体模型上肢体之间的自遮挡；

步骤43：由人体图像，在人体模型的二维参数化结果上生成完整的人体纹理，包括对三维模型上遮挡部分纹理的处理。

本发明的有益效果是：采用上述步骤，可以实现由普通照相机或摄像机摄取的正面、侧面和背面四幅图像，通过简易的操作，快速地生成具有真实感视觉外观的个性化人体模型。在本发明中，通过截面环和人体骨架之间的相对关系，建立了人体曲面和骨架之间的内在联系，使人体曲面上的每个点都具有特征语义信息，为人体模型和人体图像之间对应关系的建立，以及从图像中获取个性人体体形参数和通过图像生成逼真的人体纹理提供了一种快捷、有效的方法。通过控制截面环形状，变形人体模板模型，生成个性化的人体模型，相比传统的基于网格顶点的变形方法在效率上更高，而且对人体图像噪声更不敏感。本发明为个性化人体模型在虚拟现实环境、游戏空间、影视节目中嵌入提供了一种快速、有效的建模方法。

附图说明

图1为基于图像的三维真实感个性化人体造型流程；

图2为三维真实感个性化人体造型图例过程；

图3(a)～图3(e)为基于扫掠曲面的人体模板模型生成过程；

图4(a)和图4(b)为基于图切的人体图像分割；

图5(a)和图5(b)为人体图像上的特征点和骨架；

图6(a)～图6(c)为基于截面环变形的个性人体模型生成；

图7(a)和图7(b)为三维人体模型二维参数化；

图8为各视线方向下人体模型自遮挡判断；

图9(a)和图9(b)为在参数化结果上生成人体纹理；

图10为在个性化人体模型上的纹理映射结果。

具体实施方式

图1给出了基于图像的三维真实感个性化人体造型流程。整个流程分三个部分，即模板人体模型生成(对应于下述步骤1)；图像中个性人体信息提取(对应于下述步骤2)；由个性人体信息将模板人体模型变形为个性化人体模型(对应于下述步骤3)，并得到真实感的纹理(对应于下述步骤4)，实现无缝纹理映射效果(对应于下述步骤5)。图2则进一步用图例说明基于图像的三维真实感个性化人体造型流程。在图2中，第一排图片表示个性化人体造型的输入数据为四幅正交的人体图像和一个基于扫掠曲面的人体模板模型；第二排图表示由这些输入数据，可以生成个性化的人体几何模型和真实感的人体纹理；第三排图则表示，将人体纹理映射到人体几何模型上，输出具有真实感视觉效果的个性化人体模型。具体按以下5个步骤实施：

步骤1：构造基于扫掠曲面的人体模型为人体模板模型。

如图3(a)所示，输入普通三维人体模型，要求模型的四肢微张。将模型调整为正面面向电脑屏幕。由人体模型的坐标极值点，获取头顶、指尖、趾尖等人体特征点。这些特征点也即为人体骨架在头顶、指尖、趾尖的关节点。从头顶点开始，以法向量平行于人体高度方向的平面，从头顶而下，扫描人体模型。当封闭截面环从1个逐渐变为3个时，截面环之间的分割点为腋窝点。过腋窝点平行于人体高度方向的平面与人体模型相交得到的截面环的中点即为连接胳膊与肩膀的肩部关节点；该平面将人体划分为手臂和躯干部分。从腋窝点向下，继续扫描人体躯干，当封闭截面环从1个变为2个时，截面环之间的分割点为会阴点。过会阴点垂直于人体高度方向的平面将双腿与人体躯干分开。

分别沿着人体四肢和躯干，扫描人体模型。根据人体关节位置附近人体曲面有较大的局部几何变化的生理特征，在相应的截面环的中点上得到颈部、肘部、膝盖等关节点。通过交互调整，优化关节点位置。连接相邻关节点，得到人体骨架模型，如图3(b)所示。

如图3(c)所示，建立人体骨架上局部点标架UVW，其中V轴为人体模型正面视线方向(通常为Z方向)；U方向由V×W决定。而W轴因骨架所在区域的不同，选取不同的方向：

(1)对于头部和腋窝以下躯干部分人体骨架上的点，其W轴平行于人体高度方向(通常为Y方向)；

(2)对于连接两肩部关节点的骨骼上点，其W轴平行于该骨骼；

(3)对于四肢上的骨架，在与躯干连接的关节点处的局部坐标由步骤(1)计算；骨架末端(即指尖、趾尖)上的局部标架的W轴平行于连接该点的骨骼；连接两相邻骨骼的关节点处的W轴平行于此两相邻骨骼角平分面的法向量。通过线性插值计算骨骼内部上的任意点的局部标架的W轴。

采样人体骨架上的每段骨骼，在采样点上，向三维人体模型做截面，截面的法向量平行于该采样点上的局部标架W轴方向。截面与三维人体模型相交的截面环，即为人体扫掠曲面中的基本几何元素，其结果如图3(d)所示。

记录截面环与人体骨架之间的相对关系：如图3(c)所示，若截面环Si的所在平面与Si对应的骨骼Q1Q2之间的交点为Pi，Si的中心Oi在Pi的局部标架下的坐标为(ui，vi，wi)，则用相对坐标记录Oi相对于人体骨架的位置：

<|Q1Pi/|Q1Q2|，ui/|Q1Q2|，vi/|Q1Q2|，wi/|Q1Q2|>          (1)

由此可以通过骨架反求出其对应的截面环的中心点坐标。

如图3(e)所示，对每条截面环，过其中心的U轴和V轴将该截面环分割成4段，对每一段，按等曲线长度采样，得到扫掠曲面的网格点。Denaulay三角化相邻截面环上的网格顶点，得到扫掠曲面。

步骤2：在输入的正面、侧面和背面四幅图像中，分割出人体图像，检测人体特征信息，提取人体骨架。

在输入图像上，利用图切技术分割出人体图像。图切技术是计算机图像分割中的常用算法，是一种基于全局能量优化的分割技术，通过对图像的二值化，在灰度变化剧烈的前景和背景边缘地区分割图像。如图4(a)所示，分别由白色和黑色自由曲线交互地标识前景和背景图像，由图切技术分割出如图4(b)所示的人体图像。类似地可以分割出其它视线方向照片上的人体图像。进一步在分割出的人体图像中，提取人体几何信息，具体如下：

对于正面人体图像，逆时针存储人体图像轮廓的坐标。如图5(a)所示，由坐标的极值点，获取头顶、指尖、脚尖特征点；根据特征点所在位置附近人体曲面通常有较大的变化的人体生理特征，提取其余特征点，如：在右指尖到右脚脚尖的轮廓线段上，右腋窝点在高度方向上具有最大的坐标值；而右脚尖到左脚尖的轮廓线段上，会阴点在高度方向上具有最大的坐标值。对于几何特征不明显的点，则通过人体生理统计特征数据确定初始位置，如腰部特征点大概位于会阴点到头顶点的1/4处。进一步通过交互调整得到合理的特征点。

过腋窝点做平行于人体高度方向的扫描线，被人体轮廓截取的线段的中点为人体骨架中手臂和肩膀连接处的关节点；同时该扫描线将人体图像划分成手臂和人体躯干部分。同理，过会阴点的水平扫描线可以将人体图像划分成腿部和躯干，并可以得到骨架上连接大腿和躯干的关节点。过腋窝的水平扫描线和过颈部特征点的水平扫描线进一步将人体图像细分成肩部、头部等特征区域。

过图像上的人体特征点，向人体图像轮廓线做扫描线，以被人体轮廓截取的线段中点为人体的关节点。扫描线的方向通过以下方式确定：头部和腋窝以下躯干部分的扫描线垂直于人体高度方向；肩膀部分的扫描线平行于人体高度方向；四肢的扫描线方向则由其两端的关节点确定，如对于左手臂上一特点P，其扫描线的垂直方向向量为(1-α)d1+αd2，其中d1＝(1，0)为连接手臂和肩膀的关节点K1上扫描线的垂直方向向量，d2＝(K2-K1)，K2为左指尖点，α＝|PK1|/|K1K2|。类似地可以定义右手臂和两腿上的扫描线方向。

对于其它视线方向上拍摄的图像，使其轮廓在高度方向上对齐于正面人体图像轮廓。并在与正面图像特征点相同的高度值上，获取这些人体图像上的特征点和关节点，其结果如图5(a)所示。

对每幅人体图像，连接相邻的关节点，生成图像上的人体骨架，如图5(b)所示。

步骤3：从图像中获取人体几何信息，变形三维人体模板模型，生成个性化的人体几何模型；

根据正面和侧面人体图像上的骨架，恢复个性人体三维骨架，即正、侧面图像的人体图像可视为三维骨架在正、侧面视线方向上的投影。根据骨架上关节点之间的对应关系，将人体模板模型中的骨架变形到三维个性人体骨架，从而间接地建立三维人体模板模型上的骨架和二维图像上骨架之间的对应关系。更新模板模型人体骨架上的局部标架，并由公式(1)更新人体模板模型上截面环的方位。

对于人体模板模型上的每个截面环，根据三维人体模板模型骨架和二维图像上人体骨架之间的对应关系，在正面和侧面人体图像上，分别由其标架的U、V轴截取人体图像的轮廓曲线，如图6(a)所示，图中白色线段表示人体截面环的U、V轴在图像上截取的线段。对于法向量为ni的截面环Si上的某一轴Aj(即为U轴或V轴)，设其原始长度为Lj0，在正面(或侧面)图像上的投影长度为Lj’，Aj的单位方向向量为dj，向该图像的投影方向的单位向量为vj，则其目标长度Lj1为，

$>L_j^1=\left(\begin{array}{cc}{L}_j^{\prime }/\sin (d_j^v_j),& d_j·v_j\ne 0\\ L_j^0{L}_j^{\prime }/\max (d_j·\overrightarrow{O_i{P}_k})& d_j·v_j=0\end{array}\right)$>

其中，O_i为S_i的中心，P_k(0≤k＜N)为S_i上的点，(d_j^v_j)表示向量d_j和v_j之间的夹角。L_j¹-L_j⁰即为将人体模板模型变形到个性人体模型时，截面环在A_j轴方向上所需的位移量。截面环上任意点的位移通过截面环在U、V轴上的位移的线性插值得到，以此变形截面环，从而将图6(b)所示的人体模板模型变形到如图6(c)所示的个性人体模型。

个性人体模型上的网格顶点在人体图像上的投影，即为该网格顶点在相应图像上的纹理坐标。

以交互输入的人体高度值与正面图像中的人体高度的比值为比例因子，线性缩放初始的个性人体模型，得到最终的个性化人体几何模型。步骤4：通过二维参数化人体模型，获得个性化人体模型的纹理坐标。根据输入的四幅图像，在人体模型二维参数化结果上生成逼真的人体纹理。

在对人体曲面做二维参数化之前，做必要的预处理：将封闭的人体曲面切割成盘状拓扑的曲面。如图7(a)所示，切割路径分别经过四肢的内侧以及躯干和头部的背面，在形状结构上类似于人体骨架。在图7(a)中，切割路径由黑色的相邻连续线段表示；白色三角形则表示切割路径两侧的相邻三角形。切割路径的具体生成方法如下：

(1)对于四肢上的每个截面环，找出在其对应的UVW标架中U轴上的网格顶点。连接这些网格顶点的相邻网格边构成四肢上的切割路径。

(2)对于头部和腋窝以下躯干部分的截面环，找出在其对应的UVW标架中-V轴上的网格顶点，连接这些网格顶点的相邻网格边构成这些部分的切割路径。

(3)以Dijkdtra最短路径将(1)、(2)、(3)中获取的切割路径相连接，构成完整的切割路径。

修改切割路径两侧三角之间的连接关系，使沿着切割路径将模型分割成几何上相邻，网格结构上不相邻的曲面，从而将封闭的人体曲面切割成拓扑上等同于盘状的曲面。切割结果并不改变三角形的数目，只是复制了切割路径上的网格顶点，因而保留了切割前后曲面上三角形之间的对应关系。

将切割后的人体模型参数化到二维平面，如图7(b)所示，从而建立三维人体曲面上的点与二维参数化结果上的点之间的一一对应关系。三维人体模型上的点在二维参数化结果上的对应坐标即为该点的纹理坐标。三维曲面参数化采用基于角度展开的方法，通过最小化以下函数

$>E\left(\alpha \right)=\underset{t\in T}{\Sigma }\underset{k=1}{\overset{3}{\Sigma }}\frac{1}{w_k^t}{({\alpha }_k^t-{\beta }_k^t)}^2$>

并使其满足以下约束条件得到：

$>\pi -\underset{k=1}{\overset{3}{\Sigma }}{\alpha }_k^t=0,\forall t\in T$>

$>2\pi -\underset{(t,k)\in v^{*}}{\Sigma }{\alpha }_k^t=0,\forall v\in V_{\mathrm{int}}$>

其中，t表示人体曲面三角形集合T中的一个三角形，β_k^t表示三角形t上的第k个内角值，α_k^t表示β_k^t在二维参数化结果上的对应值；$>w_k^t=\frac{1}{{\beta }_k^{t2}};$>v表示网格曲面上的一个顶点，V_int表示曲面上的内部顶点；v^*表示与v相邻的三角形在v上的内角；k□1分别表示三角t上第k+1和第k-1个顶点上的三角形内角。

将三维人体模型的二维参数化结果栅格化，用像素坐标表示参数化结果上的每一个点。具体方法如下：

(1)将参数化结果上的网格顶点的坐标从浮点型转化为整数型。求取参数化结果的包围盒，以该包围盒的长度和宽度表示人体纹理的长度和宽度；该包围盒内的每个以整形坐标表示的点为人体纹理上的像素点。

(2)根据Bresenham直线生成算法，由相邻的像素点表示每条网格边。Bresenham算法是计算机图形学领域最常用的直线生成算法，它通过给定线段两个端点的象素坐标，生成一条由相邻象素表示的线段。

(3)对于参数化结果上的每个三角形，从其重心开始，通过区域填充，获得位于该三角形内所有像素点。建立像素点与三角形之间对应关系，即每个三角形包含哪些像素点；每个像素点属于哪个三角形，以及在该三角形上的重心坐标。则对于参数化结果上的一个三角形ΔABC及其内部一点户，可将户表示为户[uA+vB+wC]，其中A、B、C分别为ΔABC三顶点的像素坐标，u，v，w为户在ΔABC上的重心坐标，且u+v+w＝1，[x]表示对x的坐标值取整。

如图8所示，在不同的视线方向上，自动检测三维个性化人体模型肢体之间的自遮挡。方法如下：

(1)截面环与其对应的UVW标架的V轴的交点构成了截面环在深度方向上的最大值和最小值。连接这些点构成人体的侧面轮廓。以此获取手臂、腿和躯干等人体各部分的侧面轮廓线。

(2)对于三维人体模型上的一个三角形，若其法向量与视线方向的夹角大于90度，则在此视线方向上，该三角形被遮挡，标记该三角形在此视线方向上的VisualFlag＝false(初始设置VisualFlag＝true)。

(3)当视线方向正对人体左侧面时，检测躯干和腿上VisualFlag＝true的三角形在该视线方向上的投影是否包含于或相交于左手臂侧面轮廓线在该视线方向的投影，若是，则置该三角形被遮挡；类似地检测肢体在不同视线方向上对人体模型的遮挡。

对于人体图像，我们之前已经标识出人体各部的轮廓线，因而也即明确了人体各部分之间的遮挡。

通过下述方法，由输入的人体图像，在个性化人体模型的二维参数化结果上生成完整的人体纹理：

对于参数化结果上一点P，在三维人体模型和第i个视线方向图像上分别存在其对应点P’和p’，其中i＝0，1，2，3分别表示视线方向垂直于人体正面、左侧、右侧和背面。赋予P纹理颜色C＝∑λici/∑λi，ci表示p’的颜色值，λi＝Np·Vi，Np为P’在三维模型上的法向量，Vi为图像Ii拍摄时的视线方向，若P在Vi视线方向上被遮挡，则取λi＝0，若∑λi＝0，则不对P点的纹理颜色置值，其结果如图9(a)所示。P在对应的图像Ii上对应点坐标通过下述方法得到：

若参数化结果上存在未被设置纹理颜色值的像素点P(即该点对应的三维人体模型上的点在各视线方向下均被遮挡)，则将其置值为其8邻域已置值的像素点上纹理值的加权平均值，加权值反比于相邻像素到P的距离，其结果如图9(b)所示。

步骤5：根据人体模型切割之前的模型HO和切割后模型H1在三角形上的对应关系，对于H⁰上的三角形t_i，取H¹上与t_i对应的三角形t_i`上的纹理坐标为t_j三顶点的纹理坐标，将纹理映射到H⁰上，得到真实感的视觉效果。图10显示了将图9(b)的纹理映射到图6(c)的个性化人体模型上后，在不同视线方向上的结果。通过我们的方法，可以生成具有真实感的个性化人体模型，可以很好地应用于数字娱乐、虚拟现实等领域。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。