一种基于中国人数据库的参数化人体模型重建方法

摘要

本发明公开了一种基于中国人数据库的参数化人体模型重建方法，采集不同年龄、体型、身高的多个女性净体的三维人体网格数据，建立数据库；基于BPS对点云进行学习，将SMPL模型网格点分别粗配准至各个三维人体网格点附近，生成对应的粗配准模型；然后采用基于ICP算法的非刚性网格配准算法对各个粗配准模型进行精配准，生成精准配准对应的SMPLD模型；先对各个SMPLD模型进行标准站姿校正，再对站姿校正后的各个SMPLD模型进行PCA主成分分析，以获取的多个主成分占比作为适配中国人形体的参数化人体模型的形体参数，以SMPL模型原始的姿态参数作为适配中国人形体的参数化人体模型的姿态参数，构建最终的参数化人体模型。

说明书

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于中国人数据库的参数化人体模型重建方法。

背景技术

网络环境为人们的生活提供了便捷，网上购衣已成为现阶段人们日常生活消费的主要方式之一。但是，服装的自身特点决定了其无法用号型、文字及照片等方式准确地将特征信息描述清楚，经常会出现服装不合体及穿着效果与预期不符等现象。随着基于互联网的虚拟现实技术的发展，三维虚拟试衣技术可以通过计算机识别技术、图形学及相关软件让消费者提前感知真实的服装试穿效果，降低消费者购物的时间成本，提高服装的合体性和购物的满意度。而三维人体建模一直以来都是三维虚拟试衣领域的一个比较富有挑战性且比较重要的部分，其本质在于将现实世界中的人体以三维数字化的方式在计算机中存储并表示。

目前基于计算机视觉的方法可以简单快捷的获取高质量的三维人体模型。通过查阅相关文献，该方法按照两个标准进行分类：第一类为无约束的三维人体建模方法，即先利用各种手段采集或估计深度信息，再用点云配准的方式重建人体完整的几何形状和纹理信息，如一些研究者使用多视角的相机阵列进行人体建模，这种单时刻多视角的三维人体建模方法，所得结果质量较高，支持任意的服装拓扑结构，但是实时性较差，且相机的标定等过程较为复杂；另一类方法为基于参数化(统计)模型的三维人体重建方法：这类方法大多首先估计SCAPE、SMPL等人体模型的各项参数，然后再通过融合各类传感器获取深度信息来补充模型纹理细节，该类方法相比前一类方法而言，对环境要求较低，重建出来的模型内部具有动画骨架且包含语义信息，如Cheng等调研了几种主流的参数化人体模型，研究表明，SMPL模型在速度和准确性方面都比SCAPE具有更好的性能，因此SMPL模型逐渐取代SCAPE模型成为主流模型。由于该模型可用较少维度的参数来表示不同形状和姿势的人体，并且模型中使用的线性函数易于优化，许多团队提出了使用该模型进行参数化人体建模，这类方法利用SMPL模型包含的丰富的人体结构先验信息作为约束，学习从二维图像到三维姿态的映射函数，实现模型和数据的匹配。

然而，这些参数化人体模型大多是基于西方人体的固定体型开发的。事实上，东西方人体存在一定差异：例如2015年尹彦等将中国2009年进行的人体尺寸抽样试点调查的数据和2002年完成的CAESAR中美国的数据进行了对比，发现西方人比东方人身材更高大、强壮，拥有臂长、腿长、手脚大的特点；在高度方向、围度和宽度尺寸上，西方人均大于东方人体测量学尺寸；在头颈部和上身长度方面，东西方人体尺寸差距并不大；2020年，胡新荣等依据2019年欧美CAESAR人体数据集提供的人体结构关键部位与身高的比例关系和2009年中国标准化研究院完成的中国成年人人体尺寸抽样试点调查工作中获取的亚洲人体数据信息，通过数据对比发现东方人体结构关键部位在胸部和臀部的参数值相差较大。由于中西方人体的差异，导致参数化人体建模算法无法准确估计模型参数，难以保证三维人体建模结果的准确性和连续性。

发明内容

本发明提供了一种基于中国人数据库的参数化人体模型重建方法，解决了现有技术中由于中西方人体的差异，导致参数化人体建模算法无法准确估计模型参数，难以保证三维人体建模结果的准确性和连续性等技术问题。

本发明可通过以下技术方案实现：

一种基于中国人数据库的参数化人体模型重建方法，包括以下步骤：

一、建立数据库

采集不同年龄、体型、身高的多个女性净体的三维人体网格数据，建立数据库；

二、三维人体网格配准

首先，基于BPS Basis Point Sets对点云进行高效学习，将SMPL模型网格点分别快速初始配准至数据库中的各个三维人体网格点附近，生成对应的初始配准模型；然后采用基于ICP算法的非刚性网格配准算法对各个初始配准模型进行精配准，只优化顶点位移D分量，生成精准配准对应的SMPLD模型；

三、统计形体分析

先对各个SMPLD模型进行站姿校正，使其统一为标准站姿，再对站姿校正后的各个SMPLD模型进行PCA主成分分析，以PCA主成分分析获取的多个主成分占比作为适配中国人形体的参数化人体模型的形体参数，以SMPL模型原始的姿态参数作为适配中国人形体的参数化人体模型的姿态参数，构建最终适配中国人形体的参数化人体模型。

进一步，所述精配准方法包括设M(v

构建由x重构后SMPL模型中的点集

其中，

使用ICP算法对损失函数进行最优搜索，每次迭代过程中，先计算采集的三维人体模型—SMPLD模型的对应点对，然后利用梯度或高斯牛顿优化器对模型参数进行更新，使扫描点与对应模型点之间的距离最小。

进一步，位姿校正包括以下步骤：

1)利用SMPL模型中的骨骼蒙皮模型对配准后的各个待校正SMPLD模型进行三维关节点重构J

2)从人体采集大数据库中选择标准站姿样本，计算其J

3)针对待校正SMPLD模型的J

进一步，最终适配中国人形体的参数化人体模型的表达式如下

其中，V

本发明有益的技术效果在于：

1)由于SMPL模型是基于西方人体数据生成的参数化模型，其形体与中国人形体存在一定的适配性问题，因此考虑以中国人体为研究对象，利用三维人体扫描仪对受试者进行扫描，进而获取一定样本量的三维人体模型，构建符合中国人体特征的多形体数据集，并通过PCA建立能够反映中国人体特征的参数化三维人体模型。

2)提出了“粗-精”的两步配准策略：首先基于BPS对点云进行高效学习，将SMPL模型网格点快速初始配置至扫描网格点附近，实现粗配准；然后采用基于ICP的非刚性网格配准算法进行精配准，只优化顶点位移D分量，生成精准匹配的SMPLD模型，并且本发明使用的基于深度学习的BPS粗配准，在保证相对较高的匹配精度同时，每样本平均耗时仅0.5秒，同时基于pyTorch 1.17.0+cu11.0编制的精配准过程每样本平均耗时仅50秒左右，因此，基于BPS粗配准和非刚性模板拟合的“粗-精”两步配准方法不仅保证了非线性模型配准精度，而且极大地提升了配准效率。

3)通过将利用本发明的重建方法构建的参数化人体模型与SMPL平均模板进行比较可知，基于中国人数据集的参数化模型拟合误差更小、精度更高。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的采集样本的年龄、身高、体型分布示意图；

图3为本发明的筛选泊松曲面重建及其降采样结果示意图；

图4为采用基于深度学习的LoopReg算法进行配准的SMPL模型示意图；

图5为采用本发明的BPS粗配准方法进行配准的结果示意图；

图6为采用本发明的精配准方法进行配准的结果示意图；

图7为本发明的精配准的能量迭代曲线图；

图8为本发明的152个样本的粗配准和精配准网格点平均匹配误差示意图；

图9为本发明的标准站姿样本及其骨架示意图；

图10为本发明的位姿校正前后结果对比示意图；

图11为本发明的PCA主成分分析结果的前10个主成分分析的可视化示意图；

图12为现有SMPL平均模型和利用本发明的重建方法构建后的模型对比示意图；

图13为本发明的基于中国人数据集的参数化模型与SMPL模型重构结果比较示意图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

为了构建能够适配中国形体特征的参数化人体模型，如图1所示，本发明首先采集了152个华东成年女性净体样本，再对其进行辫子部位去除、泊松重建、降采样和脚底平面切削，然后在综合考虑配准精度和效率基础上，本发明提出了“粗-精”的两步配准策略，首先基于BPS对点云进行高效学习，将SMPL模型网格点快速初始配置至扫描网格点附近；再采用基于ICP(Iterative Closest Points)的非刚性网格配准算法进行精配准，只优化顶点位移D分量，生成精准匹配的SMPLD模型，配准完成后，对配准数据进行了位姿校正和主成分分析，从而获得具有中国人体特征的PC

SMPL模型是一种基于顶点蒙皮的线性模型，它是从大量人体扫描数据中通过统计学习生成的参数化人体形变模型，该模型可以通过改变参数来表示人体的不同姿势和体型，并且可以模拟在肢体运动过程中人体肌肉等组织的凸起和凹陷，从而实现任意姿势的人体建模。

SMPL模型以形体参数β和姿态参数θ作为输入，输出一个顶点数N＝6890、关节点数目K＝23的人体模型和一个具有父子结构的三维人体骨架，其中姿态参数θ表示人体整体运动位姿和24个关节相对角度的75个向量；形体参数β表示人体高矮胖瘦、头身比等比例的10个向量，每个向量代表一个形状基，它是通过对三维人体数据集进行PCA得到的。

一、建立数据库

采集不同年龄、体型、身高的多个女性净体的三维人体网格数据，建立数据库。

本发明共采集152个华东成年女性净体的轻量级样本，样本的年龄、身高、体型分布如图2所示。

采集时要求受试者站立在指定脚印标志上并直视前方，手臂从体侧自然向外展开。点云处理流程中滤波处理作为预处理的第一步，往往对后续处理的影响很大，因此只有在滤波预处理中将噪声点、离群点等等按照后续处理定制，才能更好地进行配准、特征提取、曲面重建和可视化等后续的处理。考虑到采集样本的一部分个体辫子即头发会影响后续模型拟合精度，可借助于Meshlab开源软件预先人工交互修剪，进行辫子部位去除。此外，由于线激光三维扫描设备固有缺陷，如遮挡、准平行于发射光源平面等，人体网格中存在后的大大小小的破洞，可采用屏蔽泊松重建算法预先进行重建修补。同时，三维点云往往包含大量冗余数据，权衡后续模型匹配的精度和速度，采用二次边折叠抽取的降采样方法将采集网格面数降至20K，其平均原始点云网格面数600K以上。

筛选泊松曲面重建及其降采样结果如图3所示，鉴于曲面重建后出现脚底平面失真，本发明还进行了地板平面的切削处理。

二、三维人体网格配准

基于非刚性模板配准的算法通常以形体、姿态及顶点位移为变量，构建扫描网格-变形模板间统计参数优化目标函数，然后通过非线性优化，得到最优解，但该法需要变形模板的初始化位置与扫描网格足够接近，否则由于存在较大的姿势、形状误差，使得非线性搜索陷入局部最小。因此，在综合考虑配准精度和效率基础上，本发明提出了“粗-精”的两步配准策略，首先，基于BPS Basis Point Sets对点云进行高效学习，将SMPL模型网格点分别快速初始配准至数据库中的各个三维人体网格点附近，生成对应的初始配准模型即粗配准模型；然后采用基于ICP算法的非刚性网格配准算法对各个初始配准模型进行精配准，只优化顶点位移D分量，生成精准配准对应的SMPLD模型，其精配准过程如下：

设M(v

配准方法是找到一系列对应的由x重构后SMPL模型中的点集

其中，

使用ICP算法对上述损失函数进行最优搜索，使其最小化，每次迭代过程中，先计算采集的三维人体模型—SMPLD模型的对应点对，然后利用梯度或高斯牛顿优化器对模型参数进行更新，使扫描点与对应模型点之间的距离最小。

为了验证本发明的“粗-精”两步配准方法的可行性，采用基于深度学习的LoopReg算法对上述三维人体扫描数据进行预测及拟合SMPL模型如图4所示，其中左列为原始网格(灰色)与粗匹配网格(黑色)融合图，第二列为第一列的侧视图，第三列为粗配准三角网格图，右列为配准误差图，其网格点颜色对应配准误差，误差色表如最上方图所示，图中样本粗配准平均误差分别为2.08和1.88cm。采用本发明的BPS粗配准对三维人体扫描数据和SMPL模型配准的网格输出如图5所示，图中样本网格顶点匹配平均误差为0.91和0.79cm，同LoopReg算法结果相比，平均精度提升了2倍多。

基于python平台下pytorch(1.7.1)+cu110开发套件实现非刚性模板精配准，非线性优化采用Adam方式，学习率lr＝0.005，betas＝(0.9,0.999)。图7为图6精配准的能量迭代曲线图，其中系列1对应第1行样本拟合结果，系列2对应第2行样本拟合结果，由图可以看出，迭代至30次时，目标函数基本收敛。图6为精配准结果示意图，其中第一行和第二行样本精配准平均匹配误差为0.56和0.54cm，与粗配准平均匹配误差相比，下降近50％。

152个样本的粗配准和精配准网格点平均匹配误差如图8所示，基于BPS的粗配准平均匹配误差的最大值、最小值及平均值分别为0.0115、0.0075及0.0090m，对应的基于非刚性模型匹配的精配准分别为0.0060、0.0048及0.0054m。

“粗-精”两步配准代码运行硬件平台配置为：Intel i7-9750H，16G内存，win64系统，GPU为NVIDIA GeForce RTX 2070with Max-Q Design，8G内存。所有关键代码都基于GPU运行。而基于同样平台，传统人体三维扫描后的非刚性匹配每样本大致需要15min左右(包含姿态预配准、非线性迭代等)。基于深度学习的BPS预配准，在保证相对较高的匹配精度同时，每样本平均耗时仅0.5s，同时基于pyTorch 1.17.0+cu11.0编制的精配准过程每样本平均耗时仅50s左右。因此，基于BPS预配准和非刚性模板拟合的“粗-精”两步配准方法不仅保证了非线性模型配准精度，而且极大地提升了配准效率。

三、统计形体分析

三维人体模型的形体空间被定义为一个平均模板和主成分形状方向。它是通过在多形体数据集上，对配准样本的形体进行PCA计算得到的。

考虑到实际三维扫描过程中人体站姿与标准站姿存在一定差异，其标准站姿如图9所示，在进行形体统计分析之前应先进行位姿校正，以尽量降低位姿差异在PCA统计结果中的主成分占比。具体方法为：

)从人体采集大数据库中选择标准站姿样本，计算其J

3)针对待校正SMPLD模型的J

位姿校正前后结果如图10所示，其中第一列为精配准图、第二列为位姿校正图、第三列和第四列为融合示意图，白色：校正前，黑色：校正后。主成分分析的目的是在给定有限的形体方向条件下，相对于平均形体，最大化顶点偏移的可解释性方差，前10个主成分的方差累计贡献为89.18097％＞85％，图11所示了每个PCA参数(±5)单独变化时的人体形体图，中间图为平均形体。由图11可知：PC1代表整个人体的大小和胖瘦，初始(平均模型)为0的情况下，正向变胖小，负向变瘦大，正向身体前倾；PC2正向变胖小，负向变瘦大，负向身体前倾；PC3负向表示肚子变大，手臂和腿变瘦长，可以调整上下身的比例；PC4人体横向压缩拉伸，正向压缩，正向肩膀变低；PC5人体横向压缩拉伸，正向压缩，负向肩膀变宽；PC6正向上半身向前倾斜+整体变胖；PC7负向上半身向左倾斜+整体变瘦；PC8人体纵向压缩拉伸，负向压缩；PC9负向胸部变小，腹部和臀部变大，正向胸部变大，腹部和臀部变小；PC10代表胸部、腹部、臀部的大小，初始为0的情况下，负向变大，正向变小。

四、最终模型重建

最终适配中国人形体的参数化人体模型的表达式如下：

其中，V

现有技术中SMPL平均模板即第一列及后两列的黑色且进行了位姿校正，将其与基于中国人数据集的参数化模型平均模板即第二列及后两列的白色的比较如图12所示。由图可知，中国成年女性形体与欧美成年女性存在明显差异。

利用本发明的基于中国人数据集的参数化模型与现有SMPL模型重构结果比较，重建结果如图13所示。其中从左到右第一列：基于中国人数据集的参数化模型；第二列：SMPL模型；第三、四列：两者重构模型的融合(黑色：SMPL模型，白色：本发明的参数化模型)

选取重建模型的细节差异处进行对比，选取细节处：a)中左胳膊肘处、腋下，b)中左腿处，c)中右腿处，明显可以看出基于中国人数据集的参数化模型重建结果更加贴合人体。将两个模型拟合结果中关节平均误差和顶点平均误差数据进行对比，如下表所示。

从上表可以看出，基于中国人数据集的参数化模型拟合结果关节误差和顶点误差均有所降低，实验对象1关节平均误差和顶点平均误差分别降低了26.2％、20.0％；实验对象2关节平均误差和顶点平均误差分别降低了19.4％、16.1％；第三个实验对象关节平均误差和顶点平均误差分别降低了21.7％、12.5％。整体而言，基于中国人数据集的参数化模型重建能够明显提升模型拟合精度。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。