人体模型构建方法、装置、设备及计算机可读存储介质

摘要

公开了一种人体模型构建方法、装置、设备及计算机可读存储介质，所述方法包括：根据人体图像的全局特征信息获得人体模型参数；根据所述人体模型参数得到人体模型的三维顶点信息；根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征；根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数。

说明书

技术领域

本公开涉及计算机视觉技术，尤其涉及一种人体模型构建方法、装置、设备及计算机可读存储介质。

背景技术

从人体图像中重建出三维人体参数化模型在众多领域有着广泛的应用场景和重要的应用价值，例如在影视娱乐、人口统计分析领域等。

传统的人体模型构建方法是通过对参数化模型进行迭代形变，使得其重投影后能够对齐图像中的人体关节点或外轮廓等，然而此类方法通常较为耗时并且存在与人体图像贴合度差的问题。因此，有必要开发一种高效且重建效果好的人体模型构建方法。

发明内容

本公开实施例提供了一种人体模型构建方案。

根据本公开的一方面，提供一种人体模型构建方法，所述方法包括：根据人体图像的全局特征信息获得人体模型参数；根据所述人体模型参数得到人体模型的三维顶点信息；根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征；根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数。

结合本公开提供的任一实施方式，所述方法还包括：根据所述修正后的人体模型参数，迭代更新所述人体模型的三维顶点信息。

结合本公开提供的任一实施方式，所述根据人体图像的全局特征信息获得人体模型参数包括：利用编码网络对所述人体图像进行编码，得到全局特征信息；利用人体模型预测网络，根据所述全局特征得到人体模型参数。

结合本公开提供的任一实施方式，所述根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征，包括：获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点；获得在所述人体图像的空间特征信息中所述二维点对应的特征信息；根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征。

结合本公开提供的任一实施方式，获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点，包括：对三维顶点的数目进行降采样；根据相机参数，将降采样后的三维顶点信息投影至二维图像平面，得到所述二维点的信息，其中，所述相机参数是利用人体模型预测网络，根据所述全局特征得到。

结合本公开提供的任一实施方式，所述根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征，包括：对所述二维点对应的特征信息进行降维处理，得到降维后的特征信息；对所述降维后的特征信息进行连接，得到所述顶点对齐特征。

结合本公开提供的任一实施方式，所述根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数，包括：根据所述顶点对齐特征和当前人体模型参数，得到所述人体模型参数的修正量；根据所述修正量和所述当前人体模型参数，得到修正后的人体模型参数。

结合本公开提供的任一实施方式，所述方法还包括：根据所述空间特征信息获得稠密关联图的预测值；根据稠密关联图的真实值与所述预测值之间的差异，调整所述编码网络的参数。

根据本公开的一方面，提供一种人体模型构建装置，所述装置包括：参数获取单元，用于根据人体图像的全局特征信息获得人体模型参数；信息获取单元，用于根据所述人体模型参数得到人体模型的三维顶点信息；特征获取单元，用于根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征；修正单元，用于根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数。

结合本公开提供的任一实施方式，所述装置还包括更新单元，用于根据所述修正后的人体模型参数，迭代更新所述人体模型的三维顶点信息。

结合本公开提供的任一实施方式，所述参数获取单元具体用于：利用编码网络对所述人体图像进行编码，得到全局特征信息；利用人体模型预测网络，根据所述全局特征得到人体模型参数。

结合本公开提供的任一实施方式，所述特征获取单元具体用于：获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点；获得在所述人体图像的空间特征信息中所述二维点对应的特征信息；根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征。

结合本公开提供的任一实施方式，所述特征获取单元在用于获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点时，具体用于：对三维顶点的数目进行降采样；根据相机参数，将降采样后的三维顶点信息投影至二维图像平面，得到所述二维点的信息，其中，所述相机参数是利用人体模型预测网络，根据所述全局特征得到。

结合本公开提供的任一实施方式，所述特征获取单元在用于所述根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征时，具体用于：对所述二维点对应的特征信息进行降维处理，得到降维后的特征信息；对所述降维后的特征信息进行连接，得到所述顶点对齐特征。

结合本公开提供的任一实施方式，所述修正单元具体用于：根据所述顶点对齐特征和当前人体模型参数，得到所述人体模型参数的修正量；根据所述修正量和所述当前人体模型参数，得到修正后的人体模型参数。

结合本公开提供的任一实施方式，所述装置还包括训练单元，用于根据所述空间特征信息获得稠密关联图的预测值；根据稠密关联图的真实值与所述预测值之间的差异，调整所述编码网络的参数。

根据本公开的一方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的人体模型构建方法。

根据本公开的一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的人体模型构建方法。

在本公开实施例中，根据人体图像的全局特征进行初步的人体模型参数估计，并利用根据所述人体模型参数得到的人体模型的三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征，并根据所述顶点对齐特征对所述人体模型参数进行修正，所得到的修正后的人体模型参数，改善了重投影偏差问题，具有更好的对齐效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本公开至少一个实施例示出的一种人体模型构建方法的流程图；

图2示出了各次迭代的修正效果对比；

图3是本公开至少一个实施例示出的人体模型构建方法的示意图；

图4是本公开至少一个实施例提出的获得人体模型的顶点对齐特征方法的流程图；

图5是本公开至少一个实施例示出的编码网络的训练方法示意图；

图6示出了进行辅助监督和未进行辅助监督的空间特征图的对比；

图7示出了本公开实施例提出的人体模型构建方法与相关方法的对齐效果的对比；

图8是本公开至少一个实施例示出的一种人体模型构建装置的示意图；

图9是本公开至少一个实施例示出的电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1是本公开至少一个实施例示出的一种人体模型构建方法的流程图。如图1所示，该方法包括步骤101～步骤104。

在步骤101中，根据人体图像的全局特征信息获得人体模型参数。

其中，所述全局特征信息是对于所述人体图像中的人体姿态的总体描述，可以用于对所述人体模型的初步预测。

本公开实施例中的人体模数可以包括多种类型的人体模型，例如为SMPL(SkinnedMulti-Person Linear)模型，或SCAPE(shape completion and animation of people)模型等等，本公开对于人体模型的类型以及获得人体模型参数的方法不进行限制。

在步骤102中，根据所述人体模型参数得到人体模型的三维顶点信息。

在本公开实施例中，所述人体模型可以看成多个三角形、四边形或者其他多边形组成的，则每个形状的顶点构成了所述人体模型的三维顶点。根据所述人体模型参数，可以获得所述人体模型的三维顶点信息。

在步骤103中，根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征。

空间特征信息为高分辨率的特征信息，相关技术中通常利用统一的网格(gridpattern)对空间特征信息进行采样，从而得到空间证据(spatial evidence)，然而这样的空间证据在所有像素位置上包含了详细提示，但是并不能反映出当前预估的人体模型的对齐状态。

为了能够获得更细粒度和位置敏感的空间证据，本公开提出了基于当前预估的人体模型的三维顶点信息，从空间特征信息中提取网格对齐的特征。也即根据所述人体模型的顶点，获得在空间特征信息中所对应的点特征，得到所述人体模型的顶点对齐特征。

在步骤104中，根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数。

在本公开实施例中，根据人体图像的全局特征进行初步的人体模型参数估计，并利用根据所述人体模型参数得到的人体模型的三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征，并根据所述顶点对齐特征对所述人体模型参数进行修正，所得到的修正后的人体模型参数，改善了重投影偏差问题，具有更好的对齐效果。

在一些实施例中，可以根据所述修正后的人体模型参数，迭代更新所述人体模型的三维顶点信息。也即，利用步骤104中所得到的修正后的人体模型参数，替换步骤102中的人体模型参数，从而得到更新的三维顶点信息。并基于该更新的三维顶点信息执行步骤103、步骤104，对于人体模型参数进行进一步修正。重复执行上述步骤，直到收敛或者迭代次数符合预设要求。

在本公开实施例中，根据修改后的人体模型参数迭代更新三维顶点信息，可以得到更好的对齐效果。图2示出了各次迭代的修正效果，其中第一列表示待进行处理的人体图像，第二列表示根据人体图像直接获得的人体模型，也即第0次迭代、修正前的人体模型，从方框中的细节可见人体模型与图像中的人体存在较大偏差；第三列表示进行1次迭代后的修正效果，可见人体模型与图像中的人体的偏差已经减小，得到了进一步的修正；第四列、第五列分别表示进行了2次、3次迭代后的修正效果，由图2可见，随着迭代次数的增加，人体模型与图像中人体的对齐效果得到了提高。

在一些实施例中，可以利用以下方式得到人体模型参数。

首先，利用编码网络对所述人体图像进行编码，得到全局特征信息。

参见如图3所示的人体模型构建方法的示意图，将人体图像I输入至编码网络301，编码网络301输出全局特征向量φ

接下来，可以利用人体模型预测网络302，根据所述全局特征φ

在一个示例中，所述人体模型为SMPL模型，相应的，所述人体模型参数可以表示为Θ＝{θ,β}，其中，β表示人体的形状(shape)参数，θ表示人体姿态(pose)参数。对于人体模型参数Θ＝{θ,β}，可以相应地得到所述人体模型的三维网格顶点(3D vertices onmeshes)的信息，也即三维顶点信息M∈R

本领域技术人员应当理解，对于其他类型的人体模型，可以根据相应的方式获得该人体模型的三维顶点信息，本公开对此不进行限制。

图4示出本公开至少一个实施例提出的获得人体模型的顶点对齐特征方法的流程图。如图4所示，所述方法包括步骤401～403。

在步骤401中，获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点。

例如，可以通过将所述三维顶点，投影到所述人体图像的图像坐标系中，从而得到在所述人体图像的图像平面中对应的二维点。

在一个示例中，可以首先对三维顶点的数目进行降采样，再对降采样后的三维顶点进行投影，以得到所述二维点。

参见图2所示的人体模型构建方法的示意图，可以将三维顶点信息M

其中，Π(·)表示基于采集所述人体图像的相机的相机参数π的投影函数。

在一个示例中，所述相机参数π是利用人体模型预测网络302，根据所述全局特征得到的。

在步骤402中，获得在所述人体图像的空间特征信息中所述二维点对应的特征信息。

对于所述二维点集合X

在步骤403中，根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征。

可以通过对各个二维点对应的特征信息φ

在一个示例中，可以对所述二维点对应的特征信息φ

在一个示例中，对于SMPL人体模型，可以利用预先训练的线性回归器将三维顶点信息M

对于SMPL人体模型而言，由于人体模型参数Θ中的参数θ表示沿运动链的相对旋转，因此微小的参数误差可能导致在二维投影和图像证据之间的巨大偏移。因此，在本公开实施例中，对于编码网络301、人体模型预测网络302的训练，可以在从三维顶点投影得到的二维点增加二维监督，同时，也在三维关节点和模型参数上增加三维监督。

所述编码网络301和人体模型预测网络302训练的损失函数可以表示为：

其中，

在一些实施例中，可以根据所述顶点对齐特征和当前人体模型参数，得到所述人体模型参数的修正量；并根据所述修正量和所述当前人体模型参数，得到修正后的人体模型参数。

参见图3所示的人体模型构建方法的示意图，将顶点对齐特征

其中，

在一些实施例中，编码网络301、人体模型预测网络302、残差修正网络303可以进行联合训练，损失函数如公式(2)所示。

在本公开实施例中，通过以闭环的方式，利用图像特征纠正人体模型参数偏差，可以使最终得到的人体模型的重投偏差问题得到改善。

本公开至少一个实施例提出了一种对编码网络进行辅助监督的训练方法。

首先，根据所述空间特征信息获得的稠密关联图(dense correspondence maps)的预测值。

参见图5所示的编码网络的训练方法示意图，将空间特征信息φ

由于稠密关联图可以对二维图像平面中的前景像素和三维空间中的网格顶点之间的映射关系进行编码，因此稠密关联图能够提供基于像素的监督，从而可以对于编码网络301提供稠密关联引导，以在空间特征信息中保留更多的相关信息。

在一个示例中，所述稠密关联图包含网格顶点的部件索引P和UV值。基于像素的辅助监督方法的损失函数可以通过公式(4)表示：

其中，⊙表示掩膜操作，

由于在UV回归损失中仅考虑前景区域，因此在计算回归损失之前，首先利用部件索引P通道的真实值对预测的UV通道进行掩膜处理。

在本公开实施例中，通过在编码网络的训练过程中利用稠密关联图对空间特征信息进行辅助监督，使编码网络能够更好地应对输入人体图像的各种变化，提取更为鲁棒的空间特征信息。

图6示出进行了辅助监督和未进行辅助监督的空间特征图的对比。其中，第一行示出了输入的人体图像，第二行为未进行辅助训练的空间特征图，第三行为进行了辅助训练的空间特征图，第四行为在辅助监督下预测的稠密关联图。由图6可见，在进行了辅助监督的情况下，空间特征图对于输入的变化更加规则和鲁棒。

图7示出了本公开实施例提出的人体模型构建方法与相关方法的对齐效果的对比。其中，第一行为输入的人体图像，第二行、第三行为相关方法1、2的对齐效果，第四行为本公开实施例方法的对齐效果。由图7可见，本公开实施例提出的人体模型构建方式相较于相关方法，具有更好的对齐效果。

图8示出本公开实施例示出的一种人体模型构建装置的示意图。如图8所示，该装置包括参数获取单元801，用于根据人体图像的全局特征信息获得人体模型参数；信息获取单元802，用于根据所述人体模型参数得到人体模型的三维顶点信息；特征获取单元803，用于根据所述三维顶点信息，从所述人体图像的空间特征信息中得到所述人体模型的顶点对齐特征；修正单元804，用于根据所述顶点对齐特征，对所述人体模型参数进行修正，得到修正后的人体模型参数。

在一些实施例中，所述装置还包括更新单元，用于根据所述修正后的人体模型参数，迭代更新所述人体模型的三维顶点信息。

在一些实施例中，所述参数获取单元具体用于：利用编码网络对所述人体图像进行编码，得到全局特征信息；利用人体模型预测网络，根据所述全局特征得到人体模型参数。

在一些实施例中，所述特征获取单元具体用于：获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点；获得在所述人体图像的空间特征信息中所述二维点对应的特征信息；根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征。

在一些实施例中，所述特征获取单元在用于获得所述人体模型的三维顶点在所述人体图像的图像平面中对应的二维点时，具体用于：对三维顶点的数目进行降采样；根据相机参数，将降采样后的三维顶点信息投影至二维图像平面，得到所述二维点的信息，其中，所述相机参数是利用人体模型预测网络，根据所述全局特征得到。

在一些实施例中，所述特征获取单元在用于所述根据所述二维点对应的特征信息，得到所述人体模型的顶点对齐特征时，具体用于：对所述二维点对应的特征信息进行降维处理，得到降维后的特征信息；对所述降维后的特征信息进行连接，得到所述顶点对齐特征。

在一些实施例中，所述修正单元具体用于：根据所述顶点对齐特征和当前人体模型参数，得到所述人体模型参数的修正量；根据所述修正量和所述当前人体模型参数，得到修正后的人体模型参数。

在一些实施例中，所述装置还包括训练单元，用于根据所述空间特征信息获得稠密关联图的预测值；根据稠密关联图的真实值与所述预测值之间的差异，调整所述编码网络的参数。

图9为本公开至少一个实施例提供的电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实现方式所述的人体模型构建方法。

本公开至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实现方式所述的人体模型构建方法。

本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。