一种运动捕捉的数据修复方法、系统及运动捕捉系统

摘要

本发明公开了一种运动捕捉的数据修复方法，包括以下步骤：采集运动物体上多个标记点的两帧或两帧以上运动图像数据，分别追踪多个标记点的运动轨迹，以确定帧的缺失点和有效点；计算前一帧中，与缺失点相邻的两个或两个以上有效点的参数集，以及缺失点分别与两个或两个以上有效点之间的距离之和；根据参数集和计算得到的缺失点分别与两个或两个以上有效点之间的距离之和，分别计算两个或两个以上有效点与其在当前帧中对应点组成的运动向量的权重，并将计算得到的权重结合参数集，得到缺失点在当前帧的位置。应用该运动捕捉的数据修复方法对人脸表情进行运动捕捉时，充分考虑了人脸肌肉这种非刚性结构的运动机理，从而提高了缺失点的修复精度。

说明书

技术领域

本发明属于运动捕捉技术领域，尤其涉及一种运动捕捉的数据修复方法、 系统及。

背景技术

近年来，随着计算机图形学(Computer Graphics，CG)产业的飞速发展， 运动捕捉日趋成熟，成为目前广泛应用的能够真实再现运动物体运动细节的技 术。运动捕捉是一种用于准确测量运动物体在三维空间运动状况的技术，其基 于计算机图形学原理，通过排布在空间中的数个视频捕捉设备采集运动物体的 运动图像，之后对该运动图像的图象数据进行处理，以还原运动物体的空间运动 状况。而人脸表情运动捕捉作为应用于人体的运动捕捉的一个分支，是将运动 捕捉应于人脸表情动画制作的技术，其广泛应用于虚拟现实、影视制作、游戏 娱乐和计算机动画等领域。

传统的人脸表情运动捕捉由于数个视频捕捉设备采集到的运动图像由于多 个标记点出现位置重叠、遮挡以及少于两个摄像设备可见时，相应的标记点位 置很难重构而形成图像数据的缺失，使得应用传统的人脸表情运动捕捉得到的 图像数据并不能直接驱动3D几何模型。

为此，现有技术提供了一种应用于人脸表情运动捕捉领域的运动捕捉的数 据修复方法，该方法采用与缺失点相邻的标记点的运动均值来表征缺失点的运 动，以修复缺失数据，而没有考虑人脸肌肉运动机理，使得应用该方法修复的 缺失点数据精确度低。

发明内容

本发明实施例的目的在于提供一种运动捕捉的数据修复方法，以解决现有 技术提供的应用于人脸表情运动捕捉领域的运动捕捉的数据修复方法没有考虑 人脸肌肉运动机理，修复的缺失点数据精确度低的问题。

本发明实施例是这样实现的，运动捕捉的数据修复方法，所述方法包括以 下步骤：

采集运动物体上多个标记点的两帧或两帧以上运动图像数据，并根据采集 的所述运动图像数据分别追踪所述多个标记点的运动轨迹，以确定帧的缺失点 和有效点；

计算前一帧中，与所述缺失点相邻的两个或两个以上所述有效点的参数集， 以及所述缺失点分别与所述两个或两个以上有效点之间的距离之和；

根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效 点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中 对应的标记点之间的向量的权重，并将计算得到的所述权重结合所述参数集， 得到所述缺失点在当前帧的位置。

其中，所述根据采集的所述运动图像数据分别追踪所述多个标记点的运动 轨迹，以确定帧的缺失点和有效点的步骤可以包括以下步骤：

比较前一帧中所述多个标记点的运动图像数据与当前帧中所述多个标记点的运 动图像数据，将当前帧的所述多个标记点中，位置在前一帧标记点的位置预设 范围内的标记点作为前一帧标记点在当前帧的对应标记点，以得到所述多个标 记点的运动轨迹，并将前一帧中在当前帧存在对应标记点的标记点作为有效点， 将前一帧中在当前帧中不存在对应标记点的标记点作为缺失点。

其中，所述方法在所述根据采集的所述运动图像数据分别追踪所述多个标记点 的运动轨迹的步骤之前，还可以包括以下步骤：

显示采集的所述运动物体上多个标记点的首帧运动图像数据；

接收用户输入的运动图像数据修改信号，并根据所述运动图像数据修改信 号修改采集的首帧运动图像数据。

上述参数集包括：由两个或两个以上所述有效点的位置构成的点集、由所 述缺失点分别与所述两个或两个以上有效点之间的距离构成的距离集、以及由 所述两个或两个以上有效点分别与所述两个或两个以上有效点在当前帧中对应 的标记点之间的向量构成的向量集。

进一步地，当所述两个或两个以上有效点具体为三个有效点时，所述根据 所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的 距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标 记点之间的向量的权重的步骤可以表示为：

${\omega }_i={\left[\frac{1+\cos (\frac{\mathrm{di}}{\mathrm{dall}}\times \pi )}{2}\right]}^4$

当所述两个或两个以上有效点具体为四个或四个以上有效点时，所述根据 所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的 距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标 记点之间的向量的权重的步骤可以表示为：

${\omega }_i=\cos (\frac{d_i-\mathrm{Rs}}{\mathrm{Rf}-\mathrm{Rs}}*\frac{\pi }{2.5})$

其中，di为第i(i≥1)个与缺失点相邻的有效点与缺失点之间的距离， dall为与缺失点相邻的有效点分别与缺失点之间的距离之和，ω_i为第i个与缺 失点相邻的有效点与其在当前帧中对应的标记点之间的向量的权重，Rs为缺失 点及与其距离最近的有效点之间的距离，Rf为缺失点及与其距离最远的有效点 之间的距离。

更进一步地，当所述两个或两个以上有效点具体为三个有效点时，所述将 计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤 可以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i{V}_i$

当所述两个或两个以上有效点具体为四个或四个以上有效点时，所述将计 算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤可 以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\frac{\underset{i=1}{\overset{n}{\Sigma }}\left({\omega }_i{V}_i\right)}{\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i}$

其中，Pt为所述缺失点，Pt′为当前帧中与所述缺失点Pt对应的标记点位 置，Vi为与缺失点相邻的第i个有效点与所述第i个有效点在当前帧中对应的 标记点之间的向量。

进一步地，所述方法在所述根据所述参数集和计算得到的所述缺失点分别 与所述两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上 有效点分别与其在当前帧中对应的标记点之间的向量的权重，并将计算得到的 所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤之后，还可 以包括以下步骤：根据得到的所述缺失点的位置以及所述有效点的参数集，将 各帧中相互对应的标记点关联后显示。

本发明实施例的另一目的在于提供一种运动捕捉的数据修复系统，所述系 统包括：

信号采集单元，用于采集运动物体上多个标记点的两帧或两帧以上运动图 像数据；

轨迹追踪模块，用于根据所述信号采集单元采集的所述运动图像数据分别 追踪所述多个标记点的运动轨迹，以确定帧的缺失点和有效点；

第一计算模块，用于计算前一帧中，与所述轨迹追踪模块确定的缺失点相 邻的两个或两个以上所述轨迹追踪模块确定的有效点的参数集，以及所述缺失 点分别与所述两个或两个以上有效点之间的距离之和；

第二计算模块，用于根据所述第一计算模块计算得到的所述参数集和计算 得到的所述缺失点分别与该两个或两个以上有效点之间的距离之和，分别计算 所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权 重，并将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位 置。

其中，当所述两个或两个以上有效点具体为三个有效点时，所述第二计算 模块根据所述第一计算模块计算得到的所述参数集和计算得到的所述缺失点分 别与该两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上 有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤可以表示 为：

${\omega }_i={\left[\frac{1+\cos (\frac{\mathrm{di}}{\mathrm{dall}}\times \pi )}{2}\right]}^4$

当所述两个或两个以上有效点具体为四个或四个以上有效点时，所述第二 计算模块根据所述第一计算模块计算得到的所述参数集和计算得到的所述缺失 点分别与该两个或两个以上有效点之间的距离之和，分别计算所述两个或两个 以上有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤可以表 示为：

${\omega }_i=\cos (\frac{d_i-\mathrm{Rs}}{\mathrm{Rf}-\mathrm{Rs}}*\frac{\pi }{2.5})$

其中，di为第i(i≥1)个与缺失点相邻的有效点与缺失点之间的距离， dall为与缺失点相邻的有效点分别与缺失点之间的距离之和，ω_i为第i个与缺 失点相邻的有效点与其在当前帧中对应的标记点之间的向量的权重，Rs为缺失 点及与其距离最近的有效点之间的距离，Rf为缺失点及与其距离最远的有效点 之间的距离；

当所述两个或两个以上有效点具体为三个有效点时，所述第二计算模块将 计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤 可以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i{V}_i$

当所述两个或两个以上有效点具体为四个或四个以上有效点时，所述第二 计算模块将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的 位置的步骤可以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\frac{\underset{i=1}{\overset{n}{\Sigma }}\left({\omega }_i{V}_i\right)}{\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i}$

其中，Pt为所述缺失点，Pt′为当前帧中与所述缺失点Pt对应的标记点位 置，Vi为与缺失点相邻的第i个有效点与所述第i个有效点在当前帧中对应的 标记点之间的向量。

本发明实施例的另一目的在于提供一种运动捕捉系统，包括置于运动物体 上的多个传感器，以及一运动捕捉的数据修复系统，所述运动捕捉的数据修复 系统是如上所述的运动捕捉的数据修复系统；所述信号采集模块是通过接收所 述多个传感器的信号，来采集运动物体上多个标记点的两帧或两帧以上运动图 像数据的。

应用本发明实施例提供的运动捕捉的数据修复方法对人脸表情进行运动捕 捉时，将与缺失点相邻的肌肉运动对缺失点修复的影响赋予不同的权值，而不 是用与缺失点相邻的肌肉的运动均值来对缺失点进行修复，即充分考虑了人脸 肌肉这种非刚性结构的运动机理，从而提高了缺失点的修复精度，减少了缺失 点修复过程中的手动干预。

附图说明

以下通过附图及具体实施例对本发明进行详细说明。

图1是本发明实施例提供的运动捕捉的数据修复方法的流程图；

图2是本发明实施例参数集中的参数关系图；

图3是采用本发明实施例提供的运动捕捉的数据修复方法对人脸表情进行 重构与现有技术采用均值法对人脸表情进行重构的帧的效果对比图；

图4是本发明实施例提供的运动捕捉的数据修复系统的结构原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的运动捕捉的数据修复方法的流程。

在步骤S101中，采集运动物体上多个标记点的两帧或两帧以上运动图像数 据，并根据采集的运动图像数据分别追踪该多个标记点的运动轨迹，以确定帧 的缺失点和有效点。

其中的运动图像数据可以是多个标记点在运动图像上的位置，具体可以是 在标记点的x、y、z轴的坐标。此时，根据采集的运动图像数据分别追踪该多 个标记点的运动轨迹，以确定帧的缺失点和有效点的步骤具体可以包括以下步 骤：比较前一帧中多个标记点的运动图像数据与当前帧中多个标记点的运动图 像数据；将当前帧的多个标记点中，位置在前一帧标记点的位置预设范围内的 标记点作为前一帧标记点在当前帧的对应标记点，从而得到该多个标记点的运 动轨迹，并将前一帧中在当前帧存在对应标记点的标记点作为有效点，在当前 帧中不存在对应标记点的标记点作为缺失点。

在步骤S102中，计算前一帧中，与缺失点相邻的两个或两个以上有效点的 参数集，以及缺失点分别与该两个或两个以上有效点之间的距离之和，优选地， 与缺失点相邻的有效点取三个。该参数集具体包括：由该两个或两个以上有效 点的位置构成的点集、由缺失点分别与该两个或两个以上有效点之间的距离构 成的距离集、由该两个或两个以上有效点分别与其在当前帧中对应的标记点之 间的向量构成的向量集，如图2以三个有效点构成的参数集为例，示出了该参 数集中的参数关系。其中，前一帧中，Pt1、Pt2、Pt3为与缺失点位置Pt相邻 的三个有效点位置，Pt1′为当前帧中与Pt1对应的标记点位置、Pt2′为当前 帧中与Pt2对应的标记点位置、Pt3′为当前帧中与Pt3对应的标记点位置；d1、 d2、d3分别为有效点Pt1、Pt2、Pt3与缺失点Pt之间的距离；V1为有效点Pt1 与对应的标记点Pt1′之间的向量，V2为有效点Pt2与对应的标记点Pt2′之间 的向量，V3为有效点Pt3与对应的标记点Pt3′之间的向量；缺失点分别与该 三个有效点之间的距离之和dall＝d1+d2+d3。

当采集的首帧运动图像数据不完整，没有包含运动物体上全部标记点的运 动图像数据时，本发明实施例在步骤S102之前还可以包括以下步骤：显示采集 的运动物体上多个标记点的首帧运动图像数据；接收用户输入的运动图像数据 修改信号，并根据该运动图像数据修改信号修改该首帧运动图像数据，以获得 全部标记点的完整运动图像数据。当然，当采集的首帧运动图像数据完整时， 也可以包括此步骤，以提供用户手动修改首帧运动图像数据的接口，提高缺失 点修复的准确性。

在步骤S103中，根据该参数集和计算得到的缺失点分别与该两个或两个以 上有效点之间的距离之和，分别计算该两个或两个以上有效点分别与其在当前 帧中对应的标记点之间的向量的权重，并将计算得到的权重结合该参数集，得 到缺失点在当前帧的位置。

假设有n个有效点，di为第i(1≤i≤n)个与缺失点相邻的有效点与缺失 点之间的距离，dall为与缺失点相邻的有效点分别与缺失点之间的距离之和， ω_i为第i个与缺失点相邻的有效点与其在当前帧中对应的标记点之间的向量的 权重：

则当n＝3时，根据该参数集和计算得到的缺失点分别与该两个或两个以上 有效点之间的距离之和，分别计算该两个或两个以上有效点分别与其在当前帧 中对应的标记点之间的向量的权重的步骤可以表示为：

${\omega }_i={\left[\frac{1+\cos (\frac{\mathrm{di}}{\mathrm{dall}}\times \pi )}{2}\right]}^4$

此时，假设Pt′为当前帧中与缺失点Pt对应的标记点位置，Vi为与缺失 点相邻的有效点与其在当前帧中对应的标记点之间的向量，则将计算得到的权 重结合该参数集，得到缺失点在当前帧的位置的步骤可以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i{V}_i$

当n！＝3时，若有效点个数为n(n！＝3)个，根据该参数集和计算得到的缺 失点分别与该两个或两个以上有效点之间的距离之和，分别计算该两个或两个 以上有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤可以表 示为：

${\omega }_i=\cos (\frac{d_i-\mathrm{Rs}}{\mathrm{Rf}-\mathrm{Rs}}*\frac{\pi }{2.5})$

其中，Rs为缺失点及与其距离最近的有效点之间的距离，Rf为缺失点及与 其距离最远的有效点之间的距离。

此时，将计算得到的权重结合该参数集，得到缺失点在当前帧的位置的步 骤可以表示为：

${\mathrm{Pt}}^{\prime }=\mathrm{Pt}+\frac{\underset{i=1}{\overset{n}{\Sigma }}\left({\omega }_i{V}_i\right)}{\underset{i=1}{\overset{n}{\Sigma }}{\omega }_i}$

应用本发明实施例提供的运动捕捉的数据修复方法对人脸表情进行运动捕 捉时，将与缺失点相邻的肌肉运动对缺失点修复的影响赋予不同的权值，而不 是用与缺失点相邻的肌肉的运动均值来对缺失点进行修复，即充分考虑了人脸 肌肉这种非刚性结构的运动机理，从而提高了缺失点的修复精度，减少了缺失 点修复过程中的手动干预。

当本发明实施例提供的运动捕捉的数据修复方法应用于对人脸表情重构领 域时，在步骤S103之后还可以包括以下步骤：根据得到的缺失点的位置以及有 效点的参数集，将各帧中相互对应的标记点关联后显示，既将各帧中相互对应 的标记点连线，以重构人脸表情动画，从而加强了重构的人脸表情动画的真实 性。如图3以60个标记点为例，示出了采用本发明实施例提供的运动捕捉的数 据修复方法以三个与缺失点相邻的有效点为例，对人脸表情进行重构与现有技 术采用均值法对人脸表情进行重构的帧的效果对比。

图4示出了本发明实施例提供的运动捕捉的数据修复系统的结构原理，为 了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例提供的运动捕捉的数据修复系统包括：信号采集单元11，用 于采集运动物体上多个标记点的两帧或两帧以上运动图像数据；轨迹追踪模块 12，用于根据信号采集单元11采集的运动图像数据分别追踪该多个标记点的运 动轨迹，以确定帧的缺失点和有效点；第一计算模块13，用于计算前一帧中， 与轨迹追踪模块12确定的缺失点相邻的两个或两个以上轨迹追踪模块12确定 的有效点的参数集，以及缺失点分别与该两个或两个以上有效点之间的距离之 和，优选地，与缺失点相邻的有效点取三个，该参数集具体包括：由该两个或 两个以上有效点的位置构成的点集、由缺失点分别与该两个或两个以上有效点 之间的距离构成的距离集、由该两个或两个以上有效点分别与其在当前帧中对 应的标记点之间的向量构成的向量集；第二计算模块14，用于根据第一计算模 块13计算得到的参数集和计算得到的缺失点分别与该两个或两个以上有效点之 间的距离之和，分别计算该两个或两个以上有效点分别与其在当前帧中对应的 标记点之间的向量的权重，并将计算得到的权重结合该参数集，得到缺失点在 当前帧的位置，其具体步骤如上所述，在此不再赘述。

其中的运动图像数据可以是多个标记点在运动图像上的位置，具体可以是 在标记点的x、y、z轴的坐标。此时，轨迹追踪模块12根据信号采集单元11 采集的运动图像数据分别追踪该多个标记点的运动轨迹，以确定帧的缺失点和 有效点的步骤为：轨迹追踪模块12比较前一帧中多个标记点的运动图像数据与 当前帧中多个标记点的运动图像数据；将当前帧的多个标记点中，位置在前一 帧标记点的位置预设范围内的标记点作为前一帧标记点在当前帧的对应标记 点，从而得到该多个标记点的运动轨迹，并将前一帧中在当前帧存在对应标记 点的标记点作为有效点，在当前帧中不存在对应标记点的标记点作为缺失点。

当信号采集单元11采集的首帧运动图像数据不完整，没有包含运动物体上 全部标记点的运动图像数据时，本发明实施例提供的运动捕捉的数据修复系统 还可以包括：显示模块15，用于显示信号采集单元11采集的运动物体上多个标 记点的首帧运动图像数据；接口模块16，用于接收用户输入的运动图像数据修 改信号；此时，所述信号采集模块11还用于根据接口模块16接收到的运动图 像数据修改信号修改采集模块11采集到的首帧运动图像数据。当然，当信号采 集单元11采集的首帧运动图像数据完整时，该运动捕捉的数据修复系统也可以 包括显示模块15和接口模块16，以提供用户手动修改首帧运动图像数据的接口， 提高缺失点修复的准确性。

另外，当本发明实施例提供的运动捕捉的数据修复系统应用于对人脸表情 重构领域时，该运动捕捉的数据修复系统还可以包括：关联模块17，用于根据 第二计算模块14得到的缺失点的位置以及第一计算模块13计算得到的有效点 的参数集，将各帧中相互对应的标记点关联后，通过显示模块15显示，既关联 模块17将各帧中相互对应的标记点连线，以重构人脸表情动画，从而加强了重 构的人脸表情动画的真实性。

本发明实施例还提供了一种运动捕捉系统，包括置于运动物体上的多个传 感器，以及一如上所述的运动捕捉的数据修复系统，其中的信号采集模块11此 时是通过接收该多个传感器的信号，来采集运动物体上多个标记点的两帧或两 帧以上运动图像数据的，具体地，该信号采集模块11可以是一红外摄像机。

应用本发明实施例提供的运动捕捉的数据修复方法对人脸表情进行运动捕 捉时，将与缺失点相邻的肌肉运动对缺失点修复的影响赋予不同的权值，而不 是用与缺失点相邻的肌肉的运动均值来对缺失点进行修复，即充分考虑了人脸 肌肉这种非刚性结构的运动机理，从而提高了缺失点的修复精度，减少了缺失 点修复过程中的手动干预。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本 发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护 范围之内。