基于骨架和面片插值的运动捕捉方法及装置

摘要

本发明提出一种基于骨架和面片插值的运动捕捉方法及装置，该方法包括以下步骤：重建第一三维面片模型和第二三维面片模型，并提取第一三维面片模型的第一骨架和第二三维面片模型的第二骨架；对第一骨架和第二骨架进行插值以得到第一骨架和所述第二骨架之间的中间骨架；求取第一三维面片模型与第二三维面片模型之间的变形距离场，并在变形距离场上插值点云以形成第一三维面片模型向第二三维面片模型过度的三维模型序列；和对三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。根据本发明实施例的基于骨架和面片插值的运动捕捉方法，具有快速捕捉且精度高的优点。该装置具有精度高且结构简单的优点。

说明书

技术领域

本发明涉及多媒体技术领域，特别涉及一种基于骨架和面片插值的运动捕捉方法及装 置。

背景技术

传统的运动捕捉技术主要包括戴标志的运动捕捉和不戴标志的运动捕捉。戴标志的运 动捕捉会受到极大的局限性，近年来发展快速的不戴标志的运动捕捉方兴未艾。在计算机 动画和三维建模领域面片的变形技术运用的越来越广泛。过去几十年提出的许多面片变形 技术能帮助艺术家完成人物动画的效果。其中这些技术之一是3D人体运动捕捉，这个技 术能在游戏、电影、自由视点视频、医学诊断中的运动分析和体育科学中应用。理想情况 下，人们期望捕捉人体动作具有高清晰度和沉浸式感受，具有模型表面的非刚体变形。然 而，当前的运动捕捉系统不能够满足连续运动捕捉的要求，对于高速运动的物体，大部分 已存在的系统不能够捕捉完整的动作。

在无标志的运动捕捉领域中，计算机动画领域中最重要的连续人体捕捉技术之一是基 于骨架的运动捕捉，其中骨架经常用来跟踪运动轨迹，控制形状的变形。然而，在这个领 域中大部分以前的算法只关注于骨架提取，其中运动捕捉过程需要大量人工操作。一方面 来讲，许多当前算法跟踪骨架模型是非自动的，需要强加在物体上的约束，例如纹理和二 维轮廓，在数据的处理过程中，需要用户交互，如像紧身衣和标志。在自由视点视频领域 当低速相机捕捉高速的动作时一些关键帧不可避免的丢失，这些算法经常是失败的。另一 方面来说，一些基于面片变形的算法不提供内部骨架，导致较高的时间复杂度和空间复杂 度，并且要求严格的点对点的对应关系。

运动捕捉技术在运动测量分析、人机交互、娱乐等许多领域有着广泛的应用，它是通 过记录现实中人体的运动数据来驱动计算机虚拟人或机械的运动。传统的运动捕捉方法使 用标志或者传感器来记录骨架的运动，效果比较好，但是需要穿戴紧身衣或者人工矫正记 录的数据。对于大部分系统，相机的捕捉速度一般为30fps，在捕捉高速运动或者跨度较大 的运动时，不可避免的会丢失一些关键帧，以致无法进行运动分析。为了解决中间帧丢失 的问题，提出了连续动作插值技术，其关键在于如何在两个静态的三维模型之间产生过渡 动作，而且在没有视觉信息的情况下，使得运动的过渡是自然和准确的。为此很多学者采 用了基于同构面片的插值技术。而面临的问题是对非同构的面片模型如何过渡中间的动作。

已有的连续运动捕捉方法缺点为：

1、基于每帧单独进行静态三维重建的连续运动捕捉方法，其缺点在于三维重建的复杂 度高，每帧单独进行重建的复杂度相当大；

2、基于运动跟踪的连续运动捕捉方法，优点是通过时间信息进行三维表面与三维运动 生成，速度快，但缺点是表面重建精度低。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于骨架和面片插值的运动捕捉方法。该方法 对于高速运动和大跨度运动的物体，能够快速捕捉，且精度高，并防止帧丢失的问题，从 而提高捕捉动作的精确度和高速性。

为了实现上述目的，本发明第一方面实施例的基于骨架和面片插值的运动捕捉方法包 括以下步骤：A：根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第 二三维面片模型，并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模 型的第二骨架；B：在预设的测地线优化目标函数的约束下，对所述第一骨架和所述第二骨 架进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架；C：求取第一三维面片模 型与第二三维面片模型之间的变形距离场，并在所述变形距离场上插值点云以形成所述第 一三维面片模型向所述第二三维面片模型过度的三维模型序列；和D：对所述三维模型序 列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。

根据本发明实施例的基于骨架和面片插值的运动捕捉方法，首先将两个非同构的三维 面片模型的骨架联合并自动提取，接着在测地线路径约束下插值出中间动作骨架序列，然 后采用LBS变形其中一个三维面片模型的面片，从而求取与另外一个三维面片模型之间的 变形距离场并调整距离场上的中间过渡三维模型的表面，最后对中间过渡的三维模型序列 进行滤波和重建，从而能够得到连续且清晰的高速运动物体的连续画面。该方法能够防止 帧丢失的问题，进而提高捕捉动作的精确度和高速性。另外，该方法的复杂度较低，易于 实现。

另外，根据本发明的基于骨架和面片插值的运动捕捉方法还可以具有如下附加的技术 特征：

在本发明的一个实施例中，所述步骤A中提取所述第一三维面片模型的第一骨架以及 提取所述第二三维面片模型的第二骨架，进一步包括：A1：获取所述第一三维面片模型的 第一骨架模型并计算所述第一骨架模型中每个骨骼的长度；A2：获取所述第二三维面片模 型的中轴面；A3：将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中 每个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等；A4：在所述第二骨架模 型的每个骨架上分别提取6个采样点，并在所述中轴面上分别建立每个采样点的空间邻域； 和A5：移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述 相应的空间邻域的中心。

在本发明的一个实施例中，所述步骤B中，根据黎曼度量准则对所述第一骨架和所述 第二骨架进行插值。

根据本发明的一个实施例，所述步骤B，进一步包括：B1：确定所述第一骨架模型和 第二骨架模型之间的对应的骨骼；B2：计算所述对应的骨骼之间的对应节点间的空间法线 方向n；B3：根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ)；和B4：改变 所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。

根据本发明的一个实施例，所述法线方向n＝(n_x，n_y，n_z)，所述旋转角度 R(θ)＝T^-1.M_R.T，其中，T为预设的平移矩阵，M_R(θ)＝[R₁，R₂，R₃]^T，其中，

$R_1=[n_x^2(1-\cos \theta )+\cos \theta ,n_x{n}_y(1-\cos \theta )-n_z\sin \theta ,n_x{n}_z(1-\cos \theta )+n_y\sin \theta ],$

$R_2=[n_y{n}_x(1-\cos \theta )+n_z\sin \theta ,n_y^2(1-\cos \theta )+\cos \theta ,n_y{n}_z(1-\cos \theta )-n_x\sin \theta ],$

$R_3=[n_x{n}_z(1-\cos \theta )-n_y\sin \theta ,n_y{n}_z(1-\cos \theta )+n_x\sin \theta ,n_z^2(1-\cos \theta )+\cos \theta ].$

在本发明的一个实施例中，所述步骤C，进一步包括：C1：根据Linear Blend Skinning 方法变形所述第一三维面片模型的每个面片至所述第二三维面片模型的第二骨架上；C2： 求取所述第一三维面片模型中每个面片顶点的法线方向；C3：根据所述每个面片顶点的法 线方向计算相应面片的法线平均方向；C4：沿着所述法线平均方向求取相应的面片与所述 第二三维面片模型的距离；C5：判断所述变形的第一三维面片模型的每个面片与对应的所 述第二三维面片模型的每个面片的法线方向的乘积是否大于预定阈值；C6：如果判断所述 乘积大于预定阈值，则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型 的当前面片匹配，否则所述第一三维面片模型的当前面片与对应的所述第二三维面片模型 的当前面片不匹配；C7：根据所述采样点的自由度将所述第二骨架划分类型并根据所述第 二骨架的类型对所述第二三维面片模型的面片进行类型划分；C8：在每一划分类型内判断 所述不匹配的顶点是否位于所述第二三维面片模型的第二骨架范围之内；和C9：如果判断 所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内，则沿着垂直于所述第二三 维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片模型的当前面片顶点 与所述第二三维面片模型的距离，如果判断所述不匹配的顶点位于第二三维面片模型的第 二骨架范围之外，则沿着距离所述第二骨架最近的节点与所述不匹配的第一三维面片模型 LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的距离。

根据本发明的一个实施例，所述步骤C7中对所述第二三维面片模型的面片划分为3 类。

需理解，上述实施例也可以省去步骤C7，划分的目的是为了节省计算时间，划分后， 可以直接在每一类上进行相应的操作，省去在全部面片上进行操作的目的。

在本发明的一个实施例中，所述步骤D，进一步包括：D1：根据函数 对所述三维模型序列的点云进行滤波，其中，核函数 和D2：对所述三维模型序列的点云进行泊松重建以 得到最终封闭的面片三维模型序列。

根据本发明的一个实施例，所述σ＝0.07。

在本发明的一个实施例中，所述第一三维面片模型的每个面片与第二三维面片模型的 每个面片属于非同构面片。

本发明第二方面实施例提出的基于骨架和面片插值的运动捕捉装置包括：骨架提取模 块，所述骨架提取模块用于根据多视角视频分别重建第一时刻的第一三维面片模型和第二 时刻的第二三维面片模型，并提取所述第一三维面片模型的第一骨架以及提取所述第二三 维面片模型的第二骨架；插值模块，所述插值模块用于在预设的测地线优化目标函数的约 束下，对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间 的中间骨架；重建模块，所述重建模块用于求取第一三维面片模型与第二三维面片模型之 间的变形距离场，并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第 二三维面片模型过度的三维模型序列；和优化模块，所述优化模块用于对所述三维模型序 列的点云进行滤波和重建以得到最终封闭的面片三维模型序列。

根据本发明实施例的基于骨架和面片插值的运动捕捉装置，首先骨架提取模块将两个 非同构的三维面片模型的骨架联合并自动提取，接着插值模块在测地线路径约束下插值出 中间动作骨架序列，然后重建模块采用LBS变形其中一个三维面片模型的面片，从而求取 与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面， 最后通过优化模块对中间过渡的三维模型序列进行滤波和重建，从而能够得到连续且清晰 的高速运动物体的连续画面。该装置解决了帧丢失的问题，进而提高捕捉动作的精确度和 高速性。另外，该装置结构简单，操作简单。

另外，根据本发明的基于骨架和面片插值的运动捕捉装置还可以具有如下附加的技术 特征：

在本发明的一个实施例中，所述骨架提取模块用于首先获取所述第一三维面片模型的 第一骨架模型并计算所述第一骨架模型中每个骨骼的长度；接着获取所述第二三维面片模 型的中轴面；并将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每 个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等；然后在所述第二骨架模型 的每个骨架上分别提取6个采样点，并在所述中轴面上分别建立每个采样点的空间邻域； 最后移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相 应的空间邻域的中心。

在本发明的一个实施例中，所述插值模块用于首先确定所述第一骨架模型和第二骨架 模型之间的对应的骨骼；接着计算所述对应的骨骼之间的对应节点间的空间法线方向n； 并根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ)；以及改变所述R(θ)的大小 以使所述对应的骨骼之间的对应骨节点的位移和最小。

在本发明的一个实施例中，所述重建模块用于根据LBS方法变形所述第一三维面片模 型的每个面片至所述第二三维面片模型的第二骨架上；并求取所述第一三维面片模型中每 个面片顶点的法线方向；根据所述每个面片顶点的法线方向计算相应面片的法线平均方向； 沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离；判断所述变形的 第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘 积是否大于预定阈值；如果判断所述乘积大于预定阈值，则所述第一三维面片模型的当前 面片与对应的所述第二三维面片模型的当前面片匹配，否则所述第一三维面片模型的当前 面片与对应的所述第二三维面片模型的当前面片不匹配；根据所述采样点的自由度将所述 第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划 分；接着在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二 骨架范围之内；和如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内， 则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维 面片模型的当前面片顶点与所述第二三维面片模型的距离，如果判断所述不匹配的顶点位 于第二三维面片模型的第二骨架范围之外，则沿着距离所述第二骨架最近的节点与所述不 匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模 型的距离。

在本发明的一个实施例中，所述优化模块用于根据函数 对所述三维模型序列的点云进行滤波，其中，核函数 以及对所述三维模型序列的点云进行泊松重建以得 到最终封闭的面片三维模型序列。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显 和容易理解，其中：

图1为本发明实施例的基于骨架和面片插值的运动捕捉方法的流程图；

图2为本发明一个实施例的多视角采集的环形摄像阵列排布的示意图；

图3为本发明实施例的骨架模型示意图；

图4为本发明一个实施例的三维模型的中轴面示意图；

图5为本发明实施例的计算距离场的示意图；

图6为本发明实施例的采用LBS方法的变形结果示意图；

图7为应用本发明实施例的方法的一个面片插值序列图；以及

图8为本发明实施例的基于骨架和面片插值的运动捕捉装置的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、 “后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为 基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对 本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相 对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、 “连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可 以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以 是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在 本发明中的具体含义。

以下结合图1-7首先描述根据本发明实施例的基于骨架和面片插值的运动捕捉方法。

如图1所示，为本发明实施例的基于骨架和面片插值的运动捕捉方法，根据本发明实 施例的基于骨架和面片插值的运动捕捉方法，包括以下步骤：

步骤S101，根据多视角视频分别重建第一时刻的第一三维面片模型和第二时刻的第二 三维面片模型，并提取所述第一三维面片模型的第一骨架以及提取所述第二三维面片模型 的第二骨架。

具体地，在本发明的一个实施例中，提取所述第一三维面片模型的第一骨架以及提取 所述第二三维面片模型的第二骨架，进一步包括：

S1011：获取所述第一三维面片模型的第一骨架模型并计算所述第一骨架模型中每个骨 骼的长度。

如图2和图3所示，在本发明的一个具体示例中，例如采用如图2所示的具有环形阵 列排布的20个摄像机对物体进行多视角采集。相应地，对第一时刻采集的多视角图像进行 重建从而得到第一三维面片模型，接着提取相应的第一骨架，如图3所示的第一骨架S_M。 并计算得到第一骨架S_M的每个骨骼的长度，在本发明的一个实施例中，可将每个骨骼的长 度记为cl_i。

S1012：获取所述第二三维面片模型的中轴面。在本发明的一个实施例中，例如中轴面 可以为位于第二三维面片模型中心的点集合组成的图像，如图4所示的中轴面。

S1013：将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每个骨 骼的长度与所述第一骨架模型中对应的每个骨骼长度相等；

作为一个具体的例子，例如在第二三维面片模型的骨架嵌入过程中，保证骨骼的长度 等于第一骨架中相应骨骼的长度cl_i，且有s′_i∈S′，其中，s′_i是位于骨架末端邻域的点 集，p_i是父节点位置。也就是说，如图3所示，节点0为节点1的父节点，节点1为节点 2的父节点，以此类推。

S1014：在所述第二骨架模型的每个骨架上分别提取6个采样点，并在所述中轴面上分 别建立每个采样点的空间邻域。

在本发明的一个实施例中，例如分别沿着第二骨架中各个骨骼采样6个采样点，记为 s_ij∈S，然后在中轴面中建立6个空间邻域，如记为c_j∈C。

S1015：移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于 所述相应的空间邻域的中心。

具体地，结合具体示例，例如通过改动骨节点的位置，使得改动后的骨骼位置上的采 样点s_ij∈S到相应的6个邻域中心点c_j∈C的距离最小，即最小化

步骤S102，在预设的测地线优化目标函数的约束下，对所述第一骨架和所述第二骨架 进行插值以得到所述第一骨架和所述第二骨架之间的中间骨架。

在本发明的一个实施例中，例如基于黎曼度量准则对所述第一骨架和所述第二骨架进 行插值。其具体插值可以包括如下步骤：

S1021：确定所述第一骨架模型和第二骨架模型之间的对应的骨骼。

如可以寻找两个骨架之间对应的骨骼位置，分别记为S_M和S_N，

S1022：计算所述对应的骨骼之间的对应节点间的空间法线方向n。

作为一个具体的示例，例如计算两个对应骨骼之间和对应的节点的空间法线方 向，记为n＝(n_x，n_y，n_z)。

S1023：根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ)。

旋转骨骼到对应骨骼的θ角度，即旋转角度R(θ)＝T^-1.M_R.T，其中，T是平移 矩阵，M_R(θ)＝[R₁，R₂，R₃]^T，相应地，在本发明的一个实施例中，

$R_1=[n_x^2(1-\cos \theta )+\cos \theta ,n_x{n}_y(1-\cos \theta )-n_z\sin \theta ,n_x{n}_z(1-\cos \theta )+n_y\sin \theta ],$

$R_2=[n_y{n}_x(1-\cos \theta )+n_z\sin \theta ,n_y^2(1-\cos \theta )+\cos \theta ,n_y{n}_z(1-\cos \theta )-n_x\sin \theta ],$

$R_3=[n_x{n}_z(1-\cos \theta )-n_y\sin \theta ,n_y{n}_z(1-\cos \theta )+n_x\sin \theta ,n_z^2(1-\cos \theta )+\cos \theta ].$

S1024：改变所述R(θ)的大小以使所述对应的骨骼之间的对应骨节点的位移和最小。

步骤S103，求取第一三维面片模型与第二三维面片模型之间的变形距离场，并在所述 变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维面片模型过度的三维 模型序列。

具体而言，在本发明的一个实施例中，求取第一三维面片模型与第二三维面片模型之 间的变形距离场，如图5所示，为变形距离场的计算示意图，其中，在图5中51表示第二 三维面片模型、52表示经过LBS变形的第一三维面片模型、53表示变形距离场DDF和54 表示第一三维面片模型每个面片的法线平均方向。而图6为通过图5所示方法变形后的示 意图。具体地，包括以下步骤：

S1031：根据Linear Blend Skinning方法变形所述第一三维面片模型的每个面片至所述 第二三维面片模型的第二骨架上。

S1032：求取所述第一三维面片模型中每个面片顶点的法线方向；

S1033：根据所述每个面片顶点的法线方向计算相应面片的法线平均方向，例如在本发 明的一个实施例中，该法法线平均方向例如记为n_i。

S1034：沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离；

S1035：判断所述变形的第一三维面片模型的每个面片的法线平均方向n_i与对应的所述 第二三维面片模型的每个面片的法线方向n_j的乘积是否大于预定阈值。例如判断n_i·n_j＞δ 是否为真，其中，δ为预定阈值。

S1036：如果判断n_i·n_j＞δ为真，则判断所述第一三维面片模型的当前面片与对应的 所述第二三维面片模型的当前面片匹配，否则所述第一三维面片模型的当前面片与对应的 所述第二三维面片模型的当前面片不匹配。

S1037：根据所述采样点的自由度将所述第二骨架划分类型并根据所述第二骨架的类型 对所述第二三维面片模型的面片进行类型划分。在本发明的一个实施例中，例如可以根据 每个节点的自由度将所述第二三维面片模型的面片划分为3类。

S1038：在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第 二骨架范围之内；

S1039：如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内，则沿 着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维面片 模型的当前面片顶点与所述第二三维面片模型的距离，如果判断所述不匹配的顶点位于第 二三维面片模型的第二骨架范围之外，则沿着距离所述第二骨架最近的节点与所述不匹配 的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模型的 距离。

步骤S104，对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三维模 型序列。

在本发明的具体示例中，例如可以根据函数对所述三 维模型序列的点云进行滤波，其中，核函数接着对 所述三维模型序列的点云进行泊松重建以得到最终封闭的面片三维模型序列。

在本发明的一个实施例中，例如可以令σ＝0.07。当然，本发明的实施例并不限于此， 例如σ还可以为其他值，如可以在0.01至0.1的范围内任意值。

如图7所示，为对所述三维模型序列的点云进行滤波和重建以得到最终封闭的面片三 维模型序列的示意图。明显地，最终封闭的面片三维模型序列非常清晰，具有很高的清晰 度，因此很好地解决了丢帧带来的图像模糊问题。

在本发明的一个优选实施例中，所述第一三维面片模型的每个面片与第二三维面片模 型的每个面片属于非同构面片。且每个面片为三角形面片结构。当然，本本发明的实施例 并不限于此，例如每个面片还可以为四边形面片。

根据本发明实施例的基于骨架和面片插值的运动捕捉方法，首先将两个非同构的三维 面片模型的骨架联合并自动提取，接着在测地线路径约束下插值出中间动作骨架序列，然 后采用LBS变形其中一个三维面片模型的面片，从而求取与另外一个三维面片模型之间的 变形距离场并调整距离场上的中间过渡三维模型的表面，最后对中间过渡的三维模型序列 进行滤波和重建，从而能够得到连续且清晰的高速运动物体的连续画面。该方法能够防止 帧丢失的问题，进而提高捕捉动作的精确度和高速性。另外，该方法的复杂度较低，易于 实现。

以下结合图8描述根据本发明实施例的基于骨架和面片插值的运动捕捉装置。

如图8所示，为本发明实施例的基于骨架和面片插值的运动捕捉装置的结构图。根据 本发明实施例的基于骨架和面片插值的运动捕捉装置800包括骨架提取模块810、插值模 块820、重建模块830和优化模块840。

其中，骨架提取模块810用于根据多视角视频分别重建第一时刻的第一三维面片模型 和第二时刻的第二三维面片模型，并提取所述第一三维面片模型的第一骨架以及提取所述 第二三维面片模型的第二骨架。所述插值模块820用于在预设的测地线优化目标函数的约 束下，对所述第一骨架和所述第二骨架进行插值以得到所述第一骨架和所述第二骨架之间 的中间骨架。所述重建模块830用于求取第一三维面片模型与第二三维面片模型之间的变 形距离场，并在所述变形距离场上插值点云以形成所述第一三维面片模型向所述第二三维 面片模型过度的三维模型序列。所述优化模块840用于对所述三维模型序列的点云进行滤 波和重建以得到最终封闭的面片三维模型序列。

根据本发明实施例的基于骨架和面片插值的运动捕捉装置，首先骨架提取模块将两个 非同构的三维面片模型的骨架联合并自动提取，接着插值模块在测地线路径约束下插值出 中间动作骨架序列，然后重建模块采用LBS变形其中一个三维面片模型的面片，从而求取 与另外一个三维面片模型之间的变形距离场并调整距离场上的中间过渡三维模型的表面， 最后通过优化模块对中间过渡的三维模型序列进行滤波和重建，从而能够得到连续且清晰 的高速运动物体的连续画面。该装置解决了帧丢失的问题，进而提高捕捉动作的精确度和 高速性。另外，该装置结构简单，操作简单。

在本发明的一个实施例中，所述骨架提取模块用于首先获取所述第一三维面片模型的 第一骨架模型并计算所述第一骨架模型中每个骨骼的长度；接着获取所述第二三维面片模 型的中轴面；并将第二骨架模型嵌入所述第二三维面片模型中并使所述第二骨架模型中每 个骨骼的长度与所述第一骨架模型中对应的每个骨骼长度相等；然后在所述第二骨架模型 的每个骨架上分别提取6个采样点，并在所述中轴面上分别建立每个采样点的空间邻域； 最后移动所述第二骨架模型中每个骨骼的骨节点以使所述每个骨骼的的采样点位于所述相 应的空间邻域的中心。

在本发明的一个实施例中，所述插值模块用于首先确定所述第一骨架模型和第二骨架 模型之间的对应的骨骼；接着计算所述对应的骨骼之间的对应节点间的空间法线方向n； 并根据所述法线方向确定所述对应的骨骼之间的旋转角度R(θ)；以及改变所述R(θ)的大小 以使所述对应的骨骼之间的对应骨节点的位移和最小。

在本发明的一个实施例中，所述重建模块用于根据LBS方法变形所述第一三维面片模 型的每个面片至所述第二三维面片模型的第二骨架上；并求取所述第一三维面片模型中每 个面片顶点的法线方向；根据所述每个面片顶点的法线方向计算相应面片的法线平均方向； 沿着所述法线平均方向求取相应的面片与所述第二三维面片模型的距离；判断所述变形的 第一三维面片模型的每个面片与对应的所述第二三维面片模型的每个面片的法线方向的乘 积是否大于预定阈值；如果判断所述乘积大于预定阈值，则所述第一三维面片模型的当前 面片与对应的所述第二三维面片模型的当前面片匹配，否则所述第一三维面片模型的当前 面片与对应的所述第二三维面片模型的当前面片不匹配；根据所述采样点的自由度将所述 第二骨架划分类型并根据所述第二骨架的类型对所述第二三维面片模型的面片进行类型划 分；接着在每一划分类型内判断所述不匹配的顶点是否位于所述第二三维面片模型的第二 骨架范围之内；和如果判断所述不匹配的顶点位于第二三维面片模型的第二骨架范围之内， 则沿着垂直于所述第二三维面片模型的骨骼方向求取所述不匹配的LBS变形后的第一三维 面片模型的当前面片顶点与所述第二三维面片模型的距离，如果判断所述不匹配的顶点位 于第二三维面片模型的第二骨架范围之外，则沿着距离所述第二骨架最近的节点与所述不 匹配的第一三维面片模型LBS变形后的当前面片顶点连线方向求取与所述第二三维面片模 型的距离。

在本发明的一个实施例中，所述优化模块用于根据函数 对所述三维模型序列的点云进行滤波，其中，核函数 以及对所述三维模型序列的点云进行泊松重建以得 到最终封闭的面片三维模型序列。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定 指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的 一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离 本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发 明的范围由权利要求及其等同限定。