一种运动捕捉的数据降噪方法、系统及运动捕捉系统

摘要

本发明公开了一种运动捕捉的数据降噪方法，包括以下步骤：采集多个标记点的两帧或两帧以上运动图像数据，并根据采集的运动图像数据追踪多个标记点分别在各帧中的控制点所形成的运动轨迹；对多个标记点的运动轨迹分别采用低阶B样条曲线进行拟合，生成与多个标记点的运动轨迹分别一一对应的多条逼近曲线，该多条逼近曲线即为多个标记点分别的运动轨迹降噪后的运动轨迹。应用本发明实施例提供的运动捕捉的数据降噪方法对人脸表情运动进行捕捉时，保留了标记点运动轨迹的细节数据信息、实时性强。

说明书

技术领域

本发明属于运动捕捉技术领域，尤其涉及一种运动捕捉的数据降噪方法、系统及运动捕捉系统。

背景技术

近年来，随着计算机图形学(Computer Graphics，CG)产业的飞速发展，运动捕捉日趋成熟，成为目前广泛应用的能够真实再现运动物体运动细节的技术。运动捕捉是一种用于准确测量运动物体在三维空间运动状况的技术，其基于计算机图形学原理，通过排布在空间中的数个视频捕捉设备采集运动物体的运动图像，之后对该运动图像的图象数据进行处理，以还原运动物体的空间运动状况。而人脸表情运动捕捉作为应用于人体的运动捕捉的一个分支，是将运动捕捉应于人脸表情动画制作的技术，其广泛应用于虚拟现实、影视制作、游戏娱乐和计算机动画等领域。

传统的人脸表情运动捕捉由于数个视频捕捉设备采集到的运动图像由于校准误差、电子噪声、传感器或采集的标记点跳动等原因而不可避免的存在噪声，使得应用传统的人脸表情运动捕捉得到的图像数据不光滑，不能直接驱动3D几何模型。

为此，现有技术提供了一种应用于运动捕捉领域的运动捕捉的数据降噪方法，该方法是基于B样条小波的刚体运动的降噪方法，主要去除存在于捕捉的刚体运动数据的高幅值噪声，而对于低幅值的噪声几乎没有影响，去噪不彻底。同时直接采用高阶B样条曲线降噪的实时性差，易于丢失图像数据细节信息。

发明内容

本发明实施例的目的在于提供一种运动捕捉的数据降噪方法，以解决现有技术提供的应用于运动捕捉领域的运动捕捉的数据降噪方法主要去除存在于捕捉的刚体运动数据的高幅值噪声，对低幅值噪声无影响，且高阶B样条曲线降噪实时性差，易于丢失图像数据细节信息的问题。

本发明实施例是这样实现的，一种运动捕捉的数据降噪方法，所述方法包括以下步骤：

采集多个标记点的两帧或两帧以上运动图像数据，并根据采集的所述运动图像数据追踪所述多个标记点分别在各帧中的控制点所形成的运动轨迹；

对多个标记点的所述运动轨迹分别采用低阶B样条曲线进行拟合，生成与

所述多个标记点的运动轨迹分别一一对应的多条逼近曲线，所述多条逼近曲线即为所述多个标记点分别的所述运动轨迹降噪后的运动轨迹。

其中，所述方法在所述对多个标记点的所述运动轨迹分别采用低阶B样条曲线进行拟合的步骤之前，还可以包括以下步骤：

识别标记点对应的所述运动轨迹上，需要进行预处理的控制点；

采用中值滤波法对识别出的所述控制点进行预处理。

进一步地，所述识别标记点对应的所述运动轨迹上，需要进行预处理的控制点的步骤具体可以为：计算标记点对应的运动轨迹上，各相邻控制点之间的平均距离，当控制点与其相邻两点之间的距离均大于或等于预存的阈值时，相应的控制点为需要进行预处理的控制点；所述计算标记点对应的运动轨迹上，各相邻控制点之间的平均距离的步骤表示为：

$k=\frac{\underset{i=1}{\overset{n}{\Sigma }}{P}_{i-1}{P}_i}{n}$

其中，P_i-1为一控制点列中的前一点，P_i为所述控制点列中的当前点，k为所述控制点列相邻控制点之间的平均距离，n为所述控制点列中的控制点数，i为正整数且1≤i≤n。

更进一步地，当所述当前点P_i为识别出的需要进行预处理的所述控制点时，所述采用中值滤波法对识别出的所述控制点进行预处理的步骤可以表示为：

${P_i}^{\prime }=\frac{P_{i-1}+P_{i+1}}{2}$

其中，P_i′作为所述当前点P_i的插值点，P_i+1为与所述当前点P_i相邻的后一点。

另外，所述对多个标记点的所述运动轨迹分别采用低阶B样条曲线进行拟合，生成与所述多个标记点的运动轨迹分别一一对应的多条逼近曲线的步骤可以包括以下步骤：

计算运动轨迹上控制点的个数，并计算得到的所述控制点的个数与所述低阶B样条曲线的阶数的差值，得到低阶B样条曲线的分段数m，所述分段数m为大于或等于1的自然数；

根据预设的型值点数以及计算得到的所述分段数m计算前m-1段所述低阶B样条曲线分别包含的型值点数；

将预设的型值点数与计算得到的所述前m-1段所述低阶B样条曲线分别包含的型值点数之和做差，得到所述第m段所述低阶B样条曲线包含的型值点数；

根据计算得到的所述低阶B样条曲线各段的型值点数，计算控制点对应的基函数，并根据控制点对应的所述基函数生成所述m段低阶B样条曲线上的型值点位置，所述生成的型值点首尾顺次连接即为与相应标记点的运动轨迹对应的逼近曲线。

进一步地，所述计算控制点对应的基函数的步骤可以表示为：

$F_{k,n}\left(t\right)=1/n!\underset{j=0}{\overset{n-k}{\Sigma }}{(-1)}^j{C}_{n+1}^j{(t+n-k-j)}^n$

其中，F_k，n(t)为控制点对应的基函数，n为所述低阶B样条曲线的阶数，k为自然数，且有0≤k≤n，i为低阶B样条曲线的段数的序号，假设每段B样条曲线的型值点个数为l，p为自然数，且有0≤p≤l，t为p与型值点个数l的比值，j为自然数，且有0≤j≤n-k；

所述根据控制点对应的所述基函数生成所述m段低阶B样条曲线上的型值点位置的步骤表示为：

$P_{i,n}\left(t\right)=\underset{k=0}{\overset{n}{\Sigma }}{P}_{i+k}{F}_{k,n}\left(t\right)$

所述P_i，n(t)为所述m段低阶B样条曲线上的型值点位置。

上述低阶B样条曲线为三阶B样条曲线或准均匀三阶B样条曲线。

本发明实施例的另一目的在于提供一种运动捕捉的数据降噪系统，所述系统包括：

信号采集模块，用于采集多个标记点的两帧或两帧以上运动图像数据；

轨迹追踪模块，用于根据所述信号采集模块采集的所述运动图像数据追踪所述多个标记点分别在各帧中的控制点所形成的运动轨迹；以及

拟合模块，用于对多个标记点的所述运动轨迹分别采用低阶B样条曲线进行拟合，生成与所述多个标记点的运动轨迹分别一一对应的多条逼近曲线，所述多条逼近曲线即为所述标记点分别的所述运动轨迹降噪后的运动轨迹。

其中，所述系统还可以包括：

数据修复模块，用于对所述轨迹追踪模块追踪到的控制点所形成的所述运动轨迹进行数据修复；以及

预处理模块，用于所述数据修复模块修复后的运动轨迹采用中值滤波法进行预处理；

所述拟合模块是对多个标记点的经所述预处理模块预处理后的运动轨迹分别采用低阶B样条曲线进行拟合，生成与所述多个标记点的运动轨迹分别一一对应的多条逼近曲线，所述多条逼近曲线即为所述标记点分别的所述运动轨迹降噪后的运动轨迹。

本发明实施例的另一目的在于提供了一种运动捕捉系统，包括置于运动物体上的多个传感器，以及一运动捕捉的数据降噪系统，所述运动捕捉的数据降噪系统是如上所述的运动捕捉的数据降噪系统；所述信号采集模块是通过接收所述多个传感器的信号，来采集运动物体上多个标记点的两帧或两帧以上运动图像数据的。

应用本发明实施例提供的运动捕捉的数据降噪方法对人脸表情运动进行捕捉时，由于采用了低阶B样条曲线对标记点的运动轨迹进行降噪处理，相对于现有技术提供的B样条小波的曲线拟合降噪方法，去除了低副值噪声。相对于直接采用高阶B样条曲线拟合降噪方法，既保证了降噪效果又保留了标记点运动轨迹的细节数据信息、实时性强。另外，还可以在采用了低阶B样条曲线对标记点的运动轨迹进行降噪处理前，对标记点的运动轨迹采用了预处理操作去除冲击噪声，进一步保证了降噪效果。

附图说明

以下通过附图及具体实施例对本发明进行详细说明。

图1是本发明实施例提供的运动捕捉的数据降噪方法的流程图；

图2是图1中步骤S102的具体流程图；

图3是应用本发明实施例提供的运动捕捉的数据降噪方法在预处理前后高低阶曲线的拟合降噪效果图；

图4是本发明实施例提供的运动捕捉的数据降噪系统的结构原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的运动捕捉的数据降噪方法的流程。

在步骤S101中，采集多个标记点的两帧或两帧以上运动图像数据，并根据采集的运动图像数据追踪该多个标记点分别在各帧中的控制点所形成的运动轨迹。其中的运动图像数据可以是多个标记点在运动图像上的位置，具体可以是在标记点的x、y、z轴的坐标。

在步骤S102中，对多个标记点的运动轨迹分别采用低阶B样条曲线进行拟合，生成与多个标记点的运动轨迹分别一一对应的多条逼近曲线，该多条逼近曲线即为多个标记点分别的运动轨迹降噪后的运动轨迹。

应用本发明实施例提供的运动捕捉的数据降噪方法对人脸表情运动进行捕捉时，由于采用了低阶B样条曲线对标记点的运动轨迹进行降噪处理，相对于现有技术提供的高阶B样条小波的曲线拟合降噪方法，保留了标记点运动轨迹的细节数据信息、实时性强。

然而，单纯采用低阶B样条曲线对标记点的运动轨迹进行降噪处理，会使得降噪后的标记点运动轨迹不够光滑，为此，本发明实施例在步骤S102之前，还可以包括对多个标记点对应的运动轨迹分别采用中值滤波法进行预处理的步骤，具体为：识别标记点对应的运动轨迹上，需要进行预处理的控制点；采用中值滤波法对识别出的控制点进行预处理。

更具体地，识别标记点对应的运动轨迹上，需要进行预处理的控制点的步骤还可以包括以下步骤：计算标记点对应的运动轨迹上，各相邻控制点之间的平均距离，当控制点与其相邻两点之间的距离均大于或等于预存的阈值时，相应的控制点为需要进行预处理的控制点；采用中值滤波法对识别出的控制点进行预处理的步骤还可以包括以下步骤：将与需要进行预处理的控制点相邻两点的位置的平均值作为相应的控制点的插值点，并用该插值点替换相应的控制点。

为了便于理解，下面以一标记点的控制点列P_j(j为自然数)为例说明该预处理过程：假设该控制点列相邻控制点之间的平均距离为k，则识别标记点对应的运动轨迹上，需要进行预处理的控制点的步骤还可以包括以下步骤可以表示为：

$k=\frac{\underset{i=1}{\overset{n}{\Sigma }}{P}_{i-1}{P}_i}{n}$

其中，n为控制点列P_j中的控制点数，i正整数且1≤i≤n，此时，假设预存的阈值为1.3k，则当时，P_i即为需要进行预处理的控制点。对控制点P_i采用中值滤波法进行预处理的步骤可以表示为：

${P_i}^{\prime }=\frac{P_{i-1}+P_{i+1}}{2}$

之后，将P_i′作为P_i的插值点，即完成了对该标记点的运动轨迹进行预处理的过程，如图3示出了应用本发明实施例提供的运动捕捉的数据降噪方法在预处理前后高低阶曲线的拟合降噪效果。

此外，采集到的运动图像会由于出现位置重叠、遮挡以及其它原因而使得标记点的位置很难重构而形成运动图像数据的缺失，为此，本发明实施例在步骤S102之前，还可以包括以下步骤：对追踪到的控制点所形成的运动轨迹进行数据修复。则此时对多个标记点的运动轨迹分别采用低阶B样条曲线进行拟合的步骤，和/或对多个标记点对应的运动轨迹分别进行中值滤波法进行预处理的步骤具体是在进行过数据修复的图像数据基础上进行的。

本发明实施例中，如图2所示，步骤S102具体还可以包括以下步骤：

在步骤S201中，计算运动轨迹上控制点的个数，并根据该控制点的个数计算得到低阶B样条曲线的分段数m，m为大于或等于1的自然数。该低阶B样条曲线的分段数m具体为计算得到的控制点的个数与该低阶B样条曲线的阶数的差值，假设numofCtrPts为一标记点相应的运动轨迹上控制点的个数，sizeofSpline为该低阶B样条曲线的阶数，则有：m＝numofCtrPts-sizeofSpline。

在步骤S202中，根据预设的型值点数以及计算得到的分段数m计算前m-1段低阶B样条曲线分别包含的型值点数。假设n为前m-1段B样条曲线中每段包含的型值点数，numofGetPts为预设的型值点数，则有：

在步骤S203中，将预设的型值点数与计算得到的前m-1段低阶B样条曲线分别包含的型值点数之和做差，得到第m段低阶B样条曲线包含的型值点数。

在步骤S204中，根据计算得到的该低阶B样条曲线各段的型值点数，计算控制点对应的基函数，并根据该控制点对应的基函数生成m段低阶B样条曲线上的型值点位置，该生成的型值点首尾顺次连接即为与相应标记点的运动轨迹对应的逼近曲线。

具体地，假设F_k，n(t)为控制点对应的基函数，则计算控制点对应的基函数的步骤可以表示为：

$F_{k,n}\left(t\right)=1/n!\underset{j=0}{\overset{n-k}{\Sigma }}{(-1)}^j{C}_{n+1}^j{(t+n-k-j)}^n$

其中，n为低阶B样条曲线的阶数，k为自然数，且有0≤k≤n，i为低阶B样条曲线的段数的序号，假设每段B样条曲线的型值点个数为l，p为自然数，且有0≤p≤l，t为p与型值点个数l的比值，j为自然数，且有0≤j≤n-k。

在计算得到的控制点对应的基函数后，根据该控制点对应的基函数生成m段低阶B样条曲线上的型值点位置P_i，n(t)的步骤可以表示为：

$P_{i,n}\left(t\right)=\underset{k=0}{\overset{n}{\Sigma }}{P}_{i+k}{F}_{k,n}\left(t\right)$

优选地，低阶B样条曲线具体为三阶B样条曲线，具体实现时，可以不限于三阶B样条曲线而为二阶B样条曲线，或四阶B样条曲线或四阶以上的B样条曲线，当然，阶数越高，则降噪后的运动轨迹对应的逼近曲线的平滑性越好。进一步地，由于三阶B样条曲线各段的两端点不经过控制点，也不邻近控制点相连构成的运动轨迹，为了使得得到的B样条曲线各端的两端点经过控制点，优选地，低阶B样条曲线为准均匀三阶B样条曲线。

图3示出了本发明实施例提供的运动捕捉的数据降噪系统的结构原理，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例提供的运动捕捉的数据降噪系统包括：信号采集模块11，用于采集多个标记点的两帧或两帧以上运动图像数据；轨迹追踪模块12，用于根据信号采集模块11采集的运动图像数据追踪该多个标记点分别在各帧中的控制点所形成的运动轨迹；数据修复模块13，用于对轨迹追踪模块12追踪到的控制点所形成的运动轨迹进行数据修复；预处理模块14，用于数据修复模块13修复后的运动轨迹采用中值滤波法进行预处理；拟合模块15，用于对多个标记点的经预处理模块14预处理后的运动轨迹分别采用低阶B样条曲线进行拟合，生成与多个标记点的运动轨迹分别一一对应的多条逼近曲线，该多条逼近曲线即为多个标记点分别的运动轨迹降噪后的运动轨迹。

具体地，预处理模块14可以包括：识别模块141，用于识别数据修复模块13修复后的运动轨迹上，需要进行预处理的控制点；中值滤波模块142，用于采用中值滤波法对识别模块141识别出的控制点进行预处理。

具体地，拟合模块15可以包括：第一计算模块151，用于计算经数据修复模块13修复后的运动轨迹上控制点的个数，并根据该控制点的个数计算得到低阶B样条曲线的分段数m；第二计算模块151，用于根据预设的型值点数以及第一计算模块151计算得到的分段数m计算前m-1段低阶B样条曲线分别包含的型值点数；第三计算模块153，用于将预设的型值点数与第二计算模块151计算得到的前m-1段低阶B样条曲线分别包含的型值点数之和做差，得到第m段低阶B样条曲线包含的型值点数；第四计算模块154，用于根据第三计算模块153计算得到的该低阶B样条曲线各段的型值点数，计算控制点对应的基函数，并根据该控制点对应的基函数生成m段低阶B样条曲线上的型值点位置，该生成的型值点首尾顺次连接即为与相应标记点的运动轨迹对应的逼近曲线。

其中，识别模块141、中值滤波模块142、第一计算模块151、第二计算模块152、第三计算模块153、第四计算模块154分别的计算步骤如上所述，在此不再赘述；其中的数据修复模块13或预处理模块14在具体实现时还可以省略。

优选地，低阶B样条曲线具体为三阶B样条曲线，具体实现时，可以不限于三阶B样条曲线而为二阶B样条曲线，或四阶B样条曲线或四阶以上的B样条曲线，当然，阶数越高，则降噪后的运动轨迹对应的逼近曲线的平滑性越好。进一步地，由于三阶B样条曲线各段的两端点不经过控制点，也不邻近控制点相连构成的运动轨迹，为了使得得到的B样条曲线各端的两端点经过控制点，优选地，低阶B样条曲线为准均匀三阶B样条曲线。

本发明实施例还提供了一种运动捕捉系统，包括置于运动物体上的多个传感器，以及一如上所述的运动捕捉的数据降噪系统，其中的信号采集模块此时是通过接收该多个传感器的信号，来采集运动物体上多个标记点的两帧或两帧以上运动图像数据的，具体地，该信号采集模块11可以是一红外摄像机。

应用本发明实施例提供的运动捕捉的数据降噪方法对人脸表情运动进行捕捉时，由于采用了低阶B样条曲线对标记点的运动轨迹进行降噪处理，相对于现有技术提供的B样条小波的曲线拟合降噪方法，去除了低副值噪声。相对于直接采用高阶B样条曲线拟合降噪方法，既保证了降噪效果又保留了标记点运动轨迹的细节数据信息、实时性强。另外，还可以在采用了低阶B样条曲线对标记点的运动轨迹进行降噪处理前，对标记点的运动轨迹采用了预处理操作去除冲击噪声，进一步保证了降噪效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。