基于运动视频的周期运动检测方法

摘要

本发明公开一种基于运动视频的周期运动检测方法，通过对周期运动视频的运动物体进行分析，得到运动部分的运动矢量表；通过对视频中提取出来的运动模式区域进行匹配而实现最佳匹配，从而确定每一帧中的运动模式；运动模式匹配后，通过对运动场景进行分类分别采用基于轨迹和基于区域的方法滤除非周期运动而保留周期运动。最后通过对周期运动进行合格性判断而达到对运动进行计数的目的。本发明具有实时特性，针对不同的运动情形，有效识别率达到了95%，具有良好的应用表现。

说明书

技术领域

本发明涉及的是一种运动视频处理的方法，具体是一种基于运动视频的周期运动检测方法。

背景技术

运动视频分析在视频检索、运动训练、视频编辑等领域具有重要的应用。基于视频的运动捕捉在视频监控过程中不需要与被监控者有直接接触，很容易让被监控者所接受，具有广泛的应用。

经过对现有技术的文献检索发现，已有很多不同的运动视频分析算法被提出。A. Ekin, A. Tekalp, and R. Mehrotra在《IEEE Trans.Circuits and Systems for Video Technology, vol. 12, no. 7, 2003.》（电气电子工程师协会电路与系统期刊视频技术学报2003年11月12日7号刊）第796页到807页上发表的“Automatic Soccer Video Analysis and Summarization”（自动足球比赛视频分析和汇总）论文中提出一种基于目标特征的足球视频自动分析和汇总的框架。该框架包括一些低级的视频处理方法，包括主色区域检测、镜头边界检测以及镜头分类等，也包括一些高级的目标检测方法，包括裁判检测、禁区检测等。目前各方法主要是针对球类运动应用，很少有研究对体育运动中的周期性特性进行检测分析，而周期运动的检测和分析在实际的应用中有广阔的应用前景。

发明内容

本发明针对以上不足，结合实际体育运动训练中的需求，提出一种基于运动视频的周期运动检测方法，有效对周期运动视频进行检测，本发明首先确定运动视频每帧中的运动模式，然后确定运动模式，在此基础上针对不同情形对周期运动进行检测，不仅可以实时对周期运动视频进行检测并计数，而且可以有效地对周期运动动作的合格性进行判断。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步：确定运动模式

对由静止摄像机拍摄的运动视频的帧图像序列进行帧差处理，将得到的帧差图像作阈值化处理，得到物体的运动边缘；采用运动历史图像（MHI）算法提取出运动视频中的运动前景；计算该运动前景中各个运动部件相对于图像帧的运动矢量，得到各个运动部分的运动矢量表。

第二步：运动模式匹配与运动模式滤波

通过颜色空间和相对位置等特征向量对本帧中的运动物体与上帧中的运动物体进行相似性度量，达到最佳匹配，从而确定当前帧的运动模式。运动模式匹配后，分两种情形提取周期运动模式、滤除非周期运动模式。对于较容易获取运动模式的周期运动场景，采用基于轨迹分析的策略，即将各条轨迹与预定的标准周期运动模式轨迹进行相似性比较，从而滤除非周期运动而保留周期运动轨迹；对于不易提取运动模式的复杂周期运动场景，采取基于区域的滤波策略，即在每一帧中选取具有区分意义的运动区域，并对该区域的特征矢量进行分析，通过与预定的周期运动规则比较而达到滤除非周期运动、保留周期运动模式的目的。

第三步：周期运动检测和计数 

通过对周期运动的合格性进行判断，并对周期运动进行计数，将周期运动每一帧的特征向量与合格的周期运动判决条件进行比较，当该周期运动对各个判决条件的符合度超过了某个阈值，就判断该周期运动是合格的运动，否则即为不合格，不予计数；其中对于时间满足性的判断，通过采用循环移位的优化算法每次只更新一位数值来降低复杂度。

对于具有空间要求的周期运动（例如举哑铃运动），对得到的各条周期运动轨迹进行合格性判断。分析各个判决条件，如果该周期运动对各个判决条件的符合度之和超过某个阈值，就判定该运动具有空间满足性，是合格的周期运动，否则即为不合格周期运动；对于具有时间要求的周期运动（例如举重规则要求杠铃在最高处保持至少3秒钟），基于运动特征向量采取循环移位的方法判断时间满足性。在成功判别周期运动的状态后对该运动进行相应的计数工作。

本发明的原理是，由静止摄像机拍摄的运动视频，在运动的过程中背景保持基本不变，因此采用帧差法可以得到相邻两帧的变化部分，即运动物体的边缘。由于运动背景受光照、摄像机采样干扰等环境因素影响，相邻两帧的背景存在少许差异，故采用阈值化处理排除较小的运动部件；得到各个运动部件的轮廓之后，采用运动历史图像（MHI）的方法提取出每一帧中的运动物体，即运动前景。将得到的每一帧中的运动部分分别与前面一帧进行相似性匹配，通过最佳匹配而获得物体的运动模式。对于较为简单的运动场景（如举哑铃运动），结合运动物体相对于视频帧的运动坐标，获得运动物体的轨迹。为排除由于干扰影响而存在的非周期运动，需要判断视频帧中的运动是否是所需要的周期运动，将各条运动轨迹与标准的周期运动模式轨迹进行匹配，以判断运动物体的运动状态，从而得到符合周期运动条件的运动轨迹（基于轨迹的周期运动轨迹识别）；对类似于举重等较为复杂的周期运动，在运动过程中，难以对特定的部分（如杠铃）进行跟踪，选取具有区分意义的区域，并将该区域中的运动特征矢量作为跟踪矢量来判断运动的周期性（基于区域的周期运动识别）。通过基于轨迹和基于区域的周期运动滤波策略滤除非周期运动，得到周期性运动部分。在此基础上分析周期运动的有效性，判断该周期运动是否达到了合格标准。将周期运动分为基于空间和基于时间两种类型，分别对周期运动在空间和时间的满足性进行判断。在上述步骤基础上即可以对周期运动进行相应的计数。

本发明根据周期运动本身的特点和周期运动合格性的判定准则，实现了对周期运动视频实时检测、作出合格性判断并进行计数的目的。在各种实验条件下，该方法的平均成功率达到了95%，具有良好的应用性。

附图说明

图1是周期运动例图。

图2是本发明方法对周期运动检测以及计数的实施流程图。

图3是本发明中基于运动历史图像的运动模式提取结果。

图4是本发明中不同质量周期运动的示意图（以举哑铃为例）。

图5是本发明中对具有时间要求的周期运动的示例（以举重为例）。

图6是对具有空间要求的周期运动的一个周期的分解图（以举哑铃为例）。

图7是本发明中对具有空间要求的运动的合格性判断。

图8是对具有时间要求的周期运动的一个周期的分解图（以举重为例）。

图9是本发明中对具有时间要求运动进行时间判断的轨迹图。

图10是循环移位方式对有时间要求的周期运动进行时间判断的示意图。

图11分别是未满足空间和时间要求的周期运动动作（以举重为例）。

图12是本发明中未达到空间和时间要求的运动的轨迹图。

图13是举哑铃运动的运行结果。

图14是举重运动的运行结果。

具体实施方式

下面是对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示，本实施例包括以下步骤：

第一步、采用帧差法对从静止摄像机拍摄得到的周期运动视频进行处理，对得到的差分图像                                                作阈值化处理，得到物体的运动边缘。

其中是视频的当前帧，是当前帧的前一帧，是判断运动是否是由光照变化、摄像机采样等环境因素变化而引起的微小扰动的一个阈值。

使用物体的运动边缘得到视频的运动历史图像（MHI）。

其中运动历史图像，是当前时间戳，是当前跟踪的最大持续时间，是影像掩码，运动发生的地方具有非零像素。

采用运动模板方法得到运动前景后，如图3所示，对提取出的运动前景计算各个运动部分相对于图像帧的运动矢量，得到各个运动部件的运动矢量表。

第二步、为了在当前帧中寻找本帧中的运动物体在前一帧中的位置，需要进行运动模式匹配，这里采取如下的运动模式匹配策略：

这里是当前帧t时刻的运动模式区域，在前一帧t-1时刻的运动模式匹配区域，是a,b两帧在第j个特征通道上的相似性度量因子，是第j个特征通道在相似性匹配中所占有的加权系数，在本发明中采用颜色和位置信息作为特征通道。

运动模式匹配后，分两种情况提取周期运动并滤除非周期运动：

1.      对于较容易获取运动模式的周期运动场景，采用基于轨迹的策略滤除非周期运动而保留周期运动。

这里是的第K个轨迹点，L是周期运动的预定轨迹，是点L和轨迹P之间的距离，是阈值，在此阈值之内将认为该点是周期运动的轨迹点，否则即为非周期运动轨迹点。

2.   对于不易提取运动模式的复杂周期运动场景（例如举重运动），采取基于区域的滤波策略，即在每一帧中对具有区分意义的运动区域进行跟踪，可用下式表示：

这里R(M)是预定的对区域中运动模式具有区分意义的特征矢量，会随着不同的运动场景而自适应选取，是一个阈值，如果该特征矢量达到该阈值标准，就认为该运动模式是所需要检测的周期运动。例如在举重运动中，整个举重动作较为复杂的，但当运动员将杠铃举过一定高度后，整个运动视频中只有杠铃是具有最高运动的部分，此时最高运动点将成为最为关注的部分，此时将检测到的最高点的运动模式区域作为有区分意义的运动区域，将最高点的处的运动坐标作为特征矢量。

第三步、为了判断周期运动动作的合格性，采用下式：

这里是判断运动动作是否合格的标志，是的描述信息，如果采取基于轨迹的滤波策略，就是的轨迹；如果采取基于区域的滤波策略，就是具有区分意义的运动模式区域的特征向量。是第j个判定动作是否合格的准则，如果合格，就为1，反之为0；是一个阈值，当条件超过了这个阈值，就判定动作合格；是用来计数的判定参数，针对不同场景应用数值不同。

对于举哑铃运动而言，采用基于轨迹的滤波方法，采用下面的式子作为判决条件：

这里是当前的运动状态，是处于上升还是下降状态的标志；是的竖直位置， 和 是两个界限阈值，分别代表上限和下限，在本例中。如图4，图5，图6当哑铃动作先后满足上面两个式子后，即可以判断为一个合格动作已经完成。

对于举重动作，除了与哑铃运动一样具有空间要求外，还必须保证杠铃在最高处停留超过一定的时间（3秒钟），如图5、图8、图9、图11、图12所示，采用下面的式子作为时间要求的判决条件：

这里t是当前帧的序号，J是考察范围内的总帧数，在本例中（25帧/秒3秒），%是取余操作，此操作采取循环移位更新的方法每次只更新一个数值，因而可以减少复杂度，如图10所示。是前面帧状态及其前面帧状态的累计和的最大值，当与当前帧及其前面帧累计和之差超过了某一阈值，就表示杠铃已经被放下，这样可以防止由于杠铃在最高处保持时间过长而引起的重复计数。当一个计数完成后，将所有的计数器恢复到初始默认状态，开始新一个计数周期。

实施结果

依据上述步骤，分别对两个测试视频集进行检测，一个来自哑铃训练视频（Set A1, Set A2 Set A3），为保证方法的可靠性，每一段视频均采用了不同的测试者、不同的运动物体作为试验对象；另一段来自于一段实际的举重比赛视频（set B），该视频中拍摄了在同一个比赛场地中由不同的运动员使用不同的杠铃进行举重比赛的整个过程。

所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R) Core(TM)2 Duo CPU E75002.93GHz，内存2GB。

在举哑铃运动试验中，如图13，当测试集Set A1时，正确识别率为100%，当测试集Set A2时，正确识别率为100%，当测试集为Set A3时，正确识别率为97.67%。对于三个测试视频集，平均检测时间是0.001秒，最长检测时间是0.001秒，具有良好的实时工作表现及高的识别率。

在举重试验中，如图14，选取了一共有31个举重动作的片段，这些动作具有不同的属性（未成功举起、成功举起但保持时间不够、成功等状态），其中正确识别率为93.55%，平均检测时间为0.8秒，最长检测时间为1.2秒，具有良好的实时工作表现及很高的识别率。