连续视频中的实时动作发现与时域分割

摘要

连续动作的时域分割在计算机视觉领域是一个长期存在的问题.本文针对人机交互过程中对动作时域分割的及时性和在线性要求,提出了一种基于模板的识别框架.对于一个不断产生新的帧的在线视频序列,该方法可以一个包含在模板内的动作完整出现后,根据当前已知的前序视频序列,立即将其发现并分割,无需等待后续内容,从而可以保证人机交互的及时性.该方法通过基于鞅框架的算法提取视频的关键帧,然后沿着关键帧对前序帧进行回溯并形成对应的动作历史图像MHI,接着通过对MHI相对于模板动作的包含率计算和分析筛选出可能的动作段,最后依据MHI与模板的相似度实现最优的分割.在IXMAS数据集上,该方法的动作平均发现率达到了88％,平均准确率达到了76％,平均总计算时间只需要1.19s,而平均帧数为1240.