基于区域时空二合一网络的动作检测方法

摘要

视频动作检测研究是在动作识别的基础上进一步获取动作发生的位置和时间信息。结合RGB空间流和光流时间流,提出了一种基于SSD的区域时空二合一动作检测网络。改进了非局部时空模块,在光流中设计了像素点筛选器来提取运动关键区域信息,只对空间流中筛选出的动作关键区域进行相关性计算,有效获得动作长距离依赖并改善非局部模块计算成本较大的缺陷,同时降低了视频背景噪声的干扰。在基准数据集UCF101-24上进行了实验,结果表明所提出的区域时空二合一网络具有更好的检测性能,视频级别的平均精度(video_AP)达到了43.17%@0.5。