基于尺度注意力空洞卷积网络的视频动作检测方法

摘要

本发明公开了基于尺度注意力空洞卷积网络的视频动作检测方法。本发明方法首先对视频采样获得帧图像序列并根据片段位置标记获得视频片段，然后分别构建层尺度注意力动作片段模型和构建帧位置注意力动作识别模型，根据上述模型并结合分水岭算法依次获得帧图像的加权特征表示和视频片段所属动作类别，完成视频动作检测任务。本发明方法利用空洞卷积网络提取能更好反映视频数据时间维度和空间维度本征结构的时空运动信息，通过层尺度注意力更恰当地刻画视频帧的时序上下文关系随尺度大小变化的内在关联，设计的帧位置注意力机制为动作片段的视频帧赋予更准确表征动作片段关键内容的权重，提高了视频动作检测的精度，提升了动作检测的效率。