十字交叉与时空注意力在动作识别系统的实践

摘要

本文针对已有的动作网络训练方法中单种注意力机制难以捕获足够的关键信息,以及缺少综合考虑空间特征和运动特征,将两者进行有效融合的现状,提出一种结合时空注意力和十字交叉注意力的动作识别系统.首先,对视频进行预处理,获得RGB图像序列与光流图像序列,并分别提取图像特征表示;然后,将训练样本集输入到时空注意力模块和特征融合模块中训练直到网络收敛;最后,对视频进行分类.