基于注意力机制与双向LSTM的行为识别

摘要

采用光流作为运动特征进行行为识别需要预先计算并存储光流,需要巨大的计算成本和存储资源,并且由于光流特征主要表征了相邻帧之间的运动特征,导致行为识别中存在长依赖问题。针对这些问题,本文提出了一种新的运动特征建模方式以取代光流特征,并且提出了一种长依赖时序运动建模模块。实验结果表明,本文提出的方法在增加极低的计算成本的情况下,能更好的对远距离图像帧间的时序上下文信息建模,显著提高行为识别的准确度。