融合多模态特征的多流行为识别网络

摘要

针对当前行为识别网络抗干扰能力不足和单一特征难以鲁棒性的表达行为的问题,本文提出了一种融合多模态特征的多流行为识别网络模型。首先,利用三维神经网络来提取RGB视频帧的表观特征和光流帧的运动特征,并利用注意力机制学习重要信息的权重。同时,本文引入了一个姿态网络来建模人体姿态序列的时空特征,弥补表观特征和运动特征对行为表达能力的不足。最后通过对三种特征的学习来实现行为识别。本文在JHMDB数据集上进行实验验证,结果表明我们的方法优于当前大多数先进的方法。