基于改进双流时空网络的人体行为识别

摘要

针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题,提出一种基于改进双流时空网络的人体行为识别算法.首先利用时间移位思想,使卷积神经网络对视频中的时序关系建模,从而高效地捕捉视频中的时空信息;同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题;在此基础上构建了一个包含时空表观信息流和时空运动信息流的双流网络结构;最后,采用加权平均的方式融合双流网络,得到最终的识别结果.在UCF101和HMDB51数据集上分别进行了实验,识别准确率为96.3％和77.7％,实验结果表明,与传统双流网络方法相比,识别准确率得到了一定的提升,验证了本文算法能够有效捕捉视频中的时序关系,增强网络的特征表达能力,提高对时序依赖较大的行为和近似行为的辨识能力.