一种基于时空特征融合深度学习网络的视频行为识别方法

摘要

本发明公开了一种基于时空特征融合深度学习网络的视频行为识别方法采用独立的两个网络分别提取视频的时间和空间信息，每个网络都在CNN的基础上加入了LSTM学习视频时间信息，并以一定的策略将时间、空间信息融合。FSTFN比Tran提出的不引入时空网络的网络模型在数据集上准确率提升了7.5％，比普通双流网络模型数据集上准确率提升了4.7％且对视频采用分段的方式，每一个视频样本采样多个片段，输入CNN和LSTM组成的网络，通过覆盖整个视频的时间范围，解决了视频行为识别存在的长时依赖问题，在CNN末端引入视觉注意力机制，降低非视觉主体在网络模型中的权值，提高了视频图像帧中视觉主体的影响力，较好地利用了视频的空间特征。