基于时间注意力机制和双流网络的实时行为识别方法

摘要

本发明提供了一种基于时间注意力机制和双流网络的实时行为识别方法，包括：1)将视频拆分成图像帧，并按高帧率采样；2)使用卷积神经网络对抽取的图片进行特征提取；3)使用通道注意力机制对通道数据加权；4)使用时间注意力机制对图片帧加权；5)按时间注意力加权结果在低帧率路径采样；6)在卷积层中通过多次侧向连接将高帧率路径特征融合到低帧率路径；7)融合两条路径最终的特征向量；8)对UCF‑101数据集的行为识别数据进行训练建模，对测试集进行识别得到准确率结果。从实验结果可以看到，本发明针对行为识别在主流数据集上提高了测试结果的精度。