基于时空显著性行为注意力的双流网络行为识别方法

摘要

基于时空显著性行为注意力的双流网络行为识别方法，属于机器视觉领域。该方法采用了一种基于时空双流网络的网络架构，称作时空显著性行为注意力网络ST‑SAMANet。针对传统双流网络直接输入RGB帧和光流帧导致内存消耗大、冗余信息过多的问题，本发明引入关键帧机制，以获得帧间的最大差异性，显著减少时间网络的内存消耗。此外，在网络中，帧上存在大量的特征冗余以及背景扰乱，极大地影响网络的性能。本发明在网络中引入Mask R‑CNN技术，高度关注每个行为类别中的人体和物体，对每个帧上的显著性区域进行特征提取。最终利用双向LSTM和C3D网络分别对时空进行编码以获得完善的时空信息，提高了行为识别模型的鲁棒性。