基于自适应时空注意力机制的端到端行为识别方法及系统

摘要

本发明属于行为识别领域，提供了一种基于自适应时空注意力机制的端到端行为识别方法及系统。为解决行为识别精度差的问题，该行为识别方法包括接收视频的图像序列；利用行为识别模型对视频的图像序列进行处理并输出行为识别结果；行为识别模型包括时间注意力模块和主卷积神经网络，主卷积神经网络中嵌入了空间注意力模块；利用时间注意力模块按照每帧图像的关键性为视频的图像序列中的每一帧图像自适应分配一个权重，将时间注意力模块的输出结果输入至主卷积神经网络中进行行为识别；在主卷积神经网络识别行为的过程中，利用空间注意力模块将主卷积神经网络对行为的识别聚焦于运动相关区域，以快速准确地获取行为识别结果。