一种基于双流结合网络的人体行为识别方法及系统

摘要

本公开公开的一种基于双流结合网络的人体行为识别方法及系统，包括：获取行人视频并划分帧，提取行人视频中每帧的RGB图像和光流图像；将光流图像和RGB图像输入双流结合模块中，获取关键帧下的RGB‑OF图像；将RGB‑OF图像输入卷积神经网络中对人体行为进行识别；其中，双流结合模块包括关键帧自适应区分模块和基于光流的注意力模块，通过关键帧自适应模块确定关键帧下的光流图像和RGB图像，通过基于光流的注意力模块确定关键帧下RGB图像的空间注意力权重，根据关键帧下的光流图像和RGB图像及关键帧下RGB图像的空间注意力权重，获得关键帧下的RGB‑OF图像。关键帧下的RGB‑OF图像充分整合了RGB图像和光流图像中的动作信息，用于人体行为识别时，具备良好的识别效果。