基于多流深度学习的人体行为识别方法

摘要

本发明公开了一种基于多流深度学习的人体行为识别方法，首先按分别建立基于BN‑inception网络的全局空域信息网络训练模型、局部空域信息网络训练模型和时域信息网络训练模型，并对其进行训练；之后将待识别视频V划分为S段非重叠的视频片段；之后在每个视频片段中随机提取一帧RGB图像以及RGB图像的分块图像和光流场特征，RGB图像作为对应视频片段的全局空域信息输入全局空域信息网络模型，分块图像作为对应视频片段的局部空域信息输入局部空域信息网络模型；本发明结合了全局空域信息、时域信息和局部空域信息，融合了局部时空信息，将RGB图像分成三个部分，用于提取视频帧局部的细节；同时实现了多种模态融合，提高了识别结果的准确性。