基于梯度边界图和多模卷积融合的动作识别方法及系统

摘要

本发明公开了一种基于梯度边界图和多模卷积融合的动作识别方法及系统，包括步骤：S1.基于原始视频构造连续帧集；S2.计算连续帧集中相邻两帧图像间的梯度边界值，从而获得梯度边界图集；S3.计算连续帧集中相邻两帧图像间的帧间光流，从而获得光流图集；S4.以原始视频的代表帧、梯度边界图集和光流图集为输入，采用卷积神经网络获得原始视频的多模CNN特征；S5.融合原始视频的多模CNN特征，得到融合特征；S6.基于融合特征，采用动作分类算法进行动作识别。本发明增加了梯度边界图这一重要的动作时空信息，并提出了多模数据卷积融合方法，保证了多模时空特征融合的一致性，提升了视频中人体动作特征描述精确性，提高了人体动作识别率。