基于有限样本集的双流卷积神经网络人体行为识别方法

摘要

本发明公开了一种基于有限样本集的双流卷积神经网络人体行为识别方法，首先建立取样样本；对样本进行划分和预处理，得到即将处理的单帧视频片段和视频帧彩色光流图，然后改进双流卷积神经网络，将单帧原始图像输入到空间流卷积神经网络，用于学习视频中物体的空间特征；再将多帧光流图堆叠在一起输入到时间流卷积神经网络，用于学习视频中行为的时间特征；最后对其进行网络训练和测试；从而分别得到空间流卷积神经网络和时间流卷积神经网络对当前行为的预测标签概率特征，然后进行空间和时间的得分特征融合，最后通过综合特征判断输出识别结果。本发明解决了现有技术中存在的人体行为识别技术人力、物力耗费量大，且识别结果差的问题。