一种基于3D视频的运动手势识别方法

摘要

本发明公开了一种基于3D视频的运动手势识别方法，使用RGB摄像头、TOF摄像头采集运动手势视频数据，抽取视频的连续帧图片和光流图，结合深度信息图片，统一设计一个神经网络运动手势识别模型，使用深度学习框架进行模型训练；本发明核心在于对多源数据的整合建模，通过针对不同数据源(RGB图像、光流、深度信息)分别设计不同的网络模块，最终融合多个网络模块进行模型构建，使得模型能够充分图像数据进行共同决策预测手势，增强模型稳定性和准确率，以实现“一加一大于二”的手势识别解决方案。