基于混合神经网络的手势动作识别互动系统及方法

摘要

本发明公开了基于3D CNN和RNN混合神经网络的投影手势动作识别互动方法及系统，首先通过深度相机获取手部的深度图像视频、彩色图像视频、和红外图像视频，将这些视频进行进行格式的统一，后将这些视频文件分组送入3DCNN(三维卷积神经网络)的网络进行视频的动作学习后输出图像特征，后需要用RNN(递归神经网络)网络进行循环训练，最终输出识别结果。本发明能够得到手部信息的深度信息，能够提升识别的准确率，在自己搭建的数据集上达到了最先进的性能，结合3DCNN和RNN混合神经网络，融合效果较以往CNN+RNN的算法效果有较大提升。