一种基于高效卷积神经网络的多模态融合手势识别方法

摘要

本发明公开了一种基于高效卷积神经网络的多模态融合手势识别方法，利用帧差替代光流作为额外模态并在数据层进行融合，在精度相当的前提下，大幅提高运行速度；本发明方法能够对普通摄像头捕获的手势序列进行高精度分类，可以达到每秒处理33.2个视频序列的速度，分类精度可实现与目前该数据集上最佳算法相近的效果。在虚拟/增强现实、智能驾驶等多种任务中可以得到广泛应用。