一种基于3D‑CNN和卷积LSTM的手势识别方法

摘要

本发明公开一种基于3D‑CNN和卷积LSTM的手势识别方法，首先，通过时间抖动策略对输入3D‑CNN的视频长度进行归一化；归一化后的视频作为输入，被馈送至3D‑CNN用来学习手势的短期时空特征；基于3D‑CNN提取的短期时空特征，通过两层卷积LSTM网络学习手势的长期时空特征，用以消除复杂背景对手势识别的影响；之后，所提取的长期时空特征经过空间金字塔池化层(SPP‑Layer)降低特征维度，同时提取得到的多尺度特征被馈送入网络的全连接层；最后，经过后期多模态融合的方法，平均融合不用网络的预测结果，从而得到最终的预测分数。本发明通过同时学习手势的时间和空间特征，进而通过不同的网络将短期时空特征和长期时空特征结合起来，并用批量归一化的方法训练网络，提高了手势识别的效率和精确度。