基于关键帧采样的小样本深度学习多模态手语识别方法

摘要

基于关键帧采样的小样本深度学习多模态手语识别方法，该方法实现步骤是：多模态数据输入，选择RGB彩色视频数据，深度数据以及光流数据作为多模态数据源；手部分割，基于多个彩色空间RGB，YCrCb和HSV的肤色检测提取出人脸和手，再根据深度数据和人体骨骼坐标剔除人脸像素的影响；提出并采用一种新的基于手部骨骼数据和光流的关键帧采样方法；数据增强；基于均匀采样数据的数据的残差神经网络R(2+1)D训练；提出并利用跨模态模型数据对关键帧采样的数据R(2+1)D微调网络训练；多模态融合。本发明成功在小样本中国手语数据库DEVISIGN‑D上首次使用深度学习的方法，并且针对该手语词库进行较为准确的识别，其精确度超过了以往的传统方法，取得了目前最优的效果。