一种基于多模态分层级信息融合的手语词识别方法

摘要

本发明公开了一种基于多模态分层级信息融合的手语词识别方法，该方法包括：以彩色视频、深度视频和骨骼节点视频三种模态的关键帧序列作为网络输入，构建一个双流I3D网络提取彩色视频和深度视频特征，通过特征拼接融合双模态语义特征，再使用LSTM构建长期时空特征，使用SoftMax进行分类评分；同时使用DST‑GCN网络提取骨骼节点视频的时空特征，再使用SoftMax进行分类评分；最终通过决策级融合方式将两个SoftMax层的预测分数进行融合，得到手语词识别结果。本发明所提出的基于多模态分层级信息融合的手语词识别方法，通过构建分层级融合策略，充分利用了多模态数据互补信息；通过构建DST‑GCN网络，增强了时空图卷积网络时间特征提取能力，进而提高了手语词识别的准确率。