一种基于双路3DCNN模型的哑语动作识别方法

摘要

本发明提供一种基于双路3DCNN模型的哑语动作识别方法，涉及计算机视觉技术领域。本发明步骤如下：步骤1：采集视频数据集；步骤2：对视频数据集进行预处理；步骤3：建立提取手势局部信息的3D卷积神经网络模型，输出手部的特征向量的集合；步骤4：建立提取整体全局信息的3D卷积神经网络模型，提取整体全局特征向量的集合；步骤5：建立双路的3D卷积神经网络模型，得出具有局部手势信息和全局整体信息的特征图谱；步骤6：得到词嵌入特征向量，将特征图谱和特征向量输入生成哑语句子的长短期记忆网络，经过迭代训练得到与哑语动作相对应的连贯句子。本方法能正确捕捉到人体的手势和肢体信息得到连贯的句子，客服了只能识别单一词汇的问题。