基于交互场景下的手语识别方法

摘要

本发明涉及一种基于交互场景下的手语识别方法，包括下列步骤：构建交互场景的对话文本数据库；构建交互场景的手语视频数据库；训练交互场景对话预测模型和手语视频识别网络；通过训练好的交互场景对话预测模型和手语视频识别网络，得到当前对话的预测结果和手语视频识别关键词信息；然后使用相似度匹配算法，将全部预测结果的对话模板与手语视频识别关键词组合得到手语关键词预测句子，然后将手语关键词预测句子和语言模型预测句子进行余弦相似度计算，将得到的相似度最高的结果作为对话的预测结果中与当前手语识别关键词匹配度最高的结果，并将结果返回。