基于多语言协同的连续手语识别系统

摘要

本发明公开了一种基于多语言协同的连续手语识别系统，使用一个公共的视觉特征编码器提取特征表达，对于不同的语种的手语，使用不同的时序建模网络(即目标序列模型)学习对应手语语言特性。使用一个共享的时序编码器(即共享序列模型)来表达不同手语语种之间相同的视觉模式，并由语种嵌入向量进行初始化，通过多语种协同训练，实现在单一框架下多语种手语识别，并充分挖掘不同手语之间的视觉共性，提升手语识别性能。