基于对比解耦元学习的非特定人的手语翻译方法和系统

摘要

本发明公开了一种基于对比解耦元学习的非特定人的手语翻译方法和系统，属于手语翻译领域。分别用多个特定手语者和未知手语者标记的手语视频‑目标句子对来训练模型，为了适应非特定人的条件，本发明提出新的框架—对比解耦元学习，该框架在模型架构和训练模式上都进行了改进，通过解耦模块分离编码器中的特定手语者特征和特定任务特征，消除了与翻译任务无关的信息，传统方法中均没有考虑这一点。此外，还利用获得的特定任务特征和已生成单词的自注意表示计算对比约束来促进帧‑词对齐，通过解耦和对比约束为彼此提供互补信息。利用细粒度策略对模型进行训练，在多种手语者自适应场景下同时进行元学习，能够对未知的手语者提供准确的翻译结果。