一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法

摘要

一种结合Meta‑KD框架和细粒度压缩的蒙汉机器翻译方法，对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分，利用Meta‑KD框架进行汉英翻译的学习，对BERT语言模型进行训练，然后根据元蒸馏算法使学生模型在元教师的指导下学习，得到用于蒙汉翻译的可迁移知识，结合细粒度压缩方法，在学生模型上进行蒙汉翻译的训练验证。本发明通过Meta‑KD的框架进行数据集的训练，更适合进行小语种的翻译，得到更准确翻译结果；而细粒度的压缩使得训练好的模型具有更快的训练速度。然后，本发明结合细粒度压缩的方法，通过信息熵对信息表示进行细粒度压缩，从而达到模型加速推断的目的。