一种基于多语言模型的低资源语言生成伪数据的方法

摘要

本发明公开一种基于多语言模型的低资源语言生成伪数据的方法，步骤为：获取小语种单语和双语数据及与其相同或邻近语系的双语数据，经预处理得到双语训练数据，进一步得到多语言模型；对小语种源语言单语数据进行预处理得到单语训练数据；对单语训练数据进行解码得到小语种目标语言单语伪数据；对目标语言单语伪数据和源语言单语训练数据进行处理得到双语伪数据，与目标语到源语多语言模型的训练数据进行整合并处理得到新的目标语到源语双语训练数据，最终迭代到模型性能不再提升为止。本发明将小语种相同或邻近语系的双语数据融入到模型训练中，不仅增大了模型训练的数据量，而且将同语系或邻近语系的语言特征融合到模型之中，从而提升模型性能。