一种面向神经机器翻译的数据选择及训练方法

摘要

本发明公开一种面向神经机器翻译的数据选择及训练方法，步骤为：构建单语语料库；对单语语料进行清洗过滤、分词、子词切分预处理，作为训练数据；使用训练数据通过语言模型微调预训练模型；将两种语言的单语数据输入编码，比较编码的两种单语的向量相似度，将相似度最高的两句并入伪双语数据中，构建伪平行语料；使用预训练模型的分词和子词切分方法处理伪平行语料，使用预训练模型初始化神经机器翻译框架的编码器参数；使用处理后的伪平行语料对神经机器翻译模型进行预训练；使用真正的双语数据微调神经机器翻译模型。本发明解决了低资源语言双语数据不足的问题，将预训练模型应用于神经机器翻译模型中，加快模型的收敛速度，提高模型的鲁棒性。