一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法

摘要

本发明为解决目前汉蒙机器翻译译文质量低、翻译效果不理想问题，提出了一种结合Bert语言模型和细粒度压缩的汉蒙翻译方法，首先，本发明从蒙古文的语言特点出发，将蒙古文数据进行词根、词缀的切分，将中文进行字粒度切分。其次，本发明采用当前比较先进的谷歌提供的已经预训练好的开源Bert语言模型，将Bert语言模型的输出直接送入每一层编码器中的Bert注意力模块中，这样可以有效把中文的语义信息融入编码器。最后，本发明结合细粒度压缩的方法，通过信息熵对信息表示进行细粒度压缩，从而达到模型加速推断的目的。本发明在进行蒙汉翻译的过程中，通过使用Bert语言模型引入更多的语义信息，使翻译准确度更高；通过使用细粒度压缩的方法使得模型能够有更快的训练速度。