一种基于蒸馏BERT与改进Transformer相结合的蒙汉神经机器翻译方法

摘要

一种基于蒸馏BERT与改进Transformer相结合的蒙汉神经机器翻译方法，从基于语境化的词向量预训练模型中提取静态的词向量表征，并将其输入到改进Transformer机器翻译模型的所有层进行蒙汉机器翻译。本发明从基于语境化的词向量预训练模型BERT中提取静态嵌入以达到蒸馏BERT的目的，同时尝试将蒸馏BERT的输出表征作为改进Transformer机器翻译模型的词嵌入。该方法主要针对BERT预训练词向量模型难训练、训练时间开销过大，以及Transformer机器翻译模型超参数化、需预热等问题，试图将动静态嵌入相融合的预训练模型与改进的Transformer机器翻译模型结合在一起，以达到提高蒙汉机器翻译效率、提升蒙汉机器翻译质量的目的。