基于知识蒸馏的维汉神经翻译模型解码速度提升方法

摘要

神经机器翻译模型性能显著提升,但网络结构复杂、参数量庞大导致解码速度慢的问题,使其难以部署到计算资源受限的平台上,从而实时地处理所需数据。针对该问题,提出一种基于知识蒸馏的数据增强方法来提升模型的解码速度。以低资源维汉数据集为例,利用知识蒸馏实现对模型的精简,提升解码速度;调整教师模型的输出得到更多词间相似信息的软标签数据集来扩充原始数据集,提升翻译精度;设计评估实验进行验证,结果表明学生模型超过教师模型翻译精度的前提下,解码速度提升1.05倍,参数模型压缩2.44倍。