一种基于注意力机制神经机器翻译推断加速方法

摘要

本发明公开一种基于注意力机制神经机器翻译推断加速方法，步骤为：构建训练平行语料及基于注意力机制的多层神经机器翻译的模型进行训练得到训练收敛后的模型参数；对模型中解码端自注意力、编码端自注意力以及编码解码注意力操作不同层之间计算其任意两层之间的参数相似度；若编码端与解码端上层与底层的相似度高于阈值，则上层直接使用底层的注意力权重参数进行计算；如果上层与底层的相似度高于阈值，则上层直接使用底层的注意力计算结果；将词表输入模型中进行计算，得到机器翻译词表概率分布，选取最高的词作为翻译结果。本发明能够在快速推理的最新实现基础上，该算法平均获得1.3倍的加速比，同时模型性能几乎没有下降。