序列-序列模型注意力机制模块基本原理探究

摘要

编码器-解码器注意力矩阵一直都被认为是传统的神经机器翻译模型(例如基于循环神经网络的模型)学习到的词对齐。然而,通过实验证明了,对于Transformer这一结论并不成立。通过比较Transformer与基于循环神经网络的模型,研究发现了2种模型中注意力机制的本质上的2个区别。基于这个观察,提出了2种能够让Transformer的注意力机制学习到词对齐的方法。实验结果证明了本文提出的方法的有效性,可使Transformer既能学习到很好的词对齐,也能够提升机器翻译的性能。