一种基于对数位置表示和自注意力的机器翻译新模型

摘要

在机器翻译任务中,自注意力机制由于高度可并行化的计算能力而减少了模型的训练时间,并且可以有效地捕捉到上下文中所有单词之间的语义相关度而受到了广泛的关注.然而,不同于循环神经网络,自注意力机制的高效源于忽略上下文单词之间的位置结构信息.为了使模型能够利用单词之间的位置信息,基于自注意力机制的机器翻译模型Transformer使用正余弦位置编码方式表示单词的绝对位置信息,然而,这种方法虽然能够反应出相对距离,但却缺乏方向性.文中将对数位置表示方法与自注意力机制相结合,提出一种机器翻译新模型.该模型不仅继承了自注意力机制的高效性,还可以保留单词之间的距离信息与方向性信息.研究表明,与传统的自注意力机制模型以及其它模型相比,文中所提新模型能够显著地提高机器翻译的准确性.