多机制合并注意力的多路径神经机器翻译方法

摘要

注意力机制是目前神经机器翻译的主流技术,目前已提出了多种注意力生成机制,各机制生成的注意力各有优劣,但每种机制都不能充分利用全部已知信息,其结果和理论上的真实注意力具有一定差距,影响翻译质量。本文提出一种基于民主决策的合并注意力生成方法,将多种注意力生成机制所产生的注意力进行加权叠加与归一化后,所生成的值作为新的注意力,用于指导解码器的翻译过程。类似民主决策会比独断专行的决策获得更好的决策准确度,该机制可以获得相对更为准确的注意力,进而提升翻译质量。基于上述方法,本文在CNN、Transformer、Tree Transformer三个算法的基础上,生成合并注意力,提出MA-CTT算法,在开放德英语料(IWSLT14)上,MA-CTT获得了32.61的BLEU,翻译准确度明显高于各基础算法。