多机制合并注意力的多路径神经机器翻译方法

摘要

本发明涉及一种多机制合并注意力的多路径神经机器翻译方法，属于自然语言处理领域。本发明由CNN翻译机制、Transformer翻译机制、Tree‑Transformer翻译机制独自生成自身的注意力值，并将计算出来的注意力值进行加权累加，然后对齐并进行归一化形成新的注意力值，并传送给解码器的Dec‑Enc attention layer，使各翻译机制完成后续的机器翻译过程得到解码key‑value矩阵。采用各机制生成的解码key‑value矩阵进行加权叠加与归一化，通过线性变换层和softmax层，生成目标译文。本发明的多机制注意力叠加并归一化的过程，可以有效集成多种算法的分析能力，所形成的注意力和理论的真实注意力更加贴近，从而获得更好的翻译效果，可以有效提高翻译的准确度。