一种基于依存树句法增强机制的神经机器翻译方法

摘要

本发明涉及一种基于依存树句法增强机制的神经机器翻译方法，属于自然语言处理机器翻译技术领域，解决了现有多头自注意力网络无法有效发挥冗余自注意力头作用的技术问题。本方法构建的依存树，利用依存矩阵作为掩码来对不存在直接依存关系的词汇之间的注意力进行建模。同时，本方法提出了一种动态的、轻量级的冗余头激活策略，精确地识别了并在句法层面上激活了Tranformer编码器端的冗余头，提升了多头注意力网络中注意力头的运行效率。本方法通过句法增强的注意力机制模拟了重要头的特定功能，相比于现有的改进的自注意力方法，在测试集上的提升效果更为明显。