一种基于两阶段注意力的多模态信息机器翻译方法

摘要

本发明公开了一种基于两阶段注意力的多模态信息机器翻译方法。步骤1：为每个输入的文本生成通用的图像信息；步骤2：基于步骤1的通用图像信息计算图间注意力和图内注意力，即处理不同重要程度的图片和图片中对文本贡献程度的区域；步骤3：改进步骤2中图间注意力机制和图内注意力机制，使之成为带有去噪效果的、带有采样功能的注意力机制，从而采样图片中对理解上下文有帮助的图片区域；步骤4：对步骤3改进的图间注意力机制和图内注意力机制进行多模态融合，实现多任务共同学习。本发明用以解决多模态信息机器翻译场景下，不同模态信息如何融合的问题。