零平行语料多模态神经机器翻译方法

摘要

本发明公开了一种零平行语料多模态神经机器翻译方法，包括：利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。该方法通过利用图片与文字的内在联系，可以建立零资源语言对的神经机器翻译模型。