融合文本和图片特征的多模态机器翻译方法

摘要

本发明涉及融合文本和图片特征的多模态机器翻译方法，属于自然语言处理技术领域。本发明在编码端使用MultimodelMixup对齐输入的文本特征和视觉特征，然后通过自注意力机制从不同的模态中生成文本的上下文表示，之后采用了LayerMixup不断从图片中提取有用的信息；最后在第六层输出被混合好的特征作为解码器的输入。然后输出层使用线性变换和softmax函数去预测最大概率生成的句子。本发明采用Multi30K数据集来训练模型。实验结果表明，在三个测试集上本方法模型是目前多模态机器翻译中准确率最好的。