基于注意力机制的自然语言视觉推理方法

摘要

本发明提供了一种基于注意力机制的自然语言视觉推理方法。主要包括一个语言解析处理和三个视觉处理模块，首先，输入语言表达式，利用one‑hot编码、BiLSTM编码等进行处理，并据此计算三个视觉处理模块用的短语嵌入表示和权重；然后，利用Mask R‑CNN检测器对输入图像进行目标检测，并将其检测结果分别输入到主语模块、位置模块和关系模块，每个模块分别计算其匹配得分；最后，计算三个模块匹配得分的加权和作为总体匹配得分，以总体匹配得分最高的候选对象作为语言表达式描述的对象，输出其位置框，完成图像的视觉推理。本发明具有更好的上下文信息理解力，且能够处理多种结构的表达式。