一种图像内容理解与视觉问答VQA方法、存储介质和终端

摘要

本发明公开了一种图像内容理解与视觉问答VQA方法、存储介质和终端，方法包括以下步骤：将图像和待回答问题输入至训练好的预测模块进行回答；所述预测模块包括顺次连接的融合注意力模块、双线性模型和分类器，所述分类器输出回答。本发明按照“对图像和问题进行特征表示、对图像和陈述性语句进行特征表示、融合特征矩阵、根据问题特征学习图像特征、根据正确陈述性语句学习图像特征、使用正确陈述性语句正确引导模型、得出结果”的思路，完成图像内容的题解与视觉问答(VQA)任务；因此提供了一种图像和问题关键词之间的密集交互的融合注意力方法，能够学习图像和文本的密集交互，从而进行图像和问题关键词之间的关系推断。