一种基于分工决策的视觉问答模型的视觉问答方法及系统

摘要

本发明属于图像问答领域，具体涉及一种基于分工决策的视觉问答模型的视觉问答方法及系统，该方法包括：获取视觉图像和待回答的问题，将视觉图像和待回答的问题输入到LRBNet模型中，得到问答结果；LRBNet模型包括视觉理解模块、文本理解模块以及交换模块；所述视觉理解模块用于得到视觉特征图，所述文本理解模块用于得到文本特征图，所述交换模块用于对视觉特征图和文本特征图进行数据交互，根据交互数据更新节点；视觉空间特征图和文本语义信息进行关联和更新，得到最终的问答结果；本发明将文本语义信息和视觉空间信息分离处理，只在最后将处理的结果融合，降低了其他VQA模型因跨模态融合而提高的推理难度。