基于层次多任务学习的示意图问答方法

摘要

本发明涉及图像问答技术领域，尤其涉及基于层次多任务学习的示意图问答方法，包括如下步骤：S1、对训练图像，预训练目标检测器检测图像成分，进行位置编码和视觉特征提取；S2、对训练集图像，区域特征序列作为图解析模块的输入，预测成分和成分之间的关系；S3、对训练集问题和备选答案，组成陈述句后进行词例化处理并提取语言特征，得到备选答案和问题组成的语言序列；S4、对训练集，将图解析模块的输出与语言序列拼接输入问答模块，训练网络参数；S5、对测试集图像，将图与问题、备选答案编码组成区域特征序列和语言序列。本发明将图解析模块和问答模块联合在一起，利用多层次的任务来训练，实现了基于解析和问答两个层次的多任务学习框架。