基于语义嵌入的零样本视觉问答方法

摘要

本发明公开了一种基于语义嵌入的零样本视觉问答方法，包含以下步骤：收集若干词汇构成词汇集合；对收集到的词汇集合中的词汇进行编码得到每个词汇的词向量并构建词向量库S，词向量库S包含每个词汇以及其对应的词向量；提取待识别图像的视觉特征R；提取和待识别图像相对应的问题的语言特征E；将视觉特征R和语言特征E进行关系建模并输出预测词向量C；通过计算获得词向量库S中与预测词向量C相匹配的词汇。本发明的基于语义嵌入的零样本视觉问答方法，提供一种新的视觉问答技术，在不扩大训练数据集规模的前提下，在现实场景中应用时，可以给出不存在于训练数据集中的答案。