一种基于注意力决策的图像视觉问答模型、方法和系统

摘要

本发明公开了一种基于注意力决策的图像视觉问答模型、方法和系统，属于开放式图像视觉问答领域。包括：信息融合模块，用于在k＝1时，融合全局图像特征g和问题特征向量q，得到融合特征向量uk；在k＝2,…,K时，融合特征向量uk‑1和图像特征向量得到融合特征向量uk；注意力决策模块，用于接收融合特征向量uk，决策出注意力框Lk，并发送给特征抽取池化模块；特征抽取池化模块，用于接收空间图像特征v和注意力框Lk‑1，得到图像特征向量答案推理模块，用于接收融合特征向量uK，推理出问题答案。本发明利用强化学习，学习特征选择的决策过程，可以自适应的选择与问题相关的视觉特征。可以端到端的训练，让学习到的特征更加具有问题针对性。