一种基于多模态深度特征融合的视觉问答方法及其模型

摘要

本发明公开了一种基于多模态深度特征融合的视觉问答方法，包括以下步骤：(1)使用卷积神经网络和长短时记忆网络分别获取图像和文本两种模态数据特征，然后利用获取的图像和文本两种模态数据特征进行模态内部和模态间的注意力建模；(2)构建注意力网络并将注意力层串联堆叠，其中两种模态特征相互作为注意力权重学习的参考进行更深度的特征交互；(3)通过多模态融合函数融合注意力加权后的图像信息和文本语义，并将融合特征传入分类器结合答案文本数据预测结果。除此之外本发明还公开了一种基于多模态深度特征融合的视觉问答模型。本发明相较于现有方法具有稳定性好、预测准确率更高、实验硬件环境要求更低等优点。