基于深度神经网络对图像语义进行理解和问答的方法

摘要

本发明提供了一种基于深度神经网络对图像语义进行理解和问答的方法包括：根据已有图像数据集，使用带动态参数层的卷积神经网络提取给定图像特征信息，然后在知识库中对图像进行信息检索获取给定图像的外部知识；对检索到的外部知识使用Doc2Vec进行编码转换成固定大小的向量形式；将需要提出的问题和图像检索信息联合，作为输入放到神经网络的门控循环单元GRU中进行训练；把训练得到的候选权重通过hashing转换映射到卷积神经网络的动态参数层；在全连接层后添加一个分类层得到各种问答的答案，并将分类精度作为评价准则；基于多种实验基准，再使用WUPS评价准则进行评估，得到最终的图像问答结果。