基于知识感知的模块化视觉推理方法及装置

摘要

本发明公开了一种基于知识感知的模块化视觉推理方法及装置，其中，该方法包括：获取图片，并获取图片对应的提问文本；对提问文本进行动态解析生成多个神经网络模块；将多个神经网络模块变换为树状结构神经网络模块，并对树状结构神经网络模块进行实例化处理生成知识感知神经网络模型；对图片进行视觉特征处理得到图片特征，将图片特征输入知识感知神经网络模型，并输出提问文本对应的答案。该方法针对特定的问题来进行动态组装，形成自下而上的树状模块化结构，可用于在真实图片上进行动态的视觉推理。