一种基于知识图谱的语义分割图像实体关系推理方法

摘要

本发明提出了一种基于知识图谱的语义分割图像实体关系推理方法，该方法包括：1)通过FCN网络进行改进，实现对视觉图像语义分割，得到知识图谱中的实体特征(节点)；2)通过一种视觉外观模型对视觉图像特征实体间关系进行检测，得到节点间的关系特征；3)对稀疏知识图谱进行构建，将知识图谱的语义信息采用向量嵌入的方式加载，结构信息转变为向量之间的关系；4)通过图消息传递机制获得目标头尾实体特征结果，作为特征结果1；5)在确定目标头尾实体后，同时利用实体链接算法确定外接知识库的目标实体；6)使用图卷积神经网络在外接知识库中获取增强信息特征结果，作为特征结果2；7)使用双注意力机制对特征结果1和特征结果2进行融合，得到融合特征结果，将不同的融合特征与候选关系结合，计算每个候选关系的阶段性值，通过评分函数计算评分，得到最终的推理预测关系结果，补全图像实体间的关系。