一种基于场景图高阶语义结构的视觉关系检测方法及装置

摘要

本发明提出一种基于场景图高阶语义结构的视觉关系检测方法及装置，算法包括预测图片中所有物体的类别和位置，输出每个物体所对应的视觉特征向量，对检测出的所有物体中的每两个进行配对操作，基于配对结果，提取联合视觉特征向量，对位置进行编码得到位置编码；将所述所有物体的类别输入层级语义聚类算法，经过处理得到每个物体对应的高层语义特征向量；对所述层级语义聚类算法的输出进行语义编码；生成关系分类器权重；将所述视觉特征向量、所述联合视觉特征向量和所述位置编码合并为统一的特征向量，利用所述关系分类器权重对所述统一的特征向量进行点乘操作，最终得到每两个物体之间的关系条件概率，作为场景图。