基于关系视觉注意机制的场景图产生方法

摘要

本发明公开了一种基于关系视觉注意机制的场景图产生方法，主要解决现有技术中冗余的关系预测与可解释性较差的问题。其实现方案是：1)通过目标检测得到图像中的目标的类别与边界框，并进行全连接关系图建立；2)通过分析数据集，对关系图进行稀疏化，得到稀疏关系图表示；3)通过交替迭代学习关系注意力转移函数，分别从主语、宾语依靠并集特征转移到发生关系处，学习到准确的关系表征；4)对于学习到的关系表征进行分类，并组合成最终的场景图。本发明利用两目标发生关系的内在联系，建立关系注意力机制准确地关注于发生关系的区域，实现了场景图的准确产生，提高了网络的可解释化性，可用于图像描述与视觉问答任务。