一种基于语义推断和图像理解的遥感影像定位方法及系统

摘要

本发明提出了一种基于语义推断和图像理解的遥感影像定位方法及系统，在图像理解方面，首先利用faster‑rcnn对遥感影像进行特征提取，再根据提取出的候选区域视觉特征、位置特征建立场景结构图；在语言推断方面，先利用双向LSTM提取句子特征；其次，引入attention机制，在句子特征的指导下生成新的视觉场景图注意力，利用此注意力更新后的场景图，得到视觉语言场景图；再次，将视觉语言场景图作为新的指导信息，指导语言注意力更新，直至迭代结束；计算所述最终视觉语言联合结构图特征与句子特征匹配程度，所得分数最高的区域就是最终检测结果，并将预测的区域进行前景背景区分，得到目标分割效果，能在给定遥感影像中寻找到语言所指代的物体。