一种基于交叉注意力机制多模态遥感图像匹配网络

摘要

多模态遥感图像之间复杂的非线性辐射失真和几何形变,给图像匹配带来了巨大的挑战。由于传统方法普遍采用人工设计的特征描述子,难以表达更深层次和更抽象的特征,在差异较大的图像间匹配结果较差。而现有的深度学习描述符不适合直接用于多模态遥感图像配准且普遍存在正确特征点提取较少,配准不稳定的问题。针对上述问题,本文提出一种基于交叉注意力机制的多模态遥感图像匹配网络。该网络利用相位一致抑制遥感图像之间的巨大差异,同时通过交叉注意力机制学习多模态图像匹配的描述符在小容量数据集上实现了神经网络的泛化训练。实验结果表明,所提算法在公开多模态遥感数据集上性能优异,且在其他领域的多模态数据上仍然有效。