一种通用的跨模态遥感信息关联学习方法

摘要

针对“异质鸿沟”问题导致的不同模态遥感信息间相似性难以度量的问题,构建并公开了一个包含4种模态信息的跨模态遥感数据集,并基于不同模态信息间潜在的语义一致性,提出了一种通用的跨模态遥感信息关联学习方法。利用深度神经网络的表征能力,分别对图像类信息和序列类信息设计各模态信息的特征学习网络,实现对不同模态高层语义信息的准确表示;设计了一个新的关联学习损失函数对模态内的语义一致性和模态间的互补性进行限制,利用知识蒸馏的思想,以先融合后迁移各模态间信息的方式增强模态间的语义相关性。在构建的数据集上进行实验,结果表明,所提方法平均精度均值达到70%,超过基准方法。