基于自适应多模态遥感图像融合语义标注方法及系统

摘要

本发明涉及一种基于自适应多模态遥感图像融合语义标注方法及系统，首先对多个模态的遥感图像依次进行特征提取和拼接处理；其次基于拼接特征图集合，对通道随机失活处理，获得随机失活特征图集合；再次基于第一卷积特征图集合中各像素点进行全局语义标注；然后基于第二卷积特征图集合对通道维度进行通道语义标注；最后将标注后的位置输出特征图集合和维度输出特征图集合进行加权融合以及卷积处理，获得融合标注图像。本发明对输入的多模态通道进行随机失活，以模拟在实际情况下的部分模态缺失情形，提高模型的泛化能力和鲁棒性。另外，本发明将通道语义标注与全局语义标注相结合，提高了对图像上下文信息融合标注的准确性。