基于域适应互增强的多模态图像语义分割

摘要

为解决可见光/红外(RGB-IR)双模态图像语义分割任务中模态间特征对不齐的问题,提出一种基于域适应互增强的多模态语义分割方法,在语义分割任务上辅助以可见光图像和红外图像相互之间的域适应转化来对齐不同模态的特征。针对模态内信息对不齐的问题,提出一种多级特征聚合对齐模块来聚合及对齐不同层级的特征。通过在两个夜间街景RGB-IR双模态语义分割数据集上进行相关实验,验证所提方法达到了当前最优性能,设计了大量消融实验验证了模型各部分的有效性。