一种基于模态差异缩减的RGB-T图像语义分割方法

摘要

本发明公开了一种基于模态差异缩减的RGB‑T图像语义分割方法，包括(1)构建双向模态差异缩减子网络，对输入的RGB和热红外配准的图像对提取更具辨别力的RGB特征和热红外特征并同时构建监督学习模型：(2)构建自适应通道加权融合模块，通过加权融合模块对多层级RGB特征和热红外特征进行逐通道加权融合得到多层级融合特征；(3)获取多层级融合特征，再通过计算得到空间相关性矩阵和通道相关性矩阵；(4)将空间相关性矩阵和通道相关性矩阵通过反卷积操作恢复为全分辨率，经过通道变换操作以及softmax函数进行逐像素分类计算后预测语义分割掩膜图；(5)训练算法网络得到模型参数。