一种基于多模态特征融合的RGB-D图像语义分割方法

摘要

本发明属于计算机视觉领域，具体涉及一种基于多模态特征融合的RGB‑D图像语义分割方法。由于RGB和深度特征的内在差异，如何更有效地融合两种特征仍是有待解决的问题。为了解决该问题提出了注意力引导多模态交叉融合分割网络(ACFNet)，本发明采用编码器－解码器结构，将深度图编码为HHA图像，设计非对称双流特征提取网络，RGB和深度编码器分别以ResNet‑101和ResNet‑50为主干网络，并在RGB编码器中添加全局‑局部特征提取模块(GL)。为有效融合RGB和深度特征，提出了注意力引导多模态交叉融合模块(ACFM)，以更好地在多阶段利用融合的增强特征表示。