一种基于注意力机制的非对称多模态融合显著性检测方法

摘要

本发明公开了一种基于注意力机制的非对称多模态融合显著性检测方法。输入原始立体图像的RGB图和深度图进卷积神经网络中进行训练，得到相应的显著性检测图；再通过计算模型生成的显著性检测图构成的集合与对应的真实人眼注视图构成的集合之间的损失函数，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；将选定数据集中的立体图像输入到训练好的卷积神经网络模型中，得到显著性检测的图像。本发明采用非对称的编码结构充分提取RGB和深度图特征，加入内部感知模块后有效利用RGB丰富的图像信息，加入通道和空间注意力机制，增强了显著性区域和显著性特征的表达，提高了视觉显著性检测的检测准确度。