多模态的深度信息融合和注意力学习的显著性检测方法

摘要

本发明公开了一种多模态的深度信息融合和注意力学习的显著性检测方法，其在训练阶段构建卷积神经网络，隐层包括RGB图神经网络块、RGB图最大池化层、RGB图上采样神经网络块、RGB图融合层、深度图神经网络块、深度图最大池化层、深度图上采样神经网络块、深度图融合层、RGB图深度图融合层、注意力机制模型；将训练集中的彩色真实物体图像和深度图像输入到卷积神经网络中进行训练，得到两幅显著性检测预测图和一幅显著性边界预测图；通过计算得到的三幅预测图各自对应的损失函数值，得到卷积神经网络训练模型；在测试阶段利用卷积神经网络训练模型对待显著性检测的图像进行预测，得到预测显著性检测图像；优点是显著性检测准确率高。