基于VGG网络的双波段图像融合方法

摘要

cqvip:针对红外与可见光图像中物体信息具有各自优点的情况,提出了基于VGG网络的红外与可见光图像融合方法来提高对夜间或复杂背景情况下的物体检测识别能力。首先将图像分别输入到一个经过训练得到的VGG网络中,经过不同的卷积层提取各自的特征图;然后将特征图经过ZCA白化处理,去除冗余信息;再通过归一化处理,将特征图的维度降到二维,并通过双三次插值法将其缩放到与源图像尺寸一致;最后通过加权取平均得到融合后的图像。实验结果表明,本文的方法在第四和第五层卷积得到的融合结果优于前三层的融合结果。同时,本文融合方法与其他3种融合方法相比视觉效果较好,在标准差、平均梯度、相关系数、熵值等评价指标上分别平均提升了12.79%、11.04%、9.94%和2.54%,并且在融合时间上保持在1秒以内。这说明该方法融合效果较好,速度较快,能够较多地保留红外与可见光图像信息和较好地提升目标的显著性。