基于多尺度细节的孪生卷积神经网络图像融合算法

摘要

图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量.针对这一任务,本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法.首先,使用孪生卷积神经网络学习图像特征,并以此获得包含源图像显著特征的权值映射图.随后,使用改进的滚动引导滤波对图像进行多尺度分解,结合信息熵使滚动引导滤波权重参数自适应化来实现多尺度自适应分解,并结合非线性映射增强图像细节信息.最后,采用局部能量与权值图相结合的自适应调整融合模式对多尺度图像进行融合.经实验对比,所提方法能够避免出现图像边缘圆晕效应,且能够更好地突出图像边缘、细节纹理特征.另外,与其他算法相比,本文所提出的算法在平均梯度、信息熵、视觉信息保真度以及空间频率等客观评价指标项上均取得了更优的性能表现.