VAE-Fuse:一种无监督的多聚焦融合模型

摘要

在多聚焦图像融合问题中,为了尽可能多地保留原始图像信息并提升图像融合的质量,首先结合变分自编码器结构及无参考图像清晰度评价指标中的灰度方差乘积函数,设计了一种基于无监督学习的双阶段图像融合网络;然后在训练阶段,提出使用多尺度结构相似度作为损失函数并引入了总偏差损失对图像中存在的噪声进行抑制;接着构建了一种基于变分自编码器结构的编码器-解码器网络进行原始图像的重构任务训练;再次在融合阶段,使用训练好的编码器对待融合图像进行特征编码后,使用改进的灰度方差乘积函数方法进行清晰像素的判别任务;最后通过数学形态学优化处理后生成最终的决策图,采用加权融合策略完成图像的最终融合。实验结果表明,此方法虽然采用了更少的模型参数,但是在编码解码过程中保留了更多的原始图像信息,在像素判别过程中优于传统的基于空间频率的判别方法。在与多种具有代表性的图像融合方法相比中,所提出的方法在主观和客观评价方面均取得了先进的融合性能。