基于超分辨率重构的多聚焦图像融合算法

摘要

由于目前光学镜头的景深限制，当拍摄场景中有物体不在景深范围内时，这些物体无法清晰显示，从而导致拍摄出的照片部分模糊部分清晰，不能很好的给计算机视觉等应用提供高质量的图片。为了解决这一问题，首先我们采用可变焦的摄像头拍摄出多张同一场景不同聚焦点的图像，再使用多聚焦图像融合技术将多张多聚焦图像融合成一张全聚焦图像，使得融合图像中各物体都清晰，从而为后续应用提供高质量图片。目前，多聚焦图像融合技术在医学成像、侦察设备、信息安全等领域都发挥着日益重要的作用。　　多聚焦图像融合算法主要分为基于变换域的融合方法和基于空间域的融合方法。基于变换域的融合方法主要有基于金字塔变换的方法，基于小波变换的方法和多尺度几何分析方法；基于空间域的融合方法主要有基于像素的融合方法，基于块的融合方法和基于区域的融合方法。近年来，由于神经网络的快速发展，且基于神经网络的图像融合方法比传统多聚焦图像融合方法更加稳健，CNN、GAN等开始在多聚焦图像融合技术中得到广泛应用。这些基于深度学习的多聚焦图像融合方法，大多数都需要依靠外部数据集或已训练好的模型。　　本论文对多聚焦图像融合算法展开了研究，为了解决目前多聚焦图像融合算法中存在的问题，本文进行了以下研究：　　① 提出了一种基于超分辨率重构的多聚焦图像融合算法。该算法首先分别使用ZSSR对两张多聚焦图像进行超分辨率重构，得到两张重构图像；其次分别计算多聚焦图像和其重构图像的结构相似性；再次比较两个结构相似性矩阵得到融合图像决策图；最后采用小区域覆盖、形态学处理方法去优化决策图，并通过决策图对两张多聚焦图像进行融合，从而得到一张全聚焦图像。通过多聚焦图像融合算法的对比实验发现，该方法具有更好的融合效果，融合出的图像质量更高。　　② 提出了一种基于抠图模型的多聚焦图像融合算法。算法中首先将两张多聚焦图像进行加权平均融合得到融合图像，并对其进行超分辨率重构(ZSSR)得到重构图像；其次假定重构图像和两张多聚焦图像符合局部线性函数关系，根据局部线性模型求出线性函数的系数，并根据获得的线性函数的系数计算出抠图模型的参数α；再次采用 8 邻域寻找出小面积的连通区域，使用小区域覆盖方法优化参数α，使得α矩阵能清晰的区分出图像的聚焦区域和离焦区域。最后采用引导滤波去平滑α的聚焦区域和离焦区域的交界部分，并通过α对两张多聚焦图像进行融合操作，得到一张全聚焦图像。本文首先对算法参数进行对比实验，选出了最优的参数值，然后做了多聚焦图像融合算法的对比实验，实验发现本方法相比于其它多聚焦图像融合算法能更好的区分出聚焦区域和离焦区域，降低过渡区域的不平滑性，提高融合图像的质量。　　本文提出的两种多聚焦图像融合算法稳定可靠，对噪声图像具有良好的处理效果，可以为其它的多聚焦图像融合方法提供思路，推动多聚焦图像融合技术的发展。

目录

1 绪论

1.1 研究的背景和意义

1.2 国内外研究现状

1.3.1论文研究内容

1.3.2论文结构安排

2 多聚焦图像融合基础理论

2.1多聚焦图像原理

2.2像素级图像融合方法

2.2.1变换域方法

2.2.2空间域方法

2.3多聚焦图像融合质量评价

2.3.1主观评价方法

2.3.2客观评价方法

2.4本章小结

3 基于超分辨率重构的多聚焦图像融合方法

3.1引言

3.2.1 超分辨率重构

3.2.2卷积神经网络

3.2.3 基本思想

3.2.4融合算法的流程

3.3实验结果与分析

3.4本章小结

4 基于抠图模型的多聚焦图像融合算法

4.1引言

4.2.1盒式滤波

4.2.2基本思想

4.2.3融合算法的流程

4.3.1参数设置

4.3.2实验结果

4.4本章小结

5 总结和展望

5.1总结

5.2展望

参考文献

附录

A. 作者在攻读学位期间发表的论文和取得的科研成果

B. 作者在攻读学位期间参加的科研项目

C. 学位论文数据集:

致谢