视觉显著性计算及其在红外与可见光图像融合中的应用

摘要

信息融合技术的发展使得多种传感器协同工作成为可能，红外与可见光传感器融合是其中的重要分支。图像融合是将来自不同传感器的图像进行整合，以获取更丰富和有用的信息，提高对场景描述的完整性和准确性。其中，“哪部分图像需要融合，采取什么融合策略”是融合算法的关键。引入视觉显著性机制，能够使系统只关注图像中的显著区域，而对非显著区域减少或者不予关注，并针对不同的区域，采取不同的融合策略，从而达到大量降低信息计算量，改善图像融合效果的目的。
　　针对红外图像模糊、对比度低的特点，提出频域显著性和空域显著性相结合的方法检测红外显著目标。该方法同时利用图像的局部和全局信息，使空/频域上的显著目标信息可以进行互补，从而获得更准确的红外显著图。其中，通过边缘检测算子和数学形态学算子相结合的方法提取红外目标形状特征，增强了空域显著性图对红外目标的突出特性及对红外背景的抑制作用；通过频域和空域显著性图相融合生成全局显著性图，引导红外显著目标的检测。该方法为红外图像提供了一种新的视觉显著性计算方法，可用于后面章节的图像融合算法中红外显著性图的计算。
　　视觉显著性有利于快速定位场景中的重要信息，本文将视觉显著性应用到图像融合领域，提出基于显著性可控权值策略的红外与可见光图像融合方法。首先，充分考虑可见光图像的成像特点，引入LBP算子计算显著性；其次，红外和可见光图像之间也竞争显著性，避免只考虑红外显著性的问题，扩大了融合算法的适用范围；再次，通过计算视觉显著区域的平均显著度，提高了算法的抗噪性能；最后，通过显著区域的显著性度量引导融合过程，提出一种新的区域特征描述和加权融合规则。该方法无先验知识引导，运算速度快，实时性好。
　　针对多目标图像中预先不知道各目标和目标特征的尺度的问题，引入显著性尺度空间概念选择不同目标的最佳尺度，把尺度、显著性和融合规则三个方面相结合，提出基于频域尺度空间显著性的红外与可见光图像融合方法。一方面通过超复数傅立叶变换和不同尺度的高斯核函数建立频谱尺度空间，并根据二维熵最小原则选择最佳描述尺度，检测不同尺度多目标的显著性；另一方面，针对红外和可见光图像的多目标显著区域的差异，通过关联处理生成显著区域关联映射图，指导不同区域的融合过程。该方法适用于场景较复杂且包含多尺度目标的情况。
　　针对空域融合中可能存在的块效应，结合NSCT的平移不变性和多尺度、多方向特性，提出基于区域显著性的图像融合方法。根据区域关联映射图划分目标区域和背景区域，结合各区域特征制定相异融合规则，对各区域NSCT变换的低频与高频子带系数分别进行融合，再通过NSCT逆变换重构融合图像。该融合方法充分利用区域特征，针对不同区域、不同频率子带，采取不同的融合规则，相比传统方法，更符合实际需求，具有更好的视觉融合效果。

目录

声明

中英文缩写对照表

1 绪论

1.1 引言

1.2 图像融合国内外研究现状

1.3 视觉显著性计算综述

1.4 主要研究内容

1.5 课题来源及内容安排

2 频域和空域结合的红外显著目标检测

2.1 引言

2.2 频域显著性图

2.3 空域显著性图

2.4 全局显著性图及显著区域的尺寸

2.5 实验结果与分析

2.6 本章小结

3 基于显著性可控权值策略的红外与可见光图像融合

3.1 引言

3.2 红外和可见光图像的显著性图

3.3 基于显著性的融合策略

3.4 实验结果与分析

3.5 本章小结

4 基于频域尺度空间显著性的红外和可见光图像融合

4.1 引言

4.2频谱尺度空间分析

4.3 基于HFT的频域显著性图

4.4 区域关联映射

4.5 基于区域特征的融合策略

4.6 实验结果与分析

4.7 本章小结

5 基于区域显著性和NSCT的红外与可见光图像融合算法

5.1 引言

5.2 图像的 NSCT变换

5.3基于区域显著性的NSCT融合

5.4实验结果及分析

5.5 本章小结

6 总结与展望

6.1 全文总结

6.2 本文创新点

6.3 研究展望

致谢

参考文献

附录1 攻读学位期间发表的学术论文

附录2 公开发表的学术论文与博士学位论文的关系

附录3 攻读学位期间参与课题