像素级多传感器图像融合新方法研究

摘要

像素级图像融合是将同类或异类传感器采集到的关于同一场景或目标的图像经过一定的处理,综合成一幅图像,从而获得对同一场景或目标更为准确、全面、可靠的图像描述,是图像处理与计算机视觉领域中多传感器图像信息综合利用的重要手段。随着图像传感技术的发展,像素级图像信息融合已经成为军事、遥感、医学、工业、交通等领域信息综合处理的重要技术。由于图像传感器种类繁多,应用环境各不相同,所以图像融合算法也是各种各样。相对于国外的研究,国内研究起步较晚,其理论以及技术水平亟待提高。本文在深入分析了现有图像融合理论的基础上,结合目前图像处理发展的最新理论,构建了两种新型图像融合框架,提出了稀疏表示域图像融合新方法。在这三种新型图像融合框架下,结合不同图像融合任务的特点,提出了一系列新型像素级图像融算法。另外针对高速公路智能交通系统的需求,本文还提出了多时相图像融合技术和基于特征融合的车牌检测技术,解决了高速公路智能交通系统中监控和信息获取两个重要环节的关键问题。本文主要研究成果如下:
　　 1.混合多分辨率分析图像融合
　　 传统像素级图像融合算法往往只考虑一种图像多分辨率分析方法,融合算法性能很难获得较大的突破。这是因为任何一种图像多分辨率变换基函数的构造都有严格的限制,使其在表达图像特征时存在一定程度的局限,例如小波变换不能表达图像边缘信息,Curvelet变换不能很好地表达图像细节。由于无法全面表达图像信息,仅通过改变系数融合规则很难进一步提高图像融合算法性能。实际上,不同多尺度几何分析方法之间存在互补特性。例如小波变换适合表示源图像中的纹理、角点等细小特征,而Curvelet和Contourlet变换适合表示源图像的边缘和线信息。基于此本文在通过大量的对比实验以及理论分析的基础上,提出了图像的混合多分辨率分析理论,将具有互补特性的不同图像变换方法以串联的形式结合,获得图像的混合多分辨率分解,并进一步构建了混合多分辨率分析图像融合框架,在混合多分辨率分解域内对分解系数进行融合,最后通过逆变换得到融合图像。在该框架指导下,我们结合小波变换与Curvelet变换的互补特性以及静态小波变换与非下采样Contourlet变换的互补特性,实现了两种基于混合多分辨率分析的图像融合方法。仿真实验显示这两种方法都能很好地保留源图像的细节信息,融合图像质量比单纯使用小波、Curvelet或Contourlet得到的融合图像质量有明显改进。特别地,混合静态小波与非下采样Contourlet变换的多分辨率分析方法还能很好地保持图像变换的移不变特性,使得待融合源图像存在误配准时仍能取得高质量融合图像。
　　 2.多聚焦图像区域级融合
　　 多聚焦图像融合能够突破光学镜头景深的物理限制,获得场景中所有目标聚焦清晰的合成图像,是许多机器视觉处理任务,如边缘检测、图像分割、目标识别等的关键技术。在传统多聚焦图像融合框架下,融合规则只考虑了源图像单个像素特征或其变换域系数的局部邻域特征,通常是在损失部分清晰特征的情况下达到场景内所有目标的相对清晰,融合图像很难达到最优。且对于没有或不能严格配准的源图像,根本无法得到满意的融合结果。针对这一国内外同行公认的难题,本文通过模拟手工获得理想多聚焦融合图像的剪与贴方法,构建了分割合并相结合的多聚焦图像区域级融合框架。在该框架下,算法自动选择源图像中最清晰的区域合成融合图像,克服了传统方法会损失源图像清晰特征的缺点。基于该框架,我们分别采用Normalizedcut和Watershed图像分割算法以及图像空间频率和形态小波变换系数区域清晰度标准设计了两种区域级多聚焦图像融合算法,实验结果显示这两种算法能够得到近似“理想”的多聚焦融合图像。另外,根据多聚焦图像融合的特点,本文还提出了根据图像清晰测度直接对图像进行分割,巧妙地通过比较源图像空间频率特征来得到清晰区域与模糊区域的模板,进一步提高了算法效率。
　　 3.稀疏表示域图像融合
　　 稀疏表示理论是继小波、Curvelet等多分辨率表示方法后一种新型的信号表示理论,具有稀疏的信号表示形式,更加符合人的视觉特性。图像稀疏系数能够更加准确地表达图像显著信息的特点也使其非常适合图像融合任务。然而,稀疏表示理论与小波变换有着不同的变换形式,基于传统多分辨率分解的图像融合框架并不适用于稀疏表示。本文针对稀疏表示的特点,并考虑到图像融合处理局部显著信息的特点,提出了滑窗技术,在此基础上提出了稀疏表示域图像融合方法。在新的图像融合方法指导下,我们首先提出了多聚焦图像稀疏表示域的融合算法,并对其进一步扩展实现图像恢复融合,在源图像受噪声干扰时,仍能取得非常好的去噪和融合结果。另外经理论分析发现,当进行多模图像融合时,不同的源图像可能分解到过完备稀疏字典不同的子集上,使得稀疏系数的融合规则难于设计。对此本文提出利用同步正交匹配追踪的图像稀疏表示算法来保证异质图像的稀疏表示系数一一对应。大量的仿真比较实验结果显示基于稀疏表示的图像融合方法能够大幅提高融合图像质量。
　　 压缩传感是图像稀疏表示理论的重要应用之一,其一经提出就受到了国内外学者的高度关注,2007年被美国科技评论评为年度十大科技进展之一。该理论指出在稀疏约束下,可压缩的信号/图像可从远低于Nyquist标准的压缩采样数据中精确地恢复出来。本文充分结合遥感图像的成像原理,光照特性以及传感器的光谱反应特性,构造了遥感图像压缩传感模型,将遥感图像融合问题转化为具有线性约束的信号恢复问题,并在图像稀疏表示域图像融合框架下,提出了一种基于压缩传感理论的稀疏表示域遥感图像融合算法。在Quickbrid卫星和IKONOS卫星数据上的仿真实验证明该方法能够得到比传统方法更好的融合图像。
　　 4.图像信息融合技术在智能交通监控系统中的应用
　　 智能交通系统是从根本上解决日益严重的交通问题的一个新型技术手段,它可以为交通部门提供及时、准确的交通信息,从而最大效能的发挥交通管理系统在交通监视、交通控制等方面的作用。然而与我国高速公路建设的快速发展相比,智能交通系统的发展则相对落后。随着日益严重的地面交通问题的出现,开发稳定有效的智能交通系统势在必行。智能交通系统首要任务就是视频监控,然而由于夜间能见度的不足,监控摄像机不能采集到足够的信息,这给视频监控带来了一定的难题。对此本文设计了一种梯度域多时相图像融合方法,将夜间图像与白天背景图像进行融合,提高了夜间图像中背景的质量,改善了高速公路夜间视频监控的能力。交通信息的获取是交通信息服务系统的重要组成部分,其核心为运动汽车车牌的自动检测与识别。针对传统算法检测率不高,后续处理压力较大的问题,本文提出了基于特征融合的车牌检测技术,同时考虑了车牌区域扩展Haar特征和边缘方向直方图特征,使得车牌检测率有显著提高,仿真实验证实了本文算法的有效性。
　　 论文最后总结了全文的主要工作和创新性研究成果,并对下一步研究工作进行了展望。

目录

文摘

英文文摘

第1章 绪论

1.1 图像融合技术的背景意义及应用

1.1.1 图像融合技术的背景及意义

1.1.2 多传感器图像融合技术的应用

1.2 多传感器图像融合方法

1.2.1 图像融合技术的层次

1.2.2 图像融合技术的国内外研究状况

1.3 融合图像质量评价

1.3.1 融合图像的主观质量评价

1.3.2 融合图像的客观质量评价

1.4 本论文的主要内容简介

第2章 混合多分辨率分析图像融合

2.1 混合多分辨率域图像融合框架

2.1.1 图像混合多分辨率分析

2.1.2 基于混合多分辨率分析的图像融合框架

2.2 混合小波与Curvelet变换多聚焦图像融合

2.2.1 小波变换

2.2.2 Curvelet变换

2.2.3 混合小波与Curvelet变换多聚焦图像融合算法

2.2.4 实验结果与分析

2.3 基于混合静态小波与非下采样Contourlet变换的图像融合

2.3.1 静态小波变换

2.3.2 非下采样Contourlet变换

2.3.3 基于混合静态小波与非下采样Contourlet变换的图像融合算法

2.3.4 实验结果与分析

2.4 本章小结

第3章 区域级多聚焦图像融合

3.1 区域级多聚焦图像融合框架

3.1.1 多聚焦图像融合

3.1.2 区域级多聚焦图像融合框架结构

3.2 Normalized cut与空间频率相结合的多聚焦图像融合

3.2.1 Normalized cut图像分割

3.2.2 图像空间频率特征

3.2.3 基于Normalized cut与空间频率的多聚焦图像融合方法

3.3 基于Watershed图像分割与形态小波变换的多聚焦图像融合

3.3.1 分水岭图像分割

3.3.2 形态小波变换

3.3.3 基于Watershed图像分割及形态小波变换的多聚焦图像整合方法

3.4 空间频率与形态算子相结合的多聚焦图像融合

3.4.1 形态算子

3.4.2 基于空间频率与形态算子的多聚焦图像融合

3.5 实验结果与分析

3.6 本章小结

第4章 稀疏表示域图像融合方法研究

4.1 稀疏表示域图像融合

4.1.1 图像稀疏表示

4.1.2 稀疏表示域图像融合方法

4.2 多聚焦图像稀疏表示域恢复与融合

4.2.1 稀疏表示求解算法

4.2.2 多聚焦图像稀疏表示域恢复与融合算法

4.2.3 实验结果与分析

4.3 多模图像稀疏表示域融合

4.3.1 同步正交匹配追踪算法

4.3.2 稀疏表示域多模图像融合算法

4.3.3 实验结果与分析

4.4 基于压缩传感理论的稀疏表示域遥感图像融合

4.4.1 压缩传感理论

4.4.2 基于压缩传感理论的稀疏表示域遥感图像融合算法

4.4.3 实验结果与分析

4.5 本章小结

第5章 图像信息融合技术在智能交通系统中的应用

5.1 引言

5.2 高速公路多时相图像融合技术

5.2.1 多时相图像融合

5.2.2 实例分析

5.3 基于特征融合的车牌检测算法

5.3.1 基于融合特征和级联Adaboost的车牌检测算法

5.3.2 实验结果与分析

5.4 本章小结

第6章 总结与展望

6.1 本文总结

6.2 研究展望

参考文献

致谢

附录A 攻读学位期间参与的科研项目及所发表的学术论文目录

附录B 攻读学位期间申请专利、软件著作权、鉴定成果及获得的奖励