一种高质量的快速图像拼接方法

摘要

图像拼接技术是将具有重叠区域的多幅图像进行无缝拼合，生成一幅大场景图像的技术。近年来，图像拼接的应用越来越广泛，因此图像拼接也成为一个非常活跃的研究课题。 图像拼接的主要步骤包括图像配准和图像融合，关键在于图像配准。目前的配准方法主要分为：直接法和基于图像特征的方法。直接法使用所有像素因此配准较精确，但往往依赖光照一致性的假设，且迭代要求初始化，对有光照变化和有噪声的图像不够强健，主要用于早期的研究中。基于图像特征的方法提取了图像的显著特征，大大压缩了图像的信息量，使得计算量小，速度较快，且对图像的变化具有鲁棒性。 基于图像特征的配准一般有两个过程：特征提取和特征匹配。特征提取主要考虑提取的特征是否对图像的各种变化能够保持稳定，比如光线、几何变化、噪声变化等，同时对特征提取的效率和正确性也要考虑，另外提取的特征要尽可能的具有独特性，提取的特征主要是特征点。特征提取后，特征间的匹配问题又是一个研究的重点和难点。特征匹配主要考虑匹配的精度和效率，但两者往往是相互矛盾的，而且匹配的效果与特征提取的关系相当密切。 点特征提取方法很多，其中尺度不变特征变换(scale invariant featuretransform，SIFT)算法性能最优，因此我们考虑利用SIFT来提取稳定有效的特征点。由于提取的特征点越多，提取特征的速度则越慢，但如果特征点不够则会导致拼接错误甚至失败。一幅典型的500×500的图像可得到约2000个SIFT特征点，这对拼接系统来说特征点过多因而大大降低了特征提取的速度，因此本文对SIFT特征提取方法作了优化改进，改进后的特征提取方法减少了关键点的数量，但这是在保证关键点质量的前提下减少关键点数量的，因而对后面的拼接是有益的，从而为拼接系统的高质量和快速特点打下基础。提取出的关键点具有高独特性、鲁棒性，对图像旋转、缩放、平移和光线变化保持不变，并且每个关键点都有一个128维的特征描述符，该描述符对关键点的各种属性都进行了详尽的表述，比如位置、尺度、方向等，使得特征描述符之间具有很大的差异性，所以可以直接利用特征描述符进行特征匹配，一般主要利用最近邻方法进行匹配操作，如何找到最近邻距离是该算法的关键。穷举法固然有效，但计算量大实用性差，因此我们利用一种称为Best-Bin-First(BBF)的近似最近邻算法，BBF的主要思想是利用一种近似的最近邻匹配方法，主要限定k-d树叶结点数，即限定了搜索的最大次数，同时采用一个优先级队列使搜索顺序以与被查询结点距离递增的顺序进行搜索，从而大大提高了搜索的效率。此时对大部分图像都可以得到准确而且快速的拼接结果，但当单幅图像中具有相似背景时，仍因存在误匹配而导致错误的拼接结果。因此我们又引入随机抽样一致性(random sampleconsensus，RANSAC)算法来去除误匹配对，提高了图像匹配准确性。找出匹配点对后，下一步就是根据这些匹配点对计算图像间的坐标变换也即变换矩阵，我们采用奇异值分解(singular value decomposition，SVD)技术计算变换矩阵，利用变换矩阵将图像重新采样到一个新的图像空间中，从而实现拼接。 但此时一些重叠处的拼痕清晰可见，因此需要一种有效的融合方法。融合方法主要有三类：中值滤波器、加权平均法和多分辨率样条法。中值滤波器处理边界附近的狭长地带，因此该方法速度快，但质量一般。多分辨率样条法在所有频率域上处理边界附近区域，因此质量高，但工作量大、计算时间长，不适宜在一般的图像拼接中使用。加权平均法直观简洁，速度较快，是比较常用的一种算法。因此本文融合部分使用加权平均法以保证重叠部分平滑过渡。 综上所有因素，本文提出了一种高质量的快速自动拼接方法，该方法能够成功拼接原来拼接失败的图像，大大提高了拼接准确性，拼接质量亦有所提高，而且在正确拼接图像的同时最大限度地降低了耗时，与其它方法相比性能更优，可以实现高质量快速的拼接系统。而且本文提出了使用信息熵作为拼接图像质量的客观评价标准，用精确的数据证明了本文方法是一种高质量拼接。 此外本文方法除了可对普通数码相机拍摄的图像进行正确拼接外，还能应用于遥感图像的拼接、红外图像的拼接，这极大丰富了本文方法的应用范围。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2当前研究概况

1.3本文的研究内容及创新

1.4本文的组织结构及章节安排

第二章图像拼接技术简介

2.1图像拼接的基本流程

2.2图像拼接的关键技术

2.2.1图像的获取

2.2.2图像配准

2.2.3坐标变换

2.2.4图像融合

2.3小结

第三章图像特征提取

3.1引进SIFT特征提取方法的原因

3.2 SIFT特征提取方法

3.2.1尺度空间极值检测

3.2.2确定关键点的位置

3.2.3确定关键点的方向

3.2.4建立关键点描述符生成特征向量

3.3对特征提取部分的改进

3.4实验结果与分析

3.5小结

第四章图像特征匹配

4.1引进BBF的原因

4.1.1 κ-d树

4.1.2 BBF

4.2引进RANSAC的原因

4.3对特征匹配部分的改进

4.4实验结果与分析

4.5小结

第五章图像拼接与融合

5.1图像坐标变换

5.2图像拼接

5.3图像融合

5.4实验结果与分析

5.5小结

第六章与其它系统的性能比较

6.1基于小波变换的系统

6.2基于元胞自动机的系统

6.3与原有系统的系统性能比较与分析

6.4与Lowe的Autostitch系统的系统性能比较与分析

6.5小结

第七章总结与展望

7.1全文工作总结

7.2工作展望

参考文献

作者攻读学位期间公开发表的学术论文

致谢