基于线特征和网格优化的图像拼接算法研究

摘要

本文主要介绍一个完整的图像拼接流程，并且致力于在视差存在的条件下获得高质量的图像拼接结果。通常，图像拼接包含三个重要的步骤:图像配准、图像对齐与光束法平差、以及图像后处理。
　　关于图像配准，本文提出了一种带有多重线型描述符的局部特征及其加速匹配算法。先前的方法通过特征点的邻域局部图像块的信息来描述特征点。然而，局部图像块并没有包含准确的方向以及尺度信息。与之相反，线段通常拥有该信息。因此，本文通过连接两两特征点，然后建立线段模型，从而获取线型描述符。由于每个线型描述符连接上了两个特征点，而且同时每个特征点连接上了多个线型描述符，因而最终形成了一个网状拓扑结构。然而该方法带来的一个代价是线型描述符的数量远远多于特征点数量，这对于特征匹配将会十分不利。为了加速匹配过程，本文充分利用了该网状拓扑结构，提出了针对该局部特征的一种独特的加速匹配算法。实验结果表明:在鲁棒性方面，本文提出的带有多重线型描述符的局部特征要优于其他基于点块信息的经典特征。
　　关于图像对齐与光束法平差，本文提出了基于网格优化的图像对齐算法。基于局部单应性交换的APAP方法能够简洁高效地实现局部对齐，然而却容易产生图像畸变。GSP方法进行了相机运动评估，求解全局相似性变换参数，从而能够很好地保持拼接图像的自然度。本文利用上述两种方法的优势，结合ARAP方法的局部相似性变换，提出了网格优化方法。网格优化不仅具有图像对齐算法的普适性，而且也实现了光束法平羞的功能:同步地将所有原始图像映射到统一坐标系。实验结果表明:与其他经典的图像对齐方法对比，本文提出的图像对齐算法不仅能够精确对齐图像的局部细节，而且很好地保持了图像结构。
　　在图像后处理阶段，本文提出了基于显著性内容保留的最佳缝合线方法。即便前述的网格优化可以满足小视差图像拼接任务要求，但是仍然应对不了以下两种情况:存在大视差的场景以及存在运动目标的场景。通常，应对上述问题，一个好的解决方案是:在图像后处理阶段，找寻最佳缝合线来切割缝合图像，避免直接对图像重叠区域的不同目标进行融合。然而，一根不好的缝合线将会切割显著性目标，最终导致拼接缝。为了减少类似缝合线的出现，本文利用显著性内容保留去加权缝合线方法中的能量函数。实验结果表明:基于显著性内容保留的最佳缝合线方法在去除大视差物体以及运动目标的同时，能够有效避免切割显著性目标。

目录

声明

致谢

摘要

1 绪论

1．1 课题背景及研究意义

1．2 图像拼接流程示例

1．3 局部特征提取研究现状

1．4 图像拼接研究现状

1．5 研究内容及论文结构安排

2 一种鲁棒的图像配准局部特征描述方法

2．1 经典局部特征概述

2．1．1 SIFT和SURF

2．1．2 ORB

2．1．3 KAZE和AKAZE

2．2 经典检测器对比

2．2．1 牛津大学图像数据集

2．2．2 重复率与运行时间对比

2．3 MLD模型及算法

2．3．1 MLD模型

2．3．2 MLD算法

2．4 参数择优

2．4．1 线描述符维度

2．4．2 线段长度范围

2．4．3 线性规范化因子

2．5 本章小结

3 基于深度优先搜索的图像配准加速匹配算法

3．1 常用特征匹配算法

3．1．1 KNN

3．1．2 K-D Tree

3．1．3 RANSAC

3．2 Kuhn-Munkres算法

3．2．1 投票方案

3．2．2 K-M算法

3．2．3 K-M算法示例

3．3 FMP算法

3．3．1 DFS-STG算法

3．3．2 FMP算法

3．3．3 FMP算法示例

3．3．4 利用阈值避免无效搜索

3．4 FMP算法性能分析

3．4．1 时间复杂度

3．4．2 DFS-STG算法中的最优路径

3．4．3 加速匹配效果

3．5 本章小结

4 基于网格优化的图像对齐算法

4．1 相机运动模型评估

4．1．1 对极几何约束

4．1．2 单应性模型近似

4．2 APAP方法

4．2．1 单个全局单应性

4．2．2 多个局部单应性

4．3 GSP方法

4．3．1 BA评估相机内外参

4．3．2 BA评估尺度因子与2D旋转角

4．4 网格优化

4．4．1 局部单应性优化项

4．4．2 局部相似性优化项

4．4．3 全局相似性优化项

4．5 性能分析

4．5．1 特征均匀分布的重要性

4．5．2 相似性变换的重要性

4．5．3 能量占比的重要性

4．6 本章小结

5 基于最佳缝合线的图像后处理融合算法

5．1．2 拉普拉斯金字塔融合

5．1．3 泊松融合

5．2 最佳缝合线

5．2．1 图割与最大流最小割

5．2．2 能量函数

5．3 显著性内容保留

5．4 性能分析

5．5 本章小结

6 算法性能测试与评估

6．1．1 P-R曲线

6．1．2 识别率与运行时间

6．1．3 T检验

6．2 图像拼接方法评估

6．2．1 与APAP方法对比

6．2．2 与SPHP方法对比

6．2．3 与PT方法对比

6．2．4 多图拼接效果

6．3 本章小结

7 总结与展望

7．1 总结

7．2 展望

参考文献

攻读硕士学位期间获得的科研成果及奖励