基于亚像素精度的立体图像匹配算法研究

摘要

立体视觉是当今计算机视觉中重要的研究热点，在人机交互、视频监控、智能控制、地形重建、机器人导航、目标跟踪等领域得到了广泛应用。
　　在立体视觉中，立体匹配一直是研究的难点问题，而立体匹配的核心问题即计算视差图像。计算左右图像的视差时，传统匹配算法都是以图像整像素为步长进行匹配搜索，因此获得的视差值也是整像素的。这就导致了在一些连续的平面上出现了严重的锯齿现象，特别表现在大倾斜度平面、圆球面、曲面等与摄像机处于非正对着的场景中。如何对这些场景进行处理，将立体图相对的匹配精度从整像素提升到亚像素的匹配精度并实现稠密匹配，使得目标表面上的视差呈现自然的平滑过渡，三维信息恢复后的结果也与实际场景中的表面保持相对一致性，是立体匹配中一个重要的研究方向，也是一项巨大的挑战。特别是在遥感、高精度三维重建、医学图像等对匹配精度要求很高的领域具有非常重要的意义。本文主要研究如何在保证匹配准确度的条件下将匹配视差的精度提高到亚像素级别上，同时尽量兼顾匹配速度的问题。
　　迄今为止，大多数的立体匹配算法都是对基于整像素的视差进行求解，而求解亚像素精度视差算法并不多。本文从可以获得良好整像素视差的非局部的代价聚集匹配算法出发，提出了改进的非局部代价聚集立体匹配算法。首先利用原图像的高阶插值计算匹配代价，通过分析源图像中相邻像素的灰度梯度关系，从而确定其视差搜索范围，再采用最小生成树策略进行代价聚集以选取最优的分数视差，最后融合彩色图像分割区域信息进行平面拟合细化视差，实现亚像素精度的稠密匹配。通过对多种图像应用本算法进行实验，验证了本算法的确实将匹配的精度提高到亚像素级别。
　　传统的立体匹配算法都假设场景中所有物体表面都垂直于摄像机光轴而存在，所以普遍采用前行平行窗口模型来进行立体匹配运算，但实际场景中，这种假设并不都成立。比如存在球面、不规则曲面、倾斜平面等表面，在这种情况下，如果还采用这种假设，就可能引起系统误差，也无法精确获得这些表面上的亚像素精度视差。针对这种情况，本文提出了融合倾斜支持窗与PatchMatch思想的亚像素精度立体匹配算法。放弃原有前向平行假设，允许场景中存在曲面和大角度倾斜平面，转换思想将每一个像素点看成三维空间一个平面上的点，吸收PatchMatch的随机搜索与传播的思想，将传统的基于前向平行支持窗算法变换到基于具有投射缩放的倾斜支持窗来进行相似性计算，通过在对极线上寻找与当前像素所在平面相一致的最近邻像素，逐步缩小视差变化范围进行聚集代价的迭代优化，从而找到相对应的倾斜平面的最优参数与像素点的最佳视差值，从而得到亚像素精度匹配视差。通过实验图像的匹配效果比对，实验结果证明了本算法的有效性。

目录

摘要

第一章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．3 论文主要工作和贡献

1．4 论文结构安排

第二章 亚像素精度立体匹配相关问题

2．1 引言

2．2 视差的基本知识

2．2．1 视差图

2．2．2 视差求解一般过程

2．2．3 生成视差的约束条件

2．2．4 视差图评价标准

2．3 立体匹配研究的主要问题

2．3．1 准确度

2．3．2 亚像素精度

2．3．3 匹配速度

2．4 亚像素精度立体匹配算法分类

2．5 面临的挑战

2．6 本章小结

第三章 改进的非局部代价聚集立体匹配算法

3．1 引言

3．2 双边滤波

3．2．1 基本原理

3．2．2 匹配过程中的实现

3．3 最小生成树

3．3．1 基本原理

3．3．2 判断法则

3．3．3 Kruskal和Prim算法对比

3．4 基于Mean-Shift算法的图像分割

3．4．1 Mean-Shift算法的基本原理

3．4．2 基于Mean-shift的图像分割实现

3．5 改进的非局部代价聚集的立体匹配实现

3．5．1 算法流程

3．5．2 算法详细实现

3．6 实验结果与分析

3．6．1 实验环境和与参数设定

3．6．2 实验结果比对分析

3．7 本章小结

第四章 基于PatchMatch的亚像素精度立体匹配

4．1 引言

4．2 倾斜支持窗模型

4．3 PatchMatch随机一致性算法

4．4 基于PatchMatch的亚像素立体精度匹配

4．4．1 算法模型

4．4．2 算法流程

4．4．3 算法详细实现

4．5 实验结果与分析

4．5．1 实验环境和与参数设定

4．5．2 实验结果比对分析

4．6 本章小结

总结与展望

本文研究工作总结

未来工作展望

参考文献

攻读学位期间发表的论文

声明

致谢