基于地面控制点和能量优化的鲁棒立体匹配算法研究

摘要

立体视觉是根据同一场景所拍摄的两幅或多幅图像进行对比从而恢复出场景三维信息的一种技术。在其近三十年的发展中，取得了大量研究及应用成果，其中某些专用的立体视觉系统在工业、军事、医学等方面得到了广泛的应用，但从整体上来看，立体视觉尤其是通用立体视觉系统仍是一个受到广泛关注的研究领域，存在着许多研究难点，其中最关键的问题之一是立体匹配，也称为立体对应点问题。
　　 由于需要从二维图像信息来得到三维深度信息，因此立体匹配本身是一个病态问题，存在诸如匹配不确定性、遮挡等难题。现有的大量立体匹配算法在实时性、可靠性、鲁棒性、普适性等方面均存在着各种程度上的不足。因此，在本文的研究中，针对立体匹配问题，提出了一种在地面控制点(GCP)指导下的，基于区域分割技术和能量优化思想，采用分步迭代处理策略的高可靠性立体匹配算法。
　　 本算法主要内容及创新点包括：
　　 (1)地面控制点( GCP)在算法中具有重要的指导作用，不仅提供了区域分割所需要的前后景信息，也是区域视差信息的主要来源。本算法中通过多种约束的使用来保证了GCP的高可靠性，为之后的一系列处理提供了一个较好的起点。另外，出于效率及实时性的考虑，本文中提出了一种基于梯度的方法来控制GCP的数量，同时在一定程度上也加强了GCP的可靠性。
　　 (2)本算法属于“基于区域分割”的一类立体匹配算法。此类算法以“区域”作为匹配及处理基元，对视差不连续、遮挡等问题的处理往往具有较好的效果。但区域分割的准确度对最终结果影响较大，过粗的分割会使得场景表面不清晰，过细的分割也会导致不能正确反映出表面视差变化情况。因此，本文中提出了一种在GCP指导下的基于图切的区域迭代二次分割算法：首先使用一般的图像分割技术获得初始的区域集，然后对区域内的GCP进行k-均值聚类，对于存在两个或两个以上聚类的区域，使用基于图切的前后景分离算法进行二次分割。此过程迭代进行，直到每个区域都包含不超过一个聚类为止。由于每个GCP聚类代表着一定的视差范围，这样所得到的区域集往往能正确反映出场景中不同表面分布的情况。同时，区域内GCP聚类的过程也进一步加强了GCP的可靠性：通过聚类可以排除一部分离群点，使得GCP更为准确可靠。
　　 (3)区域的稠密视差分布往往是根据稀疏视差结果（通过相关窗匹配、块匹配、特征匹配等获得），通过内插、平面拟合或曲面拟合等处理得到。由于平面或曲面拟合方法往往处理较复杂且易受噪声影响，因此研究中往往简单地使用单一视差值来作为区域的整体视差，但这种方法存在着一些弊端，比如：区域能以单一视差进行填充的前提是图像过分割，而过分割及过分割所得到的较多区域会带来较大的时空耗费；对于某些场景中存在较多曲面或斜面的情况，单一视差往往无法正确反映出场景表面的视差变化。因此，本文中使用了一种基于区域离散视差点来构造Delaunay三角网格进行三角片插值的方法：首先根据区域内GCP统计结果获取区域视差变化区间，在此区间约束及视差连续性等约束下采用动态规划算法来获取区域边界上的视差分布；然后选取部分边界点与区域内部部分GCP组成顶点集，构造Delaunay三角网格；最后对每个三角片使用线性插值来获得区域的稠密视差分布。这种方法避免了曲面拟合的复杂及高耗费，并且能一定程度上体现出场景表面的视差变化情况，所得到的视差结果也具有高精度（亚像素级）。
　　 (4)为了保证区域视差的准确性，本算法中对每个区域均按照能量优化的思想来选取“最佳视差”，即通过定义区域上合适的能量函数，在来源于相邻区域及内部GCP视差信息的候选视差集合中选取能量最小解作为区域的“最佳视差”。对于包含GCP聚类的“已匹配区域”，使用“最佳视差”对视差结果进行验证，防止由于GCP的误匹配所导致的区域视差错误；对于不含GCP聚类的“未匹配区域”，使用“最佳视差”进行填充，这体现了正确的视差沿区域间进行传播的过程。另外为了进一步强化视差传播的可靠性，除了分步进行区域处理（首先处理“已匹配区域”，然后处理“未匹配区域”）外，对区域处理的顺序则遵从“可靠性准则”的约束，即对于每个区域均按照某种可靠性准则计算其“可靠性”，优先处理可靠性较高的区域。算法中按照“多轮迭代”的方法进行，首先设定较高的可靠性阈值，仅处理那些“可靠性”高于阈值的区域：之后每轮中依次降低可靠性阈值，最终处理完所有区域。这种策略使得可靠性较高的视差结果更易被传播出去，从而进一步保证了最终可得到准确的全局视差分布结果。
　　 通过地面控制点、能量优化、分步迭代等多种策略的使用，本算法可以得到较为准确的视差结果。实验结果表明本算法是一种高效、可靠的立体匹配算法。

目录

文摘

英文文摘

第一章 绪论

1.1 立体视觉

1.1.1 立体视觉的原理

1.1.2 立体视觉的发展

1.1.3 立体视觉的研究情况

1.1.4 立体视觉的应用

1.2 立体匹配

1.2.1 立体匹配的主要难点

1.2.2 立体匹配的研究现状

1.3 本文的主要研究内容

第二章 地面控制点

2.1 GCP的定义

2.2 GCP的获取

2.2.1 成为GCP的条件

2.2.2 条件在算法中的实现

2.2.3 其他方式

2.3 梯度控制GCP的提取

2.3.1 梯度图

2.3.2 梯度区间控制GCP的提取

2.3.3 自适应获取梯度区间

2.3.4 实验结果

2.4 本章总结

第三章 地面控制点指导下的区域精细分割

3.1 图像分割

3.1.1 颜色空间

3.1.2 图像分割技术

3.1.3 Mean-shift图像分割算法

3.2 区域内GCP聚类

3.3 GCP指导下的区域二次分割

3.3.1 基于图切的图像分割

3.3.2 GCP指导下基于图切的区域二次分割算法

3.4 本章总结

第四章 区域局部视差处理

4.2 区域边界视差获取

4.2.1 区域边界提取算法

4.2.2 沿区域边界的动态规划算法原理

4.3.3 多种子点动态规划算法

4.3 区域视差平面内插——Delaunay三角插值

4.3.1 Delaunay三角剖分简介

4.3.2 区域的Delaunay三角插值算法

4.4 本章总结

第五章 全局视差修正

5.1 区域最佳视差选取

5.1.1 匹配标签图

5.1.2 能量函数

5.2 分步迭代区域视差修正算法

5.2.1 已匹配区域视差修正

5.2.2 未匹配区域视差获取

5.3 本章总结

第六章 总结与展望

6.1 算法的测试结果

6.2 算法总结及展望

参考文献

致谢