高精度摄像机标定和鲁棒立体匹配算法研究

摘要

立体视觉是由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术。立体视觉的终极目标是根据所观测的图像信息，建立被观测景物的三维模型。其中，正确获取场景的深度信息是实现这一目标的一个关键步骤。在一个立体视觉系统中，深度信息的获取通常借助于小同图像之间的匹配计算来完成。经过众多学者不断的努力，近年来立体视觉研究取得了令人称道的进展。利用Graph-cut、Belief-propagation等全局优化技术的立体匹配算法相继涌现。然而，由于立体视觉本身是一个病态问题，受稀疏纹理、遮挡、摄像机标定精度和重复场景等因素的影响，要在不同图像之间实现匹配进而获得场景完整和正确的深度信息，仍然是一个极富挑战性的研究课题。 在上述研究背景下，本文以立体视觉系统为研究对象，从高精度获取被观测场景的稠密视差信息的角度出发，对高精度立体摄像机标定和鲁棒立体匹配问题进行了深入研究。 在立体摄像机标定方面，提出了一个基于“棋盘”模式的全自动高精度立体摄像机标定方案，并在此基础上构建了一个实用的立体视觉系统。为了实现高精度的立体摄像机标定，研究了从图像中自动检测和标记用于标定目的的特征角点的问题。首先，利用“棋盘”模式黑白相间的特点，用黑白模板对观测图像做卷积运算，并将卷积运算的峰值点作为特征角点的候选。然后，利用一种改进的Delaunay三角网格算法，完成对候选角点的自动筛选和标记。在此基础上，提出了一种基于几何约束的全局曲线拟合算法，将对棋盘格边缘进行拟合得到的三次曲线的交点作为真实角点，从而获得特征角点的高精度位置信息。实验结果表明，本文提出的方法能大幅度提高特征角点的检测精度，从而达到显著提高摄像机标定精度的日的。目前，实际构建的立体视觉系统的标定精度优于4‰，可以满足精确恢复场景三维信息的要求。 在立体匹配方面，提出了一种基于区域间协调优化的立体匹配算法。该算法以图像区域为匹配基元，利用区域的彩色特征以及相邻区域间应满足的平滑和遮挡关系定义了区域的匹配能量函数，并引入区域之间的合作竞争机制，通过协同优化使所定义的匹配能量极小化，从而得到比较理想的视差结果。算法首先对参考图像进行分割，利用相关法得到各分割区域的初始匹配；然后采用一种基于投票的鲁棒平而拟合方法对各区域的视差进行拟合，得到各区域的视差平面参数；最后，基于协同优化的思想，采用局部优化的方法完成对各分割区域视差平面参数的迭代优化，得到鲁棒的视差估计结果。实验结果表明，本文提出的方法在性能上可以和目前最好的立体匹配算法相媲美，得到的视差结果接近于真实视差。

目录

文摘

英文文摘

声明

第1章绪论

1.1立体视觉系统

1.2立体视觉研究历史与现状

1.2.1 摄像机建模

1.2.2特征提取

1.2.3 图像匹配

1.3本文的研究目的

1.4 论文结构与主要工作

第2章立体摄像机的标定

2.1 Tsai的基于RAC的两步法

2.1.1 带径向畸变的针孔摄像机模型

2.1.2 RAC两步标定法的计算过程

2.2立体摄像机标定

2.3标定模式的自动检测和标记

2.3.1 检测角点位置候选值

2.3.2 网格的自动标记

2.4角点检测精度的进一步提高

2.5立体摄像机标定实验结果

2.6结论

第3章稠密匹配的基本理论

3.1 稠密匹配的基本理论

3.1.1 视差场与深度图

3.1.2基本假设

3.2立体视觉研究所面临的问题

3.2.1 匹配代价

3.2.2 遮挡问题

3.3立体匹配常用的约束

3.4稠密匹配的研究现状

3.4.1生长法

3.4.2 松弛法

3.4.3动态规划法

3.4.4 多分辨分析方法

3.4.5 马尔科夫随机场

3.4.6 基于分割区域的算法

3.5总结

第4章快速的相关窗算法及其改进

4.1经典相关窗法

4.2自适应支持权值匹配

4.2.1 格式塔心理学简介

4.2.2 自适应支持权值的设计

4.3基于分割区域的自适应窗口加权法

4.4结论

第5章基于区域间协同优化的立体匹配算法

5.1 引言

5.2均值偏移(Mean Shift)图像分割算法

5.2.1 均值偏移算法的基本原理

5.2.2 基于均值偏移的图像分割

5.2.3 立体匹配中的均值偏移图像分割

5.3鲁棒的视差平面拟合算法

5.3.1 基于RANSAC算法的平面拟合

5.3.2 基于投票的鲁棒视差平面拟合算法

5.4 协同优化算法的基本原理

5.5基于区域间协同优化的立体匹配

5.6实验结果

5.7结论和展望

第6章总结与展望

6.1 总结

6.2 目前立体匹配算法主要存在的问题：

6.3展望

参考文献：

致谢

发表的学术论文