双目立体视觉技术及其在道路识别中的应用研究

摘要

随着科学发展和技术进步，人们将各种先进技术运用到汽车工程中，试图研制出具有全功能感知环境与智能信息处理能力的智能汽车，来解决日趋严重的交通安全问题。而如何快速准确地感知汽车行驶环境一直是智能车辆研究的一个难题。立体视觉技术是最接近于人类方式的三维视觉信息感知技术，其研究目标是使计算机具有通过二维图像认知三维环境信息的能力。由于图像的复杂性，实时的视觉导航定位和三维重建的广泛应用还面临不少困难。本文以北京工业大学的电动汽车为工程应用背景，以电动汽车的双目立体视觉系统为研究对象，分析和研究了基于双目立体视觉技术获取深度信息的方法，对双目立体视觉模型参数的标定、双目视差估计以及基于视觉的车辆前方环境感知技术进行了研究。主要研究内容和创新点如下： (1)针对考虑镜头畸变的摄像机模型，根据透视投影的交比不变性，利用单应性矩阵及内部参数的基本约束，提出一种基于交比不变性的摄像机线性标定方法。利用摄影变换的交比不变量和调和共轭的性质，提出一种基于圆环点的摄像机内部参数的线性标定方法，不需要作三维空间点与二维图像点的匹配。两种线性标定方法避免了摄像机标定的非线性优化过程中可能遇到解的不稳定性问题，具有简单、方便和鲁棒性强等特点。同时，给出一种双目外参数的线性标定方法。该方法不仅具有与传统方法相当的精度，同时双目标定不限于实验室环境，不需知道标定物的空间坐标，适合于机器人的“移动”特点，提高了标定方法的灵活性。 (2)提出一种基于分段线性视差函数的视差估计算法。基于同名极线对应的空间曲线可以近似为分段直线的假设，由于左右视差函数与深度函数之间的线性映射关系，可以得到左右视差函数也为分段直线。根据视差点的结构原理，以及左右极线上相邻灰度跳跃点之间区域的线性映射，来确定匹配的能量函数，简化了视差点的求取。该算法不用考虑遮挡匹配代价，可同时进行视差估计与遮挡检测；能较好地处理深度不连续区域和单一纹理区域的匹配问题；估计的视差值不一定是整数值；避免了非线性优化，降低了计算复杂度。 (3)提出一种基于动态规划的视差点匹配方法。在动态规划中进一步引入遮挡约束，有效减少了搜索区域，有助于提高算法的快速性。基于视差点的结构原理和视差函数的分段线性特点，来确定匹配的能量函数。在匹配处理的同时处理遮挡问题，有效降低了遮挡区域和视差不连续区域的误匹配百分比。给出一种基于网络最大流的匹配算法。将网络的最大流-最小割原理用于视觉匹配的能量优化，利用视差标号方法建立网络，讨论能量的表示方法，用像素差分的距离来代替平滑项，更利于网络的构造和算法的实现，以降低算法的计算量，实现了能量函数的极线最优。 (4)提出一种实用的车道线检测算法。将Hough变换技术应用到车道初始检测模块中，利用车道的统计特征和Kalman滤波技术进行车道跟踪，提高了算法的实时性，同时保证了算法的鲁棒性。对左右图像提取的车道线进行匹配和重建，确定车辆与车道线的相对位置。同时，提出一种有效的前方目标车辆检测方法，利用检测到的车辆底部阴影，基于改进SUSAN算法和Kalman滤波算法，确定目标车存在区域，对目标区域的特征点进行匹配和重建，进而求出目标车与本车的距离。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景和意义

1.2立体视觉技术研究概况

1.2.1计算机视觉技术

1.2.2立体视觉原理

1.2.3立体视觉技术的发展

1.2.4立体视觉关键技术

1.3基于视觉的智能车辆道路识别

1.3.1基于视觉的智能车辆导航概述

1.3.2基于视觉的智能车辆道路识别

1.4目前存在的主要问题

1.5论文主要研究内容

1.6论文组织结构

第2章 立体视觉摄像机标定

2.1引言

2.2摄像机成像几何

2.2.1刚体变换

2.2.2摄像机成像几何

2.3基于交比不变量的摄像机标定

2.3.1标定物

2.3.2镜头畸变系数的标定

2.3.3基于单应性矩阵的摄像机线性标定

2.3.4基于圆环点的摄像机内参数标定

2.4双目外参数标定

2.4.1传统的标定方法

2.4.2利用图像点对的摄像机标定

2.4.3标定实验

2.5本章小结

第3章 基于分段线性视差函数的立体匹配

3.1引言

3.2立体匹配相关理论

3.2.1基本约束条件

3.2.2相似性测度

3.2.3遮挡问题

3.2.4立体匹配算法的评估方法

3.3基于分段线性视差函数的视差估计

3.3.1视差函数及视差点

3.3.2基于分段线性的视差点求取

3.3.3匹配实验

3.4本章小结

第4章 基于全局优化的立体匹配算法

4.1引言

4.1.1立体匹配全局优化问题的描述

4.2动态规划

4.2.1多阶段决策过程

4.2.2动态规划问题描述

4.2.3建立动态规划模型

4.2.4求解动态规划模型

4.3基于动态规划的视差点视差估计

4.3.1视差空间图

4.3.2动态规划中约束的确立

4.3.3动态规划方法匹配视差点

4.3.4匹配实验一

4.4基于网络最大流最小割的视差估计

4.4.1网络最大流最小割原理

4.4.2构建网络

4.4.3能量函数的最小化

4.4.4匹配实验二

4.6本章小结

第5章 前方车道线及目标车检测

5.1引言

5.2场景点的三维重建

5.2.1摄像机坐标系下三维坐标的求取

5.2.2摄像机坐标系到车体坐标系的转换

5.3图像预处理

5.3.1滤波去噪

5.3.2边缘增强

5.3.3阈值分割

5.4前方车道线检测

5.4.1道路模型

5.4.2车道线检测

5.4.3车道线跟踪

5.4.4车道线重建及本车定位

5.5前方目标车检测

5.5.1生成目标车辆假设

5.5.2目标车辆假设验证

5.5.3目标车辆跟踪

5.5.3确定目标车辆与本车的位置

5.6本章小结

结论

参考文献

攻读博士学位期间的主要研究成果

致谢