一种交通车辆图像序列分割与3D恢复方法的设计和实现

摘要

从图像序列中，恢复和重建目标车辆的3D几何信息是计算机视觉和图像分析理解领域中的基本课题，也是近年来人们越来越感兴趣的研究方向。而视频图像中交通车辆的分割与3D重建的主要目标是在一组包含目标车辆的图像序列中计算得到车辆在三维空间中的几何形体数据。研究表明，在世界汽车消费市场上，使用智能设备以使驾驶更加安全与便利的需求与日俱增。汽车上的安全与智能设施包括，冲撞预警系统、偏离车道预警系统以及智能行驶控制系统等。另外车辆3D重建在交通控制、智能监控、车辆跟踪、交通事故模拟、虚拟现实、游戏和娱乐等方面都具有广阔的应用前景。 本文针对只有一个数字摄像机获取的单目视频图像序列的情况，完成了车辆3D恢复过程中三个基本任务。首先，使用运动一致性分割将车辆目标从它的背景中分离出来；使用Cannv边缘检测、线条拟合、Harris角点检测等基本方法，提取图像序列中车辆的局部线条特征信息；使用KLT算法以跟踪图像序列中车辆的特征点，基于特征点匹配以及几何结构实现对目标车辆的3D几何估计。 一、从序列图像中分割出目标车辆，并且获取图像中的2D几何形体信息是提取目标物几何特征和3D线索的基础．根据车辆视频图像中，目标车辆运动可以简约为平移，且运动能量远大于背景运动的这两个特点，可以对图像序列计算其运动向量，进行运动轨迹聚类分析，从而应用运动一致性分割的方法，分割出目标车辆。 二、得到分割出的目标图像序列后，计算其灰度变化的梯度，应用Canny边缘检测方法从而提取出边缘线段，得到边缘(edge)图像．在边缘点图像的基础上，检测其直线、弧线、圆(椭圆)、曲线等2D基本几何元素，是为恢复目标物3D几何体的基础。常用的检测算法是应用霍夫变换(Hough transform)来检测图像中的直线和曲线。但其缺点在于运算量很大，有“咖啡变换”之称。本文，试图使用基于核的模式分析方法和计算几何方法来完成这部分工作。 三、对车辆的3D重建过程中，要利用图像序列中图像间的视差(disparity)来求得目标车辆的深度图像。而视图配准是立体视觉，求解深度图像的关键。视图配准算法有很多，本文采用一种计算量小，基于特征点跟踪的算法KLT来进行视图配准。得到整个图像序列的特征点跟踪表后，就能匹配这些图像问对应像素，从而完成立体视觉的计算。 本文将详细论述这三部分的算法分析、设计以及介绍其具体程序实现。最后为了验证算法的有效性和性能，全部用c++程序实现，且在一段由普通数字相机拍摄的运动中车辆视频上进行了试验。对实验结果分析，基本上验证了以上设计算法的有效性和可用性，但也分析了仍然存在的问题。

目录

文摘

英文文摘

声明

第一章绪论

1.1车辆运动的视频分析简介

1.2车辆3D形体重建及其应用

1.2.1透视投影成像模型

1.2.2摄像机成像几何模型

1.2.3立体视觉

1.3论文主要工作与结构

第二章车辆3D形体重建方法概述

2.1概述

2.2图像分割方法概述

2.2.1图像分割中的统计方法

2.2.2使用随机方法的运动分割

2.2.3基于运动一致性的分割

2.3线条检测

2.3.1霍夫变换检测直线和曲线

2.3.2线条数学模型的拟合

2.3.3直线与曲线检测的核方法

2.4 3D重建与视图配准

2.4.1广角(wide-baseline)多视图配准

2.4.2特征点提取与跟踪

2.5本章小结

第三章基于运动一致性的车辆图像分割及其算法分析与设计

3.1概述

3.2图像序列的车辆运动分割算法分析

3.3图像序列的车辆运动分割算法设计与实现

3.3.1车辆运动场参数初始值估计与分割标签值场初始估计

3.3.2分割标签值场的更新

3.3.3运动场参数的更新

3.3.4其它

3.4实验结果与分析

3.5本章小结

第四章车辆直线与曲线特征检测的核方法及其算法分析与设计

4.1概述

4.2基于核的模式分析算法的数学背景

4.3基于核方法的直线与曲线检测算法方法分析

4.4车辆边缘直线检测算法设计与实现

4.4.1采用Canny算子提取边缘线段

4.4.2直线检测算法

4.5边缘线条预处理

4.5.1寻找断点

4.5.2平滑边缘

4.6车轮边缘曲线检测算法设计与实现

4.7实验结果与分析

4.8本章小结

第五章车辆特征点提取与跟踪及其算法分析与设计

5.1概述

5.2基于运动图像序列的车辆三维重建

5.2.1相邻两帧车辆图像之间的三维重建

5.2.2多帧连续车辆图像的三维重建

5.3用KLT做特征点提取及其跟踪的算法设计与实现

5.3.1提取好的特征点

5.3.2特征点的匹配与跟踪

5.4实验结果与分析

5.5本章小结

总结

参考文献

攻读硕士学位期间取得的研究成果

致谢