汽车偏离车道线角度和距离的视觉计算及预警方法

摘要

本发明涉及一种汽车偏离车道线角度和距离的视觉计算及预警方法，应用图像处理和计算机视觉技术，根据车载摄像头获取的路面图像，实时计算汽车偏离车道线的角度和距离，估算越线时间用于安全预警。实现步骤是：首先对路面图像进行车道线检测，得到局部车道线的直线方程；以摄像头为原点建立三维坐标系，记录摄像头的安装高度和俯角；依据已知偏转角情况下的车道检测结果对其焦距进行定标；依据针孔摄像机模型计算汽车相对车道线的偏转角和垂直距离；根据汽车的即时行驶速度估计驶离车道的时间，获得行驶汽车的安全预警或智能控制信息。

说明书

技术领域

本发明涉及一种应用图像处理和计算机视觉技术，根据车载摄像头获取的路面图像，实时计算汽车偏离车道线的角度和距离的快速计算及安全预警方法。首先对路面图像进行车道线检测，得到局部车道线的直线方程；以摄像头为原点建立三维坐标系，记录摄像头的安装高度和俯角；对其焦距进行定标，然后依据针孔摄像机模型计算汽车相对车道线的偏转角和垂直距离，估计驶离车道的时间，为汽车驾驶中的安全预警或智能控制提供有效信息。

背景技术

近年来,汽车自主驾驶技术飞速发展,并逐渐取得进步。各个研究机构研制的自主驾驶系统已经可以在结构化道路上(高速公路)高速自主驾驶,并具备了各种智能化功能。在庞大而复杂的现代交通系统中,保证行车安全是首要目标,汽车主动安全技术就是通过对车辆运行的各种参数进行监测、调节与控制来达到辅助驾驶的目的,而车道跑偏告警系统正是其中主要技术之一。

研究车道跑偏告警系统的目的是对车辆即将驶出车道的危险情况给出警报,这种危险状况大多是由于驾驶员精神不够集中或困倦、疲劳等原因引起的,属于无意识的偏离车道。因此,车道跑偏告警系统从根本上说是对驾驶员的不良驾驶状态给出警告，其中计算机视觉测量方法因为其直观、易用和可靠性成为一个主流的研究方向。该方法融合了人、车、路3个系统,通过研究车—路关系,进而反推得到人的状态。

车道跑偏告警系统直接依赖于汽车的行驶速度、方向和与车道线之间的距离。其中行驶速度容易直接从车上的电子系统提取，而行驶方向和与车道线的距离不易获得。吉林大学郭孔辉教授提出的单点预瞄最优曲率模型，利用车辆转向时的Ackerman几何关系和稳态转向时横垂面内力的平衡分别确定目标转向角和目标侧倾角，采用ADAMS软件建立了驾驶员—车辆闭环动力学模型，并按双移线和蛇行两种典型行驶工况进行仿真，所建立的驾驶员模型适用于单轨车辆人—车闭环控制模型的动力学仿真研究。 

由于目前基于图像分析的车道检测技术已经非常成熟，学者们提出了多种车道检测算法，即使在城市道路等复杂环境下，车道检测都具有良好的效果。由于在局部范围内，车道分布可近似为直线，本发明利用图像分析技术进行车道检测，得到车道线方程，并以摄像头为原点建立三维坐标系；结合摄像头安装的空间信息，依据针孔摄像机模型计算汽车相对车道线的偏转角和垂直距离，以车—道关系为依据获得汽车跑偏的预警信息，成为智能交通系统及自主驾驶中保障行车安全的重要技术环节。

发明内容

针对现有汽车跑偏预警方法模型复杂、计算量大、环境依赖性强的不足，本发明的目的是提供一种汽车偏离车道线角度和距离的视觉计算及预警方法，该方法利用图像分析技术完成车道检测，采用视觉计算方法得到汽车相对路面车道线的空间位置和行驶方向，作为智能驾驶中汽车跑偏的预警信息。

本发明包含以下步骤

a)将CCD视频摄像头沿汽车正前方向安装在车内或车顶，调整俯角和焦距使其对前方50m内路面清晰成像，记录摄像头的安装高度h和俯角θ；

b)由摄像头对路面进行连续拍摄采集到的路面图像序列，通过DSP的数字视频高速通道实现数据采集；

c)对路面图像中的车道线进行检测，包括：

图像边沿检测。利用两个5×5模板分别对图像进行乘—加运算，得到对应于水平和垂直方向的两幅梯度图像，由这两幅图像求出原图的边沿图像。边沿图像将凸显图像的轮廓特征，尤其是车道线的边沿信息；

图像的二值化。对边沿图像采用Otsu算法计算出自适应阈值，依据该阈值对图像进行黑白两色二值化处理；

③去除水平轮廓：为了减少白点数量从而降低后续处理计算量，依据车道线在画面中不会出现水平走向的特点，对水平边沿点进行合并，即对水平方向连续出现的白点只保留最左边第一个白点，从而删除水平边沿，降低白点数量，同时又不对车道检测效果产生影响；

④应用约束条件去点。根据实际车道线分布的亮度、宽度和连续性特征设定约束条件，进一步去除干扰点；

⑤得到车道线方程。经过上面一系列处理后，有效降低了白点数量。Hough变换是一种广泛采用的直线检测手段，它通过“投票”方式决定最可能的直线位置，本发明中用来实现车道线检测。在检测过程中再次引入约束条件，并设定最低票数，在满足票数条件的直线超过4条时，保留票数最高的4条直线作为车道候选线，最终得到0～4条车道线的直线方程；

d)对摄像头的焦距参数f进行标定。将安装好摄像头的车辆停在与车道线成已知角度的方向上，依据检测出的车道线方程计算出焦距f,用于后续车辆行驶过程中对偏转角和垂直距离的计算；

e)计算汽车相对车道线的偏转角β和垂直距离d：在汽车行驶过程中，对每帧图像的车道线进行实时检测并得到直线方程，依据步骤a)记录的高度h和俯角θ以及步骤d)定标得到的焦距f计算偏转角β和垂直距离d；

f)根据汽车的即时行驶速度以及步骤e)得到的偏转角β和距离参数d计算汽车超越车道线所需时间，设定报警阈值，若算得越线时间小于阈值，则给出警示信息，提醒驾驶员及时处理。

本发明专利述及方法的运行结果说明：

（1）目前的车道检测方法几乎都使用Hough变换的直线检测方法，由于Hough变换计算量大，影响了实时性。由于本方法中采用了多种有效的约束条件，使得参与Hough变换投票的点大为减少，一般只有数十个，提高了速度。实验证明完全可以满足实时检测要求；

（2）由于有效的约束条件去除了大部分非车道图像信息的干扰，所以本方法抗干扰能力强。实验证明在城市道路的复杂环境下同意具有较满意的可靠性；

（3）现场定标的方式，减少了由于摄像头本身的误差造成的影响，提高了准确性；

（4）角度计算方法采用几何计算形式，提高了计算速度。

总之，本方法相对目前的同类研究成果，在系统的环境适应性、计算速度、可靠性方面都有自己的特色，更有利于满足实际应用需求。

附图说明

图1是实验过程中CCD摄像头拍得的路面车道线实景图。

图2是步骤c)得到的车道检测结果。

图3是路面顶视示意图。

图4是路面侧视示意图。

图5是算法中采用的空间坐标系模型图。

具体实施方式

下面结合一个非限定性实例对本发明的实施过程作进一步的说明,参见图1、图2、图3、图4、图5。

本发明重在方法描述，实施中采用的实验装置，包括摄像头和DSP图像处理板采用市面上的通用设备实现，图像的采集、尺寸缩放也是流行的技术，不再做详细介绍。为保证实施过程描述的完整性，会涉及一些通用技术，不具有专利保护性质，将在权利要求书中明确说明。

本发明实施方式如下：

(a)沿汽车正前方向安装CCD视频摄像头，调整俯角和焦距使其对前方50m内路面清晰成像，记录摄像头的安装高度h和俯角θ,见图4。

(b)路面图像中的车道线检测，包括：

图像边沿检测：利用式(1)、(2)的两个5×5模板分别对图像进行乘—加运算，得到对应于水平和垂直方向的两幅梯度图像和,然后由公式得到边沿图像；边沿图像保留了图像的轮廓信息，尤其是车道线的边沿信息：

            (1)

            (2)

对边沿图像的二值化处理。对边沿图像采用Otsu算法计算出自适应阈值，并对图像进行二值化处理;

③去除水平轮廓。对二值图像进行水平方向扫描，考察连续两个点：若某点为白点，而前面相邻点为黑点，则保留该白点，将不满足此条件的所有点变为黑点，即将其灰度值清0。这样可以去除水平轮廓，大大降低白点数量，而且可以消除其它交通标志的干扰，同时不影响车道线检测效果;

④应用约束条件进一步消除白点。根据实际车道的特点设定约束条件，进一步去除干扰点。本发明中用了三个约束条件：第一，车道线较路面亮度高，车道线上像素点的灰度值与旁边道路上灰度值之差不小于20;第二，车道线的宽度约束，一般介于2～20个像素之间，而左右两边至少存在一个40个像素以上的空旷（无白点）区域；第三，连续性限制，白点在分布上应符合或近似符合（左右偏差不超过一个像素）直线特征。将不符合上述约束条件的白点删除;

⑤得到车道线方程。经过上面一系列处理后，有效降低了白点数量，然后采用Hough变换作直线检测。在此过程中，再引入约束条件：第一，限定图像中车道线数量不多于4根；第二，依据视觉原因，两条车道线的角度差不能小于5--；第三，车道线不能允许在画面的下方出现交叉；第四，对Hough变换的投票数量进行限定，小于15票认为是干扰信息。经过上面约束，选择票数最多的0～4条直线为车道线。以图像中心为原点，计算出每条车道线在图像平面内的直线方程。其中为横坐标，为纵坐标，为斜率，为截距。见图1、图2。

（c）对摄像头的焦距参数进行标定：参见图3，将安装好摄像头的车辆停在一个与车道线所成角度β已知的方向上，依据检测出的车道线方程，连同步骤a)记录的θ值，依据式(3)计算出焦距f（说明：式(3)由β=45--导出）,用于后续车辆行驶过程中对偏转角和距离的计算：

                      (3)。

（d）计算汽车相对车道线的偏转角β和垂直距离d，见图3。在汽车行驶过程中，对每帧图像的车道线进行实时检测并得到直线方程，依据步骤a)记录的高度h和俯角θ以及步骤d)定标得到的焦距f，借助图5所示的空间坐标系，采用针孔摄像机模型可以推导出偏转角β和垂直距离d的计算公式，见式(4)、(5)：

                 (4)

                 (5)

若出现多条车道线，可以计算汽车相对每条车道线的偏转角和垂直距离。

(e)根据汽车的即时行驶速度以及步骤e)得到的β和d计算汽车超越车道线所需时间t,见式(6)

                       (6)

设定T为报警时间，T与驾驶员的反应速度及汽车制动效果有关，当t<T时，给出警示信息，从而保障汽车的行驶安全。