法律状态公告日
法律状态信息
法律状态
2019-06-11
未缴年费专利权终止 IPC(主分类):G06K9/00 授权公告日:20170905 终止日期:20180626 申请日:20140626
专利权的终止
2017-09-05
授权
授权
2014-11-26
实质审查的生效 IPC(主分类):G06K9/00 申请日:20140626
实质审查的生效
2014-10-22
公开
公开
技术领域
本发明涉及一种用于车道偏离预警系统的车道线检测方法,尤其是一种可根据拍摄场景自动调节相机内部参数、识别率高且实行性好的用于车道偏离预警系统的车道线检测方法。
背景技术
基于视觉传感器的车道偏离预警系统是汽车主动安全技术研究的重要组成部分之一,该系统的主要目的是警告精神疲劳或注意力不集中的驾驶员,避免驾驶员无意识的偏离车辆行驶车道,从而减少车辆偏离行驶车道事故的发生。目前,用于车道偏离预警系统的车道线检测方法是用相机自动采集图像并对图像进行预处理,之后用Hough变换车道线检测算法进行当前车道线检测,检测到车道线,则计数器S2加1,然后判断计数器S2是否大于阈值TA2(帧);是,则进入车道线跟踪状态,计数器S2清零;否则,计数器S2直接清零;如进入车道线跟踪状态,则判断是否跟踪到车道线;是,则计数器S3加1;否则,计数器S3清零;判断计数器S3是否大于阈值TA3(帧);是,计数器S3清零并输出预警处理信号,由计算机进一步处理,进而判断是否发出报警信号;否则,计数器S3直接清零。由于车道偏离预警系统主要应用于高速公路等交通环境,而车辆在高速公路运动的典型特点就是行驶速度快、光照不断变化,通过相机采集到的图像内容复杂,噪声较多,然而现有的车道线检测方法并不能根据拍摄场景自动调节相机内部参数,导致识别率低、准确性差。而传统的Hough变换车道线检测算法对直线道路模型中的缺损部分、噪声以及其它共存的非直线结构不敏感,计算量大,实时性差。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种可可根据拍摄场景自动调节相机内部参数、识别率高且实行性好的用于车道偏离预警系统的车道线检测方法。
本发明的技术解决方案是:一种用于车道偏离预警系统的车道线检测方法,其特征在于依次按如下步骤进行:
a. 相机按照设定频率自动采集一帧图像,计数器S1加1;
b. 对所采集的每帧图像进行预处理;
c. 对当前车道线进行检测;
d. 检测到车道线,则计数器S2加1;否则,计数器S2清零,同时确定检测特征区域并计算特征值,根据特征值调节相机参数;
e. 判断计数器S2是否大于阈值TA2;是,则进入车道线跟踪状态,计数器S2清零;否则,计数器S2清零,同时确定检测特征区域并计算特征值,根据特征值调节相机参数;
f. 判断是否跟踪到车道线;是,则计数器S3加1;否则,计数器S3清零,同时确定跟踪特征区域并计算特征值,根据特征值调节相机参数;
g. 判断计数器S3是否大于阈值TA3;是,计数器S3清零并输出预警处理信号;否则,计数器S3清零,同时确定跟踪特征区域并计算特征值,根据特征值调节相机参数。
所述b步骤如下:采用自适应阈值分割方法确定的分割阈值T3对图像进行二值化处理,将图像中灰度值大于该阈值的点赋值为255,即在图像中呈现白色的点;而将小于该阈值T3的点赋值为0,即在图像中呈现黑色的点;最后再对二值化图像中的孤立点进行过滤。
所述c步骤是利用改进Hough变换方法进行当前车道线检测,具体步骤如下:
c1车道线种子点的选取及归类
c11设定一个二维数组Seeds[g*r],此数组表示种子点的横坐标,其中g表示种子点组数,即最多车道线条数;r表示扫描行数,将数组初始化为0;
c12 自下而上,自左向右对图像进行扫描,当扫描到白点时,设其坐标为(xj, yj),继续扫描,并开始进行计数,直到扫描到像素值为0的点,设此时统计白点个数为s,取其中间像素为种子点
当yj<W4时,则对yj之前的所有车道线组数内的Seeds值与该种子点的横坐标值进行比较,若小于阈值T4,则将该种子点归类到此车道线数组下,若大于阈值T4,则将其归类到新的车道线数组中;当yj>W4时,则对yj之前的前W4行车道线数组内的Seeds值与该种子点的横坐标值进行比较,归类原理同上;
设该种子点所归类的车道线数组为gi,则需要保留车道线数组数据(Seeds[gi* yj], yj),然后从所扫描到的0像素点开始,继续向下扫描,直至完成当前行扫描;
c13 继续向上扫描,直至完成所有种子点的选取和归类;
c2 对各组种子点进行Hough变换
c21 将(ρ, θ)参数空间量化,建立一个二维累加数组A(n1,m1);
c22 初始化二维数组,然后对种子点进行Hough变换,让每个点遍历θ轴上所有值,并计算其对应的ρ值,将其对应的数组元素值加1;
c23 比较数组元素值的大小,最大值所对应的(ρi, θj)就是所要求取得直线所对应的参数。
C3 利用一定的约束提取当前车道线
确定左侧车道线和右侧车道线出现的角度范围,左侧车道线的角度θl∈(π/2, π),右侧车道线的角度θr∈(0, π/2),车道线离开图像中心线越远,左侧θl值越小,右侧θr值越大,根据(ρi, θj),分别求取(0, π/2)内的最小值和(π/2, π)内的最大值,然后再根据各(ρ, θ)值计算相应的斜率和截距,求取的直线即为当前车道线。
所述确定检测特征区域具体步骤如下:将所采集的图像划分为上左、上右、下左及下右四个矩形区域并确定JA、JB和JC三个特征区域,所述区域JA为位于图像下左及下右中央的正方形区域,其边长为图像高度的四分之一;所述区域JB是一个宽度为W1个像素、倾角为J1度的矩形区域与图像下左区域重叠的多边形区域;所述区域JC是一个宽度为W1个像素、倾角为180-J1度的矩形区域与图像下右区域重叠的多边形区域;
所述确定跟踪特征区域的具体步骤如下:将所采集的图像划分为上左、上右、下左及下右四个矩形区域并确定JA、JB和JC三个特征区域,所述区域JA为位于图像下左及下右中央的正方形区域,其边长为图像高度的四分之一;由六个特征点P1、P2、P3、P4、P5、P6确定的两个动态特征区域JB、JC:所述特征点P1为上一帧图像检测到的左、右车道线交叉点P0向左平移W2个像素;所述特征点P2为上一帧图像检测到的左、右车道线交叉点向右平移W2个像素;所述特征点P3为上一帧图像检测到的左侧车道线向左平移W2个像素与图像左侧边缘的交点;所述特征点P4为上一帧图像检测到的左侧车道线向右平移W2个像素与图像底部边缘的交点;所述特征点P5为上一帧图像检测到的右侧车道线向左平移W2个像素与图像底部边缘的交点;所述特征点P6为上一帧图像检测到的右侧车道线向右平移W2个像素与图像右侧边缘的交点;特征点P1、特征点P2、特征点P3和特征点P4形成的封闭区域为特征区域JB;由特征点P1、特征点P2、特征点P5和特征点P6形成的封闭区域为特征区域JC;
所述计算特征值是分别统计每个特征区域的灰度均值作为该特征区域的特征值。
所述根据特征值调节相机参数的具体步骤如下:
设相机最小灰度值为TB1、相机最大灰度值为TB2;
如果特征区域JA、JB和JC的特征值均小于指定阈值TB1,增加摄像机亮度和增益,直至特征区域JB和JC特征值的最小值大于指定阈值TB1;
如果特征区域JA、JB和JC的特征值均大于指定阈值TB2,减小摄像机亮度和增益,直至特征区域JB和JC特征值的最大值小于指定阈值TB2;
如果特征区域JA的特征值大于指定阈值TB2且特征区域JB和JC的特征值的最大值小于指定阈值TB1,增加摄像机亮度和增益,直至特征区域JB和JC特征值的最小值大于指定阈值TB1;
如果特征区域JA的特征值小于指定阈值TB1且特征区域JB和JC的特征值的最小值大于指定阈值TB2,减小摄像机亮度和增益,直至特征区域JB和JC特征值的最大值小于指定阈值TB2;
否则,不调节相机内部参数。
与现有技术相比,本发明具有如下优点:
(1)本发明提出的基于相机内部参数智能调节方法,能够更好地适应不同光照条件,增强车道线与路面对比度,减少路面上的噪声及干扰,弥补后续Hough变换车道线检测算法计算量大的不足点,识别率高、实时性好;
(2)本发明提出的基于种子点选取的改进Hough变换车道线检测算法,并利用角度约束来确定当前车道线,能够有效减少算法运行时间,提高识别准确性,从而有利于提高车道偏离预警系统的预警准确率。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例中车道线检测阶段图像特征区域确定方法示意图。
图3是本发明实施例中车道线跟踪阶段图像特征区域确定方法示意图。
具体实施方式:
如图1所示,
依次按如下步骤进行:
a. 同现有技术一致,相机按照设定频率自动采集一帧图像,计数器S1加1,图像分辨率为320X240像素;
b. 对所采集的每帧图像进行预处理;
采用自适应阈值分割方法确定的分割阈值T3对图像进行二值化处理,将图像中灰度值大于该阈值T3的点赋值为255,即在图像中呈现白色的点;而将小于该阈值T3的点赋值为0,即在图像中呈现黑色的点;由于车道线部分的灰度值较高,经过二值化处理之后图像中的白色可能就是车道线上的点,最后再对二值化图像中的孤立点进行过滤。
c. 对当前车道线进行检测;
本发明实施例是利用改进Hough变换方法进行当前车道线检测,具体步骤如下:
c1车道线种子点的选取及归类
c11设定一个二维数组Seeds[g*r],此数组表示种子点的横坐标,其中g表示种子点组数,即最多车道线条数;r表示扫描行数,车道线一般在图像下半部分,因此将r设为图像高度的一半,即r=120,将数组初始化为0;
c12 自下而上,自左向右对图像进行扫描,当扫描到白点时,设其坐标为(xj, yj),继续扫描,并开始进行计数,直到扫描到像素值为0的点,设此时统计白点个数为s,取其中间像素为种子点
考虑到车道线有间断线的情况,同一车道线上的种子点可能相隔多个扫描行,因此采用如下策略进行归类:当yj<30时,则对yj之前的所有车道线组数内的Seeds值与该种子点的横坐标值进行比较,若小于阈值T4(20),则将该种子点归类到此车道线数组下,若大于阈值T4(20),表示出现了新的车道线,则将其归类到新的车道线数组中;当yj>30时,则对yj之前的前30行车道线数组内的Seeds值与该种子点的横坐标值进行比较,归类原理同上;
设该种子点所归类的车道线数组为gi,则需要保留车道线数组数据(Seeds[gi* yj], yj),然后从所扫描到的0像素点开始,继续向下扫描,直至完成当前行扫描;
c13 继续向上扫描,直至完成所有种子点的选取和归类;
c2 对各组种子点进行Hough变换
c21 将(ρ, θ)参数空间量化,建立一个二维累加数组A(n1,m1);
ρ, θ分别是极坐标下的极径和夹角;
c22 初始化二维数组,然后对种子点进行Hough变换,让每个点遍历θ轴上所有值,并计算其对应的ρ值,将其对应的数组元素值加1;
c23 比较数组元素值的大小,最大值所对应的(ρi, θj)就是所要求取得直线所对应的参数,这样,只要求取出每车道线数组下的参数(ρi, θj)即可。
c3 利用一定的约束提取当前车道线
确定左侧车道线和右侧车道线出现的角度范围,左侧车道线的角度θl∈(π/2, π),右侧车道线的角度θr∈(0, π/2),车道线离开图像中心线越远,左侧θl值越小,右侧θr值越大,因此,可以按照这一规律进行当前车道线的提取。根据(ρi, θj),分别求取(0, π/2)内的最小值和(π/2, π)内的最大值,然后再根据各(ρ, θ)值计算相应的斜率和截距,求取的直线即为当前车道线。
d. 检测到车道线,则计数器S2加1;否则,计数器S2清零,同时确定检测特征区域并计算特征值,根据特征值调节相机参数;
确定检测特征区域如图2所示:将所采集的图像划分为上左、上右、下左及下右四个矩形区域并确定JA、JB和JC三个特征区域,所述区域JA为位于图像下左及下右中央的正方形区域,其边长为图像高度的四分之一(60个像素),该区域图像的特征值可表示车辆前方路面的明暗情况;所述区域JB是一个宽度为100个像素、倾角为35度的矩形区域与图像下左区域重叠的多边形区域该区域主要包含左侧车道线可能出现的区域,其特征值可在一定程度上表示左侧车道线周围图像的明暗情况;所述区域JC是一个宽度为100个像素、倾角为145度的矩形区域与图像下右区域重叠的多边形区域,该区域主要包含右侧车道线可能出现的区域,其特征值可在一定程度上表示右侧车道线周围图像的明暗情况。
计算特征值是分别统计每个特征区域的灰度均值作为该特征区域的特征值,其计算公式如下:
根据特征值调节相机参数的具体步骤如下:
设相机最小灰度值为TB1(70个像素)、相机最大灰度值为TB2(180个像素);
如果特征区域JA、JB和JC的特征值均小于指定阈值TB1,说明图像整体偏暗,需要调节相机内部参数来提高整幅图像尤其是可能存在车道线区域的灰度值,此时需要按一定的步长增加摄像机亮度和增益,直至特征区域JB和JC特征值的最小值大于指定阈值TB1;
如果特征区域JA、JB和JC的特征值均大于指定阈值TB2,说明图像整体偏亮,需要调节相机内部参数来降低整幅图像尤其是可能存在车道线区域的灰度值,此时需要按一定的步长减小摄像机亮度和增益,直至特征区域JB和JC特征值的最大值小于指定阈值TB2;
如果特征区域JA的特征值大于指定阈值TB2且特征区域JB和JC的特征值的最大值小于指定阈值TB1,说明车道线周围区域图像偏暗,此时需要按一定的步长增加摄像机亮度和增益,从而增加车道线区域的车道线与路面区域的对比度,直至特征区域JB和JC特征值的最小值大于指定阈值TB1;
如果特征区域JA的特征值小于指定阈值TB1且特征区域JB和JC的特征值的最小值大于指定阈值TB2,说明车道线周围区域图像偏亮,此时需要按一定的步长减小摄像机亮度和增益,从而增加车道线区域的车道线与路面区域的对比度,直至特征区域JB和JC特征值的最大值小于指定阈值TB2;
否则,不调节相机内部参数。
e. 判断计数器S2是否大于阈值TA2(10帧);是,则进入车道线跟踪状态,计数器S2清零;否则,计数器S2清零,同时确定检测特征区域并计算特征值,根据特征值调节相机参数,具体方法同d步骤;
f. 判断是否跟踪到车道线;是,则计数器S3加1;否则,计数器S3清零,同时确定跟踪特征区域并计算特征值,根据特征值调节相机参数;
如图3所示,确定跟踪特征区域的具体步骤如下:将所采集的图像划分为上左、上右、下左及下右四个矩形区域并确定JA、JB和JC三个特征区域,所述区域JA为位于图像下左及下右中央的正方形区域,其边长为图像高度的四分之一(60个像素),该区域图像的特征值可表示车辆前方路面的明暗情况;由六个特征点P1、P2、P3、P4、P5、P6确定的两个动态特征区域JB、JC:所述特征点P1为上一帧图像检测到的左、右车道线交叉点P0向左平移30个像素;所述特征点P2为上一帧图像检测到的左、右车道线交叉点向右平移30个像素;所述特征点P3为上一帧图像检测到的左侧车道线向左平移30个像素与图像左侧边缘的交点;所述特征点P4为上一帧图像检测到的左侧车道线向右平移30个像素与图像底部边缘的交点;所述特征点P5为上一帧图像检测到的右侧车道线向左平移30个像素与图像底部边缘的交点;所述特征点P6为上一帧图像检测到的右侧车道线向右平移30个像素与图像右侧边缘的交点;特征点P1、特征点P2、特征点P3和特征点P4形成的封闭区域为特征区域JB,该区域包含左侧车道线可能出现的区域,其特征值可在一定程度上表示左侧车道线周围图像的明暗情况;由特征点P1、特征点P2、特征点P5和特征点P6形成的封闭区域为特征区域JC,该区域包含右侧车道线可能出现的区域,其特征值可在一定程度上表示右侧车道线周围图像的明暗情况。
计算特征值以及根据特征值调节相机参数的方法同d步骤;
g. 判断计数器S3是否大于阈值TA3(5帧);是,计数器S3清零并输出预警处理信号;否则,计数器S3清零,同时确定跟踪特征区域并计算特征值,根据特征值调节相机参数,具体方法同f步骤。
机译: 车道线检测方法和系统,以及车道偏离预警的方法和系统
机译: 预测车道线的方法和使用该方法的车道偏离预警系统
机译: 用于通过使用控制器来预先感测到交通车道的偏离并向着车道偏离方向的相反方向产生辅助转向转矩来维护交通车道的系统和方法