法律状态公告日
法律状态信息
法律状态
2022-08-09
未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL201510524765X 申请日:20150824 授权公告日:20181207
专利权的终止
2018-12-07
授权
授权
2016-01-13
实质审查的生效 IPC(主分类):G06K9/00 申请日:20150824
实质审查的生效
2015-12-16
公开
公开
技术领域
本发明涉及一种基于图像形态学分割及区域生长的三车道检测方法,属于车载视觉相 关领域。
背景技术
为避免由驾驶员不当驾驶行为而造成的交通事故并解放人类的驾驶行为,能够自主规 划并执行驾驶行为的智能车辆的研究逐渐被人们重视。近年来,在很多国家的相关科研院 所及车辆厂商均设有智能车的开发研究机构。智能车技术在以美国为首的部分国家已经得 到了政府机构的大力重视,例如12年美国内华达州车辆管理局已经开始为智能车发放行驶 牌照,同一时期,德国的智能车也得到了柏林政府的行驶许可,这些都意味着智能车的产 业化及产品化的逐步临近。同样在我国,国防科大的HQ3及清华大学的THMR-V等为代表的 智能车已经通过一系列道路试验,技术日趋成熟。车载环境感知系统作为智能车的输入采 集设备,起到了传统驾驶中代替人类感官的重要功能。为保证智能车安全行驶,车载环境 感知系统需要采集设备及算法的有效支撑。
常用的车载环境感知系统中包含了定位系统及局部环境感知系统两个方面,前者主要 以全球定位系统(GPS)为主,并辅助以惯性导航等;后者主要包括车载激光雷达(LIDAR) 及车载机器视觉(VISION)系统。其中,机器视觉系统主要起到行车环境监控的作用,其 中包括了行车道路环境以及障碍物信息。当前常见的基于车载视觉的车道检测系统主要是 以模型或特征的方法得到车辆所在车道的左右两条标志线信息,从而对智能车进行局部路 径规划。然而由于城市道路一般都是较为复杂的多车道行车环境,所以这种单一车道检测 的研究有很大的局限性。所以在此基础上有部分学者展开了对于多车道检测的研究,而其 中三车道模型由于其可随车辆位置而扩展至整个路面范围而最具代表性。而相对于单车道 的简单环境,对于左中右三条车道的车道标识线的检测则更容易受到复杂环境的影响,从 而降低检测稳定性。其中,三车道检测的干扰因素主要来自于行车环境干扰及车道标识线 间干扰这两个方面,前者主要原因是道路标志线受路面车辆、其它标志及周边环境的影响, 从而造成遮挡或易于其它物体混淆;后者主要由于多车道环境的车道标识线数目较多,相 互间难以界定。
基于图像形态学分割及区域生长的三车道检测方法首先通过图像形态学预处理对车 道标识线进行分割以降低环境干扰,而后以直线为基础分别对每条车道线进行区域生长以 寻找车道线标志点,最终以每条车道线的标志点为基础对车道线进行拟合,得到精准稳定 的车道信息。
发明内容
针对多车道环境的复杂性,以及多车道标识线间相互干扰的问题,提出了一种基于图 像形态学分割及区域生长的三车道检测方法。采用该方法的机器视觉系统可以在实际复杂 道路情况下有效识别三车道的车道标识线,提高了车道识别的可靠性和准确性。
一种基于图像形态学分割及区域生长的三车道检测方法,包括以下步骤:
步骤1,图像预处理。
步骤1.1:图像灰度化。
步骤1.2:图像滤波。
由于行车环境噪声及硬件噪声的影响,图像中包含了部分噪声信息,需对噪声进行滤 波。采用双边滤波器(Bilateralfilter)对图像滤波,这样在滤除噪点的同时能够尽可能的 保存图像中物体的边缘信息。
步骤1.3:感兴趣区(ROI)选定。
摄像头捕捉的智能车辆前方道路图像中包含了部分天空、建筑等无用的图像信息,需 要首先划定感兴趣区域(ROI),以对车道范围进行初步划定,在减少了无用信息的同时 也加快了图像处理速度。在视频流中,根据上一个视频帧的车道消失线位置确定当前视频 帧的感兴趣区范围。
步骤2,车道标识线分割。
步骤2.1:图像形态学变换。
步骤2.2:边缘提取。
对经图像形态学变换而得到的图像进行Canny边缘提取,以得到整齐的车道标识线轮 廓。
步骤3,车道标识线范围界定。
步骤3.1:直线搜寻。
经预处理的图像包含了车道标识线信息及少数干扰信息,采用投票的方法以直线为基 础寻找车道标识线轮廓边缘以确定每条车道标识线边缘的大体位置。采用Hough变换(HT) 在Canny边缘图像中搜寻呈直线特征的边缘。
步骤3.2:消失点约束直线。
将Hough线以加权最小二乘法(WLS)拟合交点作为道路消失点,以消失点为中心建 立中心圆,以中心圆筛选Hough线。
步骤3.3:直线聚类。
为了将由同一条车道标识线而产生的多条边缘线合并,且将相近的直线归为一类,通 过DBSCAN在极坐标中对直线聚类。
步骤3.4:直线模板匹配。
对分类后的直线以位置及极角进行分类,对应三车道模型的四条车道标识线,从而确 定车道标识线的搜寻范围。
步骤4,车道标识线拟合。
步骤4.1:车道标识线区域生长。
在这里分近视景区及远视景区,对于近视景区以直线模板为基础建立单一矩形车道线 ROI区域,对于远视景区,以区域生长的方法建立若干相连通的矩形车道线ROI区域。
步骤4.2:车道标识线特征点提取。
在所得ROI区域内,以灰度值为特征寻找车道线点,并对多个目标点进行合并。
步骤4.3:最小二乘法(LS)拟合车道线。
与现有方法相比,本发明具有以下优点:
(1)本方法针对于复杂的多车道环境提出了基于图像形态学的道路图像预处理方法, 该方法利用了车道标识线的灰度及形状特征对车道线有效分割,用于提高车道检测的抗干 扰性。此外,该方法不依赖于图像整体灰度,可以在夜间及强光条件下应用,也提高了该 车道检测方法的环境适应性;
(2)在直线筛选及分类过程中,采用最小二乘法拟合消失点及DBSCAN聚类方法, 进一步提升直线识别算法的抗干扰性;
(3)本发明区别于传统三车道检测方法,采用“两步式”的方法,即首先以区域生 长的方法确定每条车道标识线的ROI区域,而后在ROI区域内搜寻车道标识线特征点,该 方法能够有效克服由车道线间相互影响而带来的误识别问题。
附图说明
图1为车载视觉系统框架示意图;
图2为本发明所涉及的方法流程图;
图3为图像形态学变换算法示意图;
图4为图像形态学处理结果图;
图5为车道线匹配模板示意图;
图6为车道线ROI生长示意图;
图7为基于图像形态学分割及区域生长的三车道检测方法结果图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
基于图像形态学分割及区域生长的三车道检测方法系统架构示意图如图1所示。本发 明所述方法的流程图如图2所示,包括以下步骤:
步骤1,图像预处理。
步骤1.1:图像灰度化。
基于图像形态学分割及区域生长的三车道检测方法利用车道标识线灰度信息对其进 行提取。利用车道标识线的灰度及形状信息即将其与道路范围内的其他物体进行区分,所 以这里使用灰度图像进行道路识别算法。此外,相对于三通道的彩色图像,灰度图像能够 保证方法的实时性。采用加权平均法,如式(1),对摄像头采集的原始图像进行灰度化 处理。
PGray=0.299×PRed+0.587×PGreen+0.144×PBlue(1)
其中,PGray为像素点灰度值;PRed、PGreen、PBlue分别为彩色图中像素点的红、绿、蓝 分量。该方法利用更加接近于人类感知的加权算式对图像进行灰度化,贴近观测值。下述 步骤均在该灰度图像中完成。
步骤1.2:图像滤波。
为了在滤除噪点的同时能够尽可能的保存图像中一些重要物体的边缘信息,如车道、 道路边缘、车辆等,采用双边滤波器(Bilateralfilter)对步骤1.1得到的灰度图像进行滤波。
其中,双边滤波器的输出为像素点邻域的加权组合,其特点是经双边滤波的图像像素 点的灰度值与其周边的像素点加权相关,且权值取决于像素点与周边像素点灰度值是否接 近,也就是说当目标像素点与周边像素点灰度相近时滤波作用明显;反之,滤波作用较弱。
该方法适用于该车道检测方法,由于方法检测对象为道路标识线信息,并不关注如标 识线或道路范围内部细微的纹理信息,所以通过双边滤波可以消除道路标识线及道路的纹 理信息。
步骤1.3:感兴趣区(RegionOfInterest)选定。
摄像头拍摄的原始图像中包含了车道以及车道上方的大部分天空、建筑及周边环境区 域,这些区域在道路识别过程中不包含有用信息,所以为提高运算速度,确保智能车行驶 的实时性,在图像预处理阶段将这些部分进行去除,将感兴趣区定义为图像下方包含车道 范围的矩形区域。
根据视频连贯性,在视频初始图像帧不设定感兴趣区域,在之后的第i帧图像中,根据 i-1帧车道标识线的消失点位置设定感兴趣区上部边缘。为保证道路截取的完整性,实验 中对消失点向y轴负方向取35像素的余量。感兴趣区为矩形,左右及下部边缘与图像边 缘一致。
其中,TROI(i)为第帧感兴趣区上部边缘位置,Yi-1表示第i-1帧消失点y值。下述步骤 均在该ROI区域内进行。
步骤2,车道标识线分割。
步骤2.1:图像形态学变换。
经预处理后,得到了经滤波及ROI限定的灰度图像,为了将目标车道标识线与道路及 周边环境进行区别,对图像进行车道标识线进行分割。区别传统基于灰度阈值的分割方法, 本专利采用基于灰度级微分和目标形状的方法,利用车道线的灰度及形状特征对其进行分 割。
在上述灰度图像感兴趣区中进行图像形态学变换,如式(3)。
T(f)=f-(fοb)(3)
式中f为原图像数据,b为图像形态学内核,符号“ο”表示以内核对原图做开运算(Open Operation)。其中开运算可分解为腐蚀运算(ErosionOperation)和膨胀运算(dilation Operation)两种图像形态学运算。
其中符号表示以内核对原图做腐蚀运算,符号表示以内核对原图做膨胀 运算。腐蚀与膨胀运算定义如式(5)、(6)。其中b(m,n)为内核在(m,n)点的灰度值, 当(m,n)在核b范围内时b(m,n)取1,反之取0。
其中符号“∧”表示逻辑与运算,“∨”表示逻辑或运算。可以看到膨胀就是核b对图 像f的图像卷积,腐蚀与膨胀互为逆运算。
图3可看出,经上述运算后,图像中灰度值相对邻域较大,且宽度范围比图像形态学 内核h窄的区域将会被分割,而其余部分的灰度值将被消除。
根据上述条件,对该运算内核进行调整,以用于车道线分割。首先针对车道线大体呈 纵向排列的规律选用1×Lcore的矩形内核,以确保横向排列且纵向范围较窄的物体不会被 内核b分割。此外,车道线可以通过上述分割的条件如式(7)所示。
且Lcore为整数(7)
整理得
其中,Lcore为横向内核尺寸,Lline为车道线横向宽。另外,根据摄像机的成像模型 可得图像中第y行车道线宽度最大值Lline:
其中,λ为车道线实际宽度,h为摄像头光轴距地面的高度,d为摄像头前瞻距,为相 机焦距,τ为相机像素点距,为图像上边界纵坐标,yt为图像下边界纵坐标值。
沿y方向将图像分为k个区域,在第ω(ω=1,2,3...)个区域式(9)可改写为:
将式(10)带入式(8),取满足条件的最小的Lcore,即
图4为经上述变内核的图像形态学处理前后的道路实对比图。
步骤2.2:边缘提取。
为获取经图像形态学分割的车道标识线的位置信息,需要对车道标识线进行描述。在 步骤2.1的基础上对车道标识线进行边缘提取。这里采用线性模型对车道标识线进行表述, 即寻找车道标识线的左右边界线用以描述车道标识线位置。这里采用Canny算子对图像进 行边缘提取,得到车道标识线边界图。
步骤3,车道标识线范围界定。
步骤3.1:直线搜寻。
在上述车道标识线边界图中采用投票的方法以直线为基础寻找车道标识线轮廓边缘 以确定每条车道标识线边缘的大体位置。采用一种改进Hough变换在Canny边缘图像中搜 寻呈直线特征的边缘。方法如下:
(1)在Canny图像中寻找边缘点,假设边缘点数目为N。
(2)对点Pi(xi,yi)(i=1,2,…,N),都有对应的ρ=xicos(θ)+yisin(8),在极坐标系ρ-θ 中画出这N个点所得到的N个方程。
(3)在极坐标系ρ-θ中得到上述N个方程的落点分布函数G(ρ,θ)G(ρ,θ)表示了在 极坐标系中上述N条曲线经过点(ρ,θ)处的次数。
(4)设P(ρ,θ)=G(ρ,θ)f(θ),即在θ轴方向对G(ρ,θ)进行加权调整,权值也就是分布 函数f(θ)。
(5)以Hough阈值γ对P(ρ,θ)进行分割,当Pi(ρi,θi)≥γ时,在ρ-θ坐标系中保留 该点。
(6)将所有经分割并保留的Pi(ρi,θi)转换至图像坐标系,对应 ρi=xcos(θi)+ysin(θi)
其中,f(θ)为Hough变换的加权调整函数。
步骤3.2:消失点约束直线。
经步骤3.1中改进Hough所得的直线符合车道线所呈大体角度,但仍会因为路面文字 或周边道路而存在部分干扰直线,这里采用消失点的方法对上述步骤中所得直线进行二次 约束吗,同时产生的消失点也用作下一帧的ROI设定。消失点为道路车道标识线在图像远 方的交点,在工程中可通过消失点对车道标识线进行筛选,即在Hough直线簇中保留通过 消失点周边的直线,认定这些直线为车道标识线。
以加权最小二乘法(WLS)拟合步骤3.1中的Hough线,得到的交点作为道路消失点。
假设消失点距离直线的误差
ε=y-Kx-B(13)
构造误差函数Q,
其中,N1为步骤3.1后所剩Hough线个数,Kα、Bα为直线参数。当误差函数取极值时 认为消失点处于实际位置。
整理得第i帧消失点位置:
其中,Wα为加权最小二乘法权值,使该权值反比于直线与第i-1帧消失点距离,即:
以消失点为圆心,半径45像素点作圆,保留步骤3.1中通过该圆的直线。
步骤3.3:直线聚类。
为了将由同一条车道标识线而产生的多条边缘线合并,将极角及空间位置相近的直线 归为一类,通过DBSCAN在极坐标中对直线聚类。在直线的ρθ参数空间内,设置聚类 半径为r=14,最小聚类点数为1,以DBSCAN对直线在参数空间投影点进行聚类。对第β 类的M条直线进行合并:
其中,(ρG,θβ)为第β类直线在极坐标下的合并点。将上述经聚类的直线点转化至图像 坐标系,得到了数条直线。
步骤3.4:直线模板匹配。
对步骤3.3所得直线进行模板匹配。图5为直线模板图示,将上述步骤分类后的直线 以位置及极角进行分类,与图中四条车道线所在直线的位置进行匹配,匹配步骤如下:
(1)以直线极角θ为依据分别匹配四条车道线。
(2)匹配顺序为内车道线一、内车道线二、外车道线一、外车道线二。
(3)在中线某一侧无法匹配到车道线的情况下,置内车道线为该侧通过消失点的水 平线。
(4)在中线一侧存在内车道线但无外车道线的情况下。
(5)中线的每一侧最多匹配两条车道线,删除多余未被匹配的车道线。
以所得的直线模板为基础进行下述步骤的车道标识线拟合。
步骤4,车道标识线拟合。
步骤4.1:车道标识线区域生长。
经过模板匹配后,四条直线分别粗略标定了四条车道线的大体位置,以该模板为基础 建立车道标识线ROI区域,并利用该ROI区域搜寻车道线标识点。
在摄像头捕捉的车道图像中,由于投影变换,车道标识线线在图像下方呈现大体直线 的特征,利用这一特征分近视景区与远视景区建立标识线感兴趣区,在近视景区根据步骤 3.4所得直线建立一个以直线为中心的矩形ROI区域;在远视景区采用区域生长的方法以 多个矩形ROI迭代的方法根据车道线实际形状组成感兴趣区。如图6。
其中,近视景区ROI以模板为基础得到,远视景区ROI与远视景区特征点一起以递归 方法得出。
步骤4.2:车道标识线特征点提取。
在所得ROI区域内,以灰度值为特征寻找车道线点,并对多个目标点进行合并。
其中,道路实际宽度为Dlane取3米,设车道标识线ROI宽度Droi-δDlane,比例系数δ 取0.25。定义近视景区ROI区域为矩形,以步骤3所得4条(或小于4条)直线模板为 ROI中轴,Droi为半径建立矩形区域,定义为ROIO。在远视景区,第l(l≥1)个ROI区域及 其特征点迭代求解过程如下:
(1)取ROIt-1区域内所求的y值最小的车道线点P(x,y)作为第t个区域的种子点St;
(2)以St为种子点,Dlane/2为半径得到ROIt:
(3)在ROIt内以坐标轴y的负方向进行逐行扫描,在第y0行扫描出多个边缘点 Γ1(x1,y0),Γ2(x2,y0),…,ΓZ(xZ,y0),(Z≥1)时取在第y行无边缘点的 情况下删除Py(x,y);
(4)处理第t+1个区域。
步骤4.3:最小二乘法(LS)拟合车道线。
经上述步骤后得到对应四条车道标识线的特征点集合,对这四个特征点集分别以三次 曲线模型拟合车道线,模型如下:
f(x)=a0x3+a1x2+a2x+a3(21)
构造曲线
y=f(x)+ε0(22)
其中误差为ε,误差平方和
取极值求解得
其中,D为所拟合曲线的特征点数目。
经拟合后的四条曲线车道标识线信息送至上位机进行决策以执行底层局部路径规划, 此外曲线信息在输出显示模块与相机输入图像叠加于车载显示模块输出显示。图6为采用 基于图像形态学分割及区域生长的三车道检测方法所识别的车道线的输出显示结果。
以如下平台验证专利算法有效性:IntelCORETMl5-2450MCPU2.50GHz,内存 4.00GB。借助Visiostudio2008及OpenCV平台对5段连续的视频进行实验,以图像为单 位统计,样本共计4854张,图像大小为640*480。本文算法成功率为95.7%。平均运行时 间为21.1ms,满足应用的实时性要求。其中图像形态学预处理1.1ms,车道线识别共计 9.8ms,边侧车道判定0.3ms其余为传统滤波预处理、Canny算法及显示等耗时。
对比于传统的基于灰度值的图像预处理方法,在实验中单独验证了本文的图像形态学 车道标识线分割算法:在传统的“灰度化-二值化”图像预处理环节中加入本专利中的变内 核图像形态学车道标识线分割算法作为实验组,以传统的“灰度化-二值化”预处理作为参 照组,并抽取实验组中的随机80张图像进行同样方法的车道检测实验,实验结果如表1 所示:
表1:车道标识线分割算法性能对比
其中,含基于图像形态学车道标识线分割算法的车道线检测有效避免了传统算法中绝 大多数由于环境或路面其他车辆干扰而产生的误检。
机译: 车道分割线检测装置,车道分割线检测方法及线分割线检测程序
机译: 车道分割线检测装置,车道分割线检测方法及程序
机译: 基于图像值的分割方案的目标检测方法及使用该方法的图像处理装置