一种基于图像处理的机动车道车辆逆行识别方法

摘要

本发明公开了一种基于图像处理的机动车道车辆逆行识别方法，该方法利用几何滤波和空间聚类方法过滤线段噪声，提高了中心黄线的识别率；同时利用Kalman滤波算法对中心黄线进行预跟踪和预测从而得出最优中心黄线，有效地降低了个别帧的中心黄线识别错误或失败对车辆逆行识别方法造成的影响，鲁棒性强；本发明通过利用车载摄像头来识别和跟踪中心黄线，从而判断待检测车辆是否逆行，算法简单易行，实时性高。

说明书

技术领域

本发明属于图像识别技术领域，具体涉及一种基于图像处理的机动车道车辆逆行识别方法。

背景技术

随着汽车的普及，车辆行驶安全越来越受到人们的关注。在国内，车辆逆行行为是引发交通事故额第三高频交通违法行为。而据国内交通法律法规，机动车道上使用黄色实线区分不同方向的车道。机动车辆压黄色实线或者跨越黄色实线，则视为逆行行为。目前在检测车辆违章逆行方面有多种方法，其中主要分为两个方向：检测路上车辆逆行和检测己方车辆逆行。

检测路上车辆逆行，主要应用于基于视频的交通违章检测系统中。此类交通违章检测系统一个重要前提是摄像头安放于路旁或者道路上方的固定位置处，检测行驶在该条道路上的车辆是否违章逆行。该方法主要建立在对车辆进行检测跟踪并得到车辆运动轨迹的基础上，通过对车辆运动轨迹进行分析，判断车辆是否为逆行。在检测路上车辆逆行技术中，由于摄像头自身安放在固定位置处于静止状态，因此可通过识别车辆动态信息从而进行判断。

而在检测己方车辆逆行方面中，由于摄像头安放于己方车辆上，并且绝大多数时间处于运动状态，因此上述方法并不适用。其中，公开号为CN102792350A的中国专利提出了一种检测已方车辆是否违章逆行的车辆逆行检测装置，该装置所要解决的问题是判断车辆是否正在单行道上逆行，其事先在车载电子系统中存储标记有单行道的地图信息，并通过车载GPS接收机获取自身位置信息，进而比较自身车辆的位置和禁止逆行道路的位置，从而判断自身车辆是否正在单行道上；然后进一步通过自身位置信息计算车辆行驶方向，从而判断车辆是否正在单行道上逆行。但此装置主要存在以下不足：(1)在自身车辆接收到的GPS位置信息中包含误差的情况下，即使实际上车辆正在禁止逆行道路周边的道路 上行驶，也判断为正在禁止逆行道路上行驶，对驾驶员误报警告信息；(2)该装置需要事先存储大量地图信息；(3)该装置并不适用于在双向车道上检测己方车辆是否违章逆行。

此外，公开号为CN104732774A的中国专利提出了一种车辆逆行的检测方法和检测系统，该装置主要通过颜色识别和直线识别从道路行驶图像中确定待检测车辆在道路中的位置，再结合表征方向的静态特征物来确定车辆的预估行驶方向，并且通过光流法检测移动特征物的运动方向和速度，最后加权确定车辆是否逆行。但此方法主要存在以下不足：(1)该方法面向非机动车道，若道路宽阔的机动车道全部位于摄像头视野内时，则无法通过所述的图像处理方法从行驶图像中确定待检测车辆在道路中的位置；(2)该方法通过检测表征道路方向的特征物来确定待检测车辆的预估行驶方向，而没有利用机动车道方向分割线；(3)该方法需要通过图像处理方法检测多种静态特征物，并使用算法复杂度较高的光流法检测移动特征物，最后加权才得出待检测车辆是否逆行，算法复杂度高，缺乏实时性。

发明内容

针对现有技术所存在的上述技术问题，本发明提供了一种基于图像处理的机动车道车辆逆行识别方法，通过检测机动车道上区分不同方向车道的黄线，以实现机动车道上己方车辆行驶方向的识别。

一种基于图像处理的机动车道车辆逆行识别方法，包括如下步骤：

(1)利用安装于车身上的摄像头采集实景图像，截取实景图像中的道路区域作为目标区域并对目标区域进行预处理；

(2)基于色调信息对预处理后的目标区域进行图像分割，从中提取出若干近似黄色的连通区块；

(3)对所述的连通区块进行中值滤波，以去除目标区域中孤立的噪声点；

(4)对中值滤波后保留下来的连通区块进行边缘检测以提取轮廓并对轮廓进行线段检测，进而将检测得到的所有线段分类为左侧线段集合和右侧线段集合；

(5)对上述两组集合中的线段进行筛选以及合并，进而判定中心黄线；

(6)基于Kalman滤波算法生成当前帧中心黄线的预测结果，结合步骤(5)中得到的当前帧中心黄线的判定结果，确定当前帧中心黄线的最终结果；进而根据中心黄线的最终结果判断当前车辆是否在道路上逆向行驶。

所述的步骤(1)中对目标区域进行预处理包括直方图均衡化处理、饱和度调节以及亮度调节，以突出目标区域的颜色特征便于后续识别。

所述的步骤(2)中对预处理后的目标区域进行图像分割，即对预处理后的目标区域基于HSV颜色空间进行近黄色调区间的二值化分割。

所述的步骤(3)中对连通区块进行中值滤波，即去除零星面积较小的连通区块，然后对剩余连通区块进行内部填充及边缘平滑。

所述的步骤(4)中利用Canny算子对中值滤波后保留下来的连通区块进行边缘检测以提取轮廓，并利用概率霍夫变换对轮廓进行线段检测，进而将检测得到的所有线段分类为左侧线段集合和右侧线段集合：处于左三分之二目标区域内且斜率α∈[0,π/2]的线段归属于左侧线段集合，处于右三分之二目标区域内且斜率α∈(π/2,π]的线段归属于右侧线段集合。

所述的步骤(5)中首先通过几何滤波剔除掉两组集合中长度小于一定阈值的线段，然后通过空间聚类方法将任一组集合中斜率相近且间距小于一定阈值的多条线段合并为一条线段。

所述的步骤(5)中判定中心黄线的方法如下：

若两组集合均为空，则中心黄线判定失败；

若两组集合其中一组为空，另一组不为空，则以线段长度越长以及越靠近目标区域中央作为两项指标通过加权求和得到综合评定值，选取非空集合中综合评定值最高的线段作为中心黄线的判定结果；

若两组集合均不为空，则选取两组集合中长度最长且所属连通区块平均色调值最大的线段作为中心黄线的判定结果，若无法找到同时满足长度最长且所属连通区块平均色调值最大的线段，则中心黄线判定失败。

所述的步骤(6)中根据上一帧中心黄线的最终结果，以该最终结果所对应线段的斜率和截距作为输入通过Kalman滤波算法求解，输出求得的斜率和截距所对应的线段即为当前帧中心黄线的预测结果。

所述的步骤(6)中确定当前帧中心黄线的最终结果，具体标准如下：

若步骤(5)中的中心黄线判定失败，则当前帧中心黄线的最终结果即采用预测结果；若连续多次中心黄线判定失败，则认定实景图像中不存在中心黄线，无法识别当前车辆是否逆向行驶；

若当前帧中心黄线的判定结果与预测结果的斜率误差以及截距误差在阈值范围内，则当前帧中心黄线的最终结果即采用判定结果；

若当前帧中心黄线的判定结果与预测结果的斜率误差或截距误差超出了阈值范围且非连续多次出现该情况，则当前帧中心黄线的最终结果即采用预测结果；若当前帧中心黄线的判定结果与预测结果的斜率误差或截距误差超出了阈值范围且连续多次出现该情况，则当前帧中心黄线的最终结果即采用判定结果。

所述的步骤(6)中判断当前车辆是否在道路上逆向行驶：若当前帧中心黄线的最终结果所对应线段的斜率α∈[0,π/2]，则判定车辆顺行；若当前帧中心黄线的最终结果所对应线段的斜率α∈(π/2,π]，则判定车辆逆行。

与现有技术相比，本发明具有以下有益技术效果：

(1)本发明利用几何滤波和空间聚类方法过滤线段噪声，提高了中心黄线的识别率；

(2)本发明利用Kalman滤波算法对中心黄线进行预跟踪和预测从而得出最优中心黄线，有效地降低了个别帧的中心黄线识别错误或失败对车辆逆行识别方法造成的影响，鲁棒性强；

(3)本发明通过利用车载摄像头来识别和跟踪中心黄线，从而判断待检测车辆是否逆行，算法简单易行，实时性高。

附图说明

图1为本发明方法的步骤流程示意图。

图2为本发明中基于Kalman滤波的中心黄线跟踪算法流程示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于图像处理的机动车道车辆逆行识别方法，包括如下步骤：

步骤1：采集实景图像，根据图像采集设备在车上的安装位置，截取实景图像中的马路区域作为目标区域，如将图像的上半部分作为目标区域等，然后对目标区域进行直方图均衡化处理，调整图像饱和度和亮度。

本实施方式中直方图均衡化是一种利用图像直方图对对比度进行调整的方法，其基本思想是把原始图像的直方图变换为均匀分布的形式，对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同，这样就增加了图像灰度值的动态范围，从而可以用于增强局部的对比度而不影响整体的对比度。

步骤2：对直方图均衡化处理后的目标区域基于HSV颜色空间进行颜色阈值图像分割，从中提取出若干近黄色连通区域的二值化区域。

HSV颜色空间用H、S、V三参数描述颜色特性。其中色调H定义颜色的波长，描述颜色的属性；饱和度S表示颜色的纯度，即颜色的深浅程度；亮度V表示颜色的明亮程度。由于其使用单个通道H来描述色调，因此可通过设定阀值对颜色进行有效的分割，并通过对S,V通道进行约束从而进一步减少噪声。

颜色阈值图像分割中根据以下表达式对目标区域的每一像素进行二值化：

其中：P(x,y)为像素(x,y)的HSV颜色空间中的属性值，P_H(x，y)为对应色相属性值，P_S(x，y)为对应饱和度色属性值，P_V(x，y)为对应亮度属性值，H_ref1、H_ref2、S_ref、V_ref均为预设的HSV颜色空间中的各属性阈值；上述阀值通过对中心黄线样本的各通道值进行直方图统计得到。

完成颜色阈值图像分割后，对生成的二值化区域进行中值滤波，去除微小噪声并对连通区域边缘进行平滑处理。中值滤波通过图像中的像素按照灰度级进行排序，然后选择出这个输入窗口中所有像素点的灰度值的中间值，并作为最后输出的灰度值，从而有效抑制图像噪声，提高图像信噪比。而二值化图像可视为只有0和255两个灰度级的灰度图像，因此亦可应用中值滤波去除噪声。

步骤3：利用Canny算子对滤波后的区域进行边缘检测，利用概率Hough 变换进行线段检测，并且将检测得到的线段归类为左侧或右侧主线候选集。

本实施方式的Canny算子是一个具有滤波、增强和检测的多阶段优化算子，其使用双阈值进行边缘检测和连接，使得弱边缘也能够较好地检测出来，检测出来的轮廓比较清晰，具有高信噪比和定位精度。Canny算法一般分为以下四个步骤：

(1)首先通过与高斯核的高斯卷积对图像进行高斯平滑，获得高斯模糊图像，从而在过滤噪声的同时保留环境的有用信息；

(2)然后对平滑后的图像进行差分操作，即计算梯度的幅度值和方向，从而得到梯度图；

(3)再采用非最大抑制算法寻找图像中的所有可能边缘点；

(4)最后通过双阈值法递归找到图像边缘点，得到单像素宽度边缘图像。

经过基于Canny算子的边缘检测后，得到二值化区域的边缘图像。在实际中，前方近处的道路方向主线总是为直线状态，直到远处或远离主线时才会出现曲线情况，而且曲率一般比较小，可用直线进行拟合，从而近似替代曲线主线。基于上述特征，本实施方式将中心黄线模型简化为直线模型。

概率Hough变换基于标准Hough变换，其基本思想是采用随机抽取的方法在整个图像空间中取点映射，每次映射后检测累加器A(ρ,θ)对应点的数值。当某一条直线被拟合的次数达到特定阈值时，便完成该条直线的拟合，并将位于该直线上的所有候选边缘点删除。

为识别中心黄线位置以判断自身车辆是否正在逆行，需要基于直线的斜率和位置将检测得到的线段进行归类。本实施方式将检测线段归类为左侧或右侧主线候选集中，左侧主线候选集中的线段与x轴夹角为0～90度，并且线段的左侧端点位于ROI的左半区域，右侧端点位于ROI的左三分之二区域，记为集合leftLines；右侧主线候选集中的线段与x轴夹角为90～180度，并且线段的左侧端点位于ROI的右三分之二区域，右侧端点位于ROI的右半区域，记为rightLines。上述归类方法的表达式分别如下：

步骤4：依次通过几何滤波和空间聚类方法对检测出的线段进行筛选，过滤线段噪声，并且中心黄线判定。

本实施方式的几何滤波是根据中心黄线特点所制定的滤波方法，其中包括设置线段长度最小门限minLength以及线段斜率之绝对值的最小门限minK和最大门限maxK，表达式分别如下：

$L.length\ge \min Length=\frac{ROI.height}{2}$

|L.k|∈[minK，maxK]

本实施方式的空间聚类方法是针对车道线特点所制定的滤波方法，将一定范围内(斜率差绝对值为k，截距差绝对值为b)相邻的线段聚类为一条，并且选择长度最大的线段作为车道线代表。

本实施方式的中心黄线判定方法是基于两侧的主线候选集进行道路方向主线判定，其中主要分为以下四种情况：

(a)并且道路方向主线识别失败；

(b)并且综合考虑线段的长度length、斜率k和截距b。根据线段长度length从大到小赋予权值，同时依据斜率k和截距b，根据其距离图像中央的距离从小到大赋予权值，最后将加权和最大的线段判定为中心黄线；

(c)并且判定原理同(b)一致；

(d)并且首先基于(b)和(c)分别从两侧筛选出一条候选线段，然后分别求取两条线段所在的连通区域，并计算能够包含连通 区域的最小旋转矩形，此时即可得到两个车道线模型，记为lLine和rLine。分别统计车道线模型lLine和rLine内所有像素，若一侧的车道线模型其平均色调和线段长度length均比另一侧车道线模型的大，则将其判定为中心黄线；而若仅满足其中一项，则认为条件不足，无法辨别和去除线段噪声，中心黄线失败，表达式如下：

步骤5：基于Kalman滤波算法，利用历史数据对中心黄线进行跟踪和预测，再与当前判定得到的中心黄线进行比较，从而得出最优中心黄线。

本实施方式的Kalman滤波是一种对动态系统的状态序列进行线性最小方差估计的数字滤波算法，它的预测过程是在系统上一时刻状态的基础上估计系统的当前状态。Kalman滤波首先估计系统某一时刻的运行状态，然后通过测量变量的方式获得反馈。因此Kalman滤波算法可以分为两个部分：时间更新方程和测量更新方程。时间更新方程通过对前一时刻的后验估计状态量得到当前时刻的先验估计状态量，而测量更新方程则利用计算得出的Kalman滤波增益来更新当前时刻系统的后验估计状态量和后验估计误差协方差。

如图2所示，为了令Kalman滤波算法持续输出最优中心黄线，需要获取新观测值并输入到滤波器中进行迭代，主要分为以下两种情况处理：

(a)道路方向主线识别失败：此时不存在可用的新观测值，因此将预测值predictLine作为观测值输入到Kalman滤波算法中，完成下一次的预测。若连续m次主线识别失败，则认为图像中不再存在主线，结束道路方向主线跟踪。

(b)道路方向主线识别成功：将观测值measureLine与Kalman滤波算法输出的预测值predictLine进行比较，如果斜率k和截距b误差在设定的阈值T内，则认为观测值有效，否则否定观测值，以预测值predictLine作为观测值输入到Kalman滤波算法中，完成下一次的预测。若连续n次否定观测值measureLine，则认为已经开始了新的道路方向主线识别，进入新的道路方向主线跟踪迭代。

步骤6：计算最优中心黄线的斜率，确定当前车辆行驶方向，输出当前车辆是否正在道路上逆行。

根据Kalman滤波算法输出的最优估计值predictLine判断当前车辆是否逆行。当连续多次道路方向主线识别失败，此时跟踪结束，认为图像中不再存在 主线，因此无法判断车辆是否逆行；当跟踪算法仍在迭代时，若predictLine的倾角θ∈(0°～90°)，此时判定车辆顺行；若predictLine的倾角θ∈(90°～180°)，此时判定车辆逆行。

上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。