自动驾驶中基于前向摄像头的道路标线提取方法

摘要

本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法，其通过逆透视变换得到当前车辆前方道路标线的正射视图，并根据常规车辆行驶方式形成的部分先验知识，约束当前求解道路分割初始化阈值，采用初始化阈值对正射影像视图进行分割，判断边缘像素点是否呈现的平行性、投影直方图呈现的等距性，最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路标线。本发明所述道路标线提取方法的执行速率高，通过对投影直方图进行操作，能够降低残缺图像细节对于检测、提取的影响，提高提取方法的鲁棒性。同时增加了少量先验知识的约束，采用近似、分治、降维的技术手段，进一步降低了提取精度范围，限制部分道路场景子区域的处理。

说明书

技术领域

本发明涉及自动驾驶行业的交通信息检测领域，具体涉及一种自动驾驶中 基于前向摄像头的道路标线提取方法。

背景技术

随着计算机科学和机器人技术的发展，自动驾驶车辆在军事、民用和科学 研究等诸多方面得到了广泛的应用，它集中了结构学、电子学、控制论和人工 智能等多学科的最新研究成果，具有广阔的应用前景。

能够实时检测到当前道路的行驶环境，是自动驾驶、车辆自主行驶技术的 核心功能，而针对车道线、路面交通标志等道路标线的实时提取，又是构成安 全、智能行驶环境的重要前提。

现阶段基于摄像头的道路标线提取方法大多数对影像采集环境有较高的要 求，比如采集到的影像中可能仅包含当前车辆行驶的道路部分，一旦在复杂的 城市交通环境中进行应用，极易受到其他车辆车体、道路两侧树木阴影等环境 因素的干扰，无法得到准确的提取结果。

有实用价值的车辆自动驾驶道路标线提取方法，必须同时具备实时性、鲁 棒性、实用性条件，否则在具体应用过程中，会受到极大的限制，高速、准确、 实用的自动驾驶道路标线提取方法在智能交通检测系统中占据着基础的核心地 位。

发明内容

针对现阶段技术的不足，本发明的目的是提供一种自动驾驶中基于前向摄 像头的道路标线提取方法，用于满足先进自动驾驶系统对于获取车辆当前行驶 环境信息的实时性、鲁棒性、实用性需求。

一种自动驾驶中基于前向摄像头的道路标线提取方法，其包括以下步骤：

S1、采集当前前方道路场景视频流，获取当前帧的图像数据，对采集到的 每一帧图像数据进行逆透视变换矩阵操作，并结合预先标定参数，得到车辆前 方的正射影像视图；

S2、根据常规车辆行驶方式形成的部分先验知识，约束当前求解道路分割 初始化阈值，通过初始分割阈值进行图像分割，得到道路场景的序列图像；

S3、在经过图像分割之后得到的图像序列之中，通过对车辆前向可通行区 域的求取，判别不同于道路场景的部分；

S4、分别对经过图像阈值分割后的图像序列作AND操作，得到道路平面区 域内的二值图，通过分析透视特性、平行关系，进行道路标线的判定与识别。

本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法，其通过 逆透视变换得到当前车辆前方道路标线的正射视图，并根据常规车辆行驶方式 形成的部分先验知识，约束当前求解道路分割初始化阈值，采用初始化阈值对 正射影像视图进行分割，判断边缘像素点是否呈现的平行性、投影直方图呈现 的等距性，最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路 标线。

本发明所述道路标线提取方法的执行速率高，能够满足城市环境下路面交 通标志的快速检测与提取，通过对投影直方图进行操作，能够降低残缺图像细 节对于检测、提取的影响，提高提取方法的鲁棒性。同时增加了少量先验知识 的约束，采用近似、分治、降维的技术手段，进一步降低复杂问题的求解难度， 合理的降低了提取精度范围，限制部分道路场景子区域的处理，进一步增加了 本发明方法的实用性。

附图说明

图1是本发明实施例中所述的自动驾驶中基于前向摄像头的道路标线提取 方法的流程框图；

图2是本发明实施例中所述自动驾驶车辆车载前向相机系统中摄像头安装 角度示意图；

图3是图1中步骤S2的流程框图；

图4是本发明实施例中基于粗划分区域的图像分割的示意性场景；

图5是本发明实施例中阈值分割时的摄像头场景示意性图像；

图6是本发明实施例中进行示意性阈值分割之后所得到的阈值分割序列图 像；

其中a)为当前场景中属于路面较暗部分的像素点分类示意图；b)为当前 场景中属于普通路面部分的像素点分类示意图；c)为当前场景中属于道路标线 部分的像素点分类示意图；d)为当前场景中属于路面部分受到强光照影响部分 的像素点分类示意图；

图7是图1中步骤S3的流程框图；

图8是图1中步骤S4的流程框图；

图9是本发明实施例中由检测到的两侧行道线确定的停止线检测、路面标 志检测的兴趣区域示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种自动驾驶中基于前向摄像头的道路标线提取 方法，其包括以下步骤：

S1、自动驾驶车辆上前向安装的摄像头实时采集当前前方道路场景视频流， 并获取当前帧的图像数据，对摄像头采集到的每一帧场景图像进行逆透视变换 矩阵操作，并结合预先标定参数，得到当前运行时车辆前方的碎片化的正射影 像视图；

所述预先标定参数包括以下三部分参数，摄像头的相机内参数，摄像头安 装时距离地面的高度，以及摄像头的相机视场角度。

如图2所示，图2表示的是摄像头安装参数的示意图，其中摄像头安装时 距地高度h，摄像头视场与地面夹角由theta标示；通过对当前摄像头采集的图 像应用逆透视变换矩阵，将视角转为鸟瞰形式，即得到当前道路场景的正射影 像碎片。

S2、自动驾驶车辆在正常的、结构化的城市道路中行驶，根据常规车辆行 驶方式，可以形成部分先验知识，用于约束当前求解道路分割初始化阈值。如 图3所示，具体包括如下子步骤：

S21、基于粗划分区域的方法标示得到初始路面像素采样区域；

S22、在每一帧正射碎片图像中，对初始路面像素采样区域进行局部的采样 与计算，得到初始的影像分割阈值；

S23、估计道路与天空分界的消失线的位置；

S24、在初始分割阈值辅助下，进行图像分割，得到分割后的道路场景的序 列图像。

如图4所示，距离当前自动驾驶车辆前方0.5m范围内，如果未出现任何车 辆图像，则可以取得一小块像素的梯度值均衡区域，作为当前道路路面像素点 的初始采样区域。

图4中，矩形ABCD界定为自动驾驶车辆前向摄像头直接拍摄所得到的场景 图示，图像左上角点o为坐标原点，水平向右方向为x轴方向，垂直向下为y 轴方向。根据逆透视变换关系，可以将自动驾驶车辆前方0.5m及车辆宽度的视 野区域，即图4中浅灰色四边形OPQR，作为默认的初始路面像素采样区域。

另外，在图4中标记出了估计的道路与天空分界的消失线Line_S的位置， 在不改变摄像头安装状态，以及有关道路延伸为平面的先验性假设的条件下， 消失线Line_S在摄像头拍摄的场景中不会发生上下位移。消失线Line_S在场 景图像ABCD中由线段MN表示，消失线Line_S以下的图像部分即为当前道路场 景图像；

其中，在对消失线Line_S位置的估计运算中，可选地，包括以下3种位置 估计运算方式：

直接在本实施例中设定固定的高度比例值；

和/或基于天空像素色彩和地面像素色彩的先验信息，计算每行图像像素值 的统计方差直方图中的局部极小值；

和/或基于天空像素色彩的先验信息，通过统计图像中每行的蓝色色彩分量 的直方图分布得到。

通过初始路面像素采样区域可以计算得到初始分割阈值，在初始分割阈值 辅助下，根据多类别之间的类间方差方法(OTSU)，和/或KMeans聚类方法， 和/或FloodFill运算，对当前道路场景图像中所有像素值进行图像分割，得到 分割后的道路场景的序列图像。

所述序列图像由多张二值图像组成，二值图像由0或1表示每一个像素点 的像素值，每一张二值图像则代表不同分类类别中，属于这一个类别的场景像 素点的分布，如果某一像素点隶属于此分类类别，则将在序列中这一分类二值 图像中标示像素值为1；

如图5和图6所示，在本实施例中针对图5灰度图进行图像分割处理后， 得到阈值分割序列图像，其中：

a)为当前场景中属于路面较暗部分的像素点分类示意图；

b)为当前场景中属于普通路面部分的像素点分类示意图；

c)为当前场景中属于道路标线部分的像素点分类示意图；

d)为当前场景中属于路面部分受到强光照影响部分的像素点分类示意图。

S3、在经过图像分割之后得到的图像序列之中，通过对车辆前向可通行区 域的求取，判别不同于道路场景的部分。如图7所示，具体包括如下子步骤：

S31、从序列图像中判别属于道路区域的二值图像，求取进行车辆前向可通 行区域，生成可通行区域掩膜图像；

对于当前实施例中摄像头直接采集到的彩色图像，分别用b、g、r分别代 表其中任意像素点的蓝、绿、红三通道像素值，经过0.299*b+0.587*g+0.114*r 计算可以得到当前像素点的灰度化后像素值，对图像上每一个像素点执行灰度 化操作可以得到灰度图，灰度图像通过边缘检测Canny算子得到此时的边缘图 像二值图表示，然后按列自图像平面底部向上依次作可通行区域游程，直到遇 到边缘图像二值图中的任意一边缘点即停止，此时就得到了可通行区域中的一 列，以上就是可通行区域的快速判断方法，生成的可通行区域采用二值图表示， 该二值图称为可通行区域的掩膜图像；

S32、可通行区域掩膜图像与图像序列中每一类二值图进行AND操作，得到 图像序列中每一类场景下当前分类可通行区域的二值图，确定当前序列图像中 属于普通路面部分的像素点分类的二值图；

具体的，判断图像序列中某一分类可通行区域的二值图像是否是普通路面 的像素点分类图，可以直接比较本步骤中AND操作后二值图像中存在的白色像 素点总数，总数最大的一类，即属于序列图像中普通路面部分的像素点分类图。

另外，经过上述判断后，需要进一步对当前场景下，道路子连通区域进行 求取与标定，具体方法如下：

S33、从序列图像中筛选出的隶属于普通路面部分的像素点二值图，对该二 值图做连通域分析，得到连通域的集合；

S34、分析连通域集合，计算每一个连通域的面积与细长度，按单个连通域 面积大小降序排列中，细长度最大的一个连通域为当前二值图中的道路平面子 连通区域。

其中，连通域的面积是指连通域内像素点构成的连通区域的像素区域大小； 连通域的细长度则是连通区域最小外包矩形的长宽比，近似值估算为连通区域 面积和连通区域厚度平方的比值，而区域厚度可以通过连续的形态学腐蚀运算 的最大迭代次数得到；

确定当前针对连通域集合，按单个连通域面积大小降序排列中，细长度最 大的一个连通域，为当前二值图中的道路平面子连通区域；

需要说明的是，上一步骤中可能得到的只是道路平面子连通区域，是对于 整体的、完整的路面区域的一种合理的近似与逼近。在本实施例中，对上一步 骤中求取的道路平面子连通区域，按照图像坐标下的上、下、左、右划分为4 条道路平面边缘，分别采用二次多项式y＝ax²+bx+c进行曲线拟合，以拟合后的 4条曲线所绘制的连通区域作为上一步骤的替代，由记录图像中组成连通区域的 像素的位置序列，改为记录a、b、c这3个二次多项式参数，进一步合理的降 低了存储空间的损耗。

S4、分别对经过图像阈值分割后的图像序列作AND操作，得到道路平面区 域内的二值图，通过分析透视特性、平行关系，进行道路标线的判定与识别。 如图8所示，具体包括如下子步骤：

S41、通过线检测算子，快速判断当前二值图中存在的直线或线段，如果 当前二值图中的直线或线段符合平行性、等距性，则认为当前分割的二值图属 于道路标线这一类别；

可选地，所述线检测算子包括Hough运算，和/或概率Hough运算，和/或 LSD算子检测。

在正射模式的视图中，所有属于道路场景这一平面的物体，会呈现出正确 的、符合平面投影的视图关系，而其他在原始影像中并非属于道路场景的物体， 则会表现出错误的拉伸、缩放、旋转等视图关系；相似的，对于未经过逆透视 变换的原始图像，所呈现的则是明确的透视性质，所有在正射试图下平行的元 素，比如相邻的两条车道线，符合的透视关系是两者或者两者的延长线会相交 于一点，这一点在透视场景下被称为消失点。

因此，可以通过判断分类后的二值图中，更符合车道线在平面上出现的平 行性、投影直方图上出现的等距性，则认为当前分割的二值图属于道路标线这 一类别，其上的所有图像像素所组成的连通区域，整体表现出符合正射条件下 的平行性质，或者在垂直方向的投影直方图中，局部极大值的峰值点之间，基 本保持了一个特定的间隔，这个间隔近似的等于当前自动驾驶车辆行驶的道路 上的一个单独车道的横向宽度在摄像机成像平面坐标系上折算的像素距离。

路面交通信息的检测，主要是指车道线检测与斑马线检测，停止线检测， 以及其他的路面交通标志的检测。车道线是智能车辆在行驶中需要实时循迹地、 追踪地一种路面交通信息；另外，斑马线与车道线类似，都是对与智能车辆行 驶方向同向的直线或线段进行检测，筛选符合正射视图下平行性质的直线对。

其中，在上一步骤中所得到的线段，其主要来源和构成是路面的道路标线 和路面自身之间的像素值阶跃，从梯度上看即从“亮”的道路标线(一般粉刷 在路面平面上的道路标线为白色或黄色)到“暗”的路面(城市道路一般由两 种路面组成，经过刷黑后的沥青路面，和色彩较灰暗的水泥路面)之间的梯度 跳变，这些梯度极值点的组合就是线段的来源。

一般的，一条车道线从水平方向分析，会被检测到两条垂直方向的线段， 分别是车道线左、右两侧的边缘。若存在一个行车道，则理论上应该存在两条 车道线，和四条垂直方向的线段。两条线段之间可能间隔了一个车道线宽度的 距离，或者是一个行车道宽度的距离。

S42、在判断出车道线后，将两侧车道线之间的一个行车道宽度的道路区域 作为检测停止线、路面交通标志的兴趣区域，根据兴趣区域的位置与方向，构 建一处兴趣区域的水平投影直方图。

如图9所示，图9是本发明实施例中由检测到的两侧行道线确定的停止线 检测、路面标志检测的兴趣区域示意图。其中，Lane_Left为所确定的左侧车道 线的简单示意，Lane_Right为右侧车道线的简单示意，ROI为待检测的兴趣区 域，此时的坐标系和摄像头拍摄的道路场景，与图4相同。

由图9可知，ROI并不是水平方向上，直接选择从左侧车道线Lane_Left的 右侧边缘，至右侧车道线Lane_Right的左侧边缘，而是仅选择从左侧车道线 Lane_Left的右侧边缘到右侧车道线Lane_Right的左侧边缘中的60％宽度区域。 一方面，更小的待检测的兴趣区域代表着更少的需要被运算的数据，对于改善 现有运算的实时性有着极大帮助；另一方面，路面交通标志往往不会占据整个 车道宽度，而占据了整个车道宽度的一般是减速带、停止线、道路阴影、路面 破损等。

此时需要根据ROI的位置与方向，构建一处ROI的水平投影直方图，具体 步骤如下：

对于子区域ROI，从原始场景灰度图中截取相应部分的子区域灰度图，从新 采用OTSU方法进行图像二值化。此时，对于原始大场景下的一小块局部区域做 二次二值化，原因是：OTSU方法为全局二值化方法，参与二值化阈值运算的像 素点不同，最终得到的图像分割阈值也不尽相同，因此对于小的局部区域二次 操作，能够得到局部区域更精细化的二值化结果。

计算Lane_Left、Lane_Right角度，并执行相应的旋转，使得当前场景中 的车道相对于图6中的坐标轴x，为相应的最为垂直的关系。

采用的方法是首先通过线检测算法(Hough运算，和或概率Hough运算， 和或LSD算子检测)，得到相应的直线以及其对应的角度，计算此时所有直线 对应的角度均值，为粗旋转角度，将此时二值图像旋转到粗旋转角度；进一步， 将做精细的旋转角度检测，将二值图像按x正方向为旋转轴，依次从﹣10°旋 转到﹢10°，对于每一个旋转后的二值图，按照垂直于x轴方向做垂直投影直 方图，计算当前直方图的方差，在所得到的方差序列中找到最大的方差，此时 对应的角度即精细旋转操作时依赖的旋转角。

对此时的二值图中，ROI区域做一次快速像素点统计，一但白色(前景)像 素点总数≥ROI区域大小的30％，或者，进行水平投影直方图，其中某一行的白 色像素点总数≥ROI区域行长度的90％，则进入下一步骤，否则返回，继续下一 帧的处理。

不满足此步骤中的两则判断，则说明当前ROI区域内可能根本不存在任何 道路交通标志或者停止线，直接退出当前流程，节约运算开销。

S43、如果水平投影直方图中某一行的白色像素点总数≥兴趣区域的宽度 90％，则提取子区域图像，根据所述子区域的高宽比初步筛选出停止线；

此时，求取当前所有满足行的白色像素点总数≥ROI区域的宽度90％的行标 记出来得到候选的行序列，将ROI区域向左、右扩展，再次将候选的行序列进 行水平的直方图投影，判断是否依旧满足ROI区域宽度阈值，一但满足则可能 是存在停止线，计算此时仍满足ROI区域宽度阈值的行序列所构成的连通区域 的高宽比，如果满足标准情况下停止线和车道宽度的比例阈值范围，则在当前 ROI区域内，检测到了车辆停止线。

进一步，可以结合当前地图与GPS定位信号来判断，自动驾驶车辆是否行 驶在有停止线的道路路口，以便做出置信度最高的停止线检测的结论输出。

S44、如果兴趣区域内白色像素点总数≥兴趣区域大小的30％，则在兴趣区 域内存在路面交通标识，可以直接提取；

S45、将兴趣区域内的图像输出至图像检测判别机或图像识别引擎中，即可 得到当前兴趣区域处的路面交通标志的语义输出。

至此，本发明的实施例即完成一种对道路标线的提取流程。

本发明提供一种自动驾驶中基于前向摄像头的道路标线提取方法，其通过 逆透视变换得到当前车辆前方道路标线的正射视图，并根据常规车辆行驶方式 形成的部分先验知识，约束当前求解道路分割初始化阈值，采用初始化阈值对 正射影像视图进行分割，判断边缘像素点是否呈现的平行性、投影直方图呈现 的等距性，最终提取得到车道线、路面交通标志、车辆停止线、斑马线等道路 标线。

本发明所述道路标线提取方法的执行速率高，能够满足城市环境下路面交 通标志的快速检测与提取，通过对投影直方图进行操作，能够降低残缺图像细 节对于检测、提取的影响，提高提取方法的鲁棒性。同时增加了少量先验知识 的约束，采用近似、分治、降维的技术手段，进一步降低复杂问题的求解难度， 合理的降低了提取精度范围，限制部分道路场景子区域的处理，进一步增加了 本发明方法的实用性。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见 方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是 与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例 的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为 了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地 描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决 于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用 来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处 理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、 内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移 动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。