一种适应白天检测的运动车辆刹车灯状态识别方法

摘要

本发明涉及一种适应白天检测的运动车辆刹车灯状态识别方法。所述方法包括：裁剪图像生成感兴趣区域ROI；精确定位前方车辆区域；对定位后的车辆区域进行刹车灯状态识别；输出刹车灯状态信息。本发明通过提取车体区域内刹车灯的颜色特征、形状特征以及结构特征，实时准确地输出前方车辆刹车灯状态信息。实验表明，本发明所述方法在晴天对各种车辆刹车灯的识别准确率都在91%以上，即使是在恶劣的雨天，准确率也在80%以上。另外，本发明所述方法计算速度较快，每帧的处理时间在100ms左右，具有较强的实用性。因此，本发明解决了现有检测方法不能在白天进行刹车灯状态识别或计算模型复杂速度慢等问题。

说明书

技术领域

本发明属于计算机视觉领域，涉及智能驾驶，具体涉及一种适应白天检测的运动车辆刹 车灯状态识别方法。

背景技术

无人驾驶汽车是一种智能汽车，也可以称之为轮式移动机器人，主要依靠车内的以计算 机系统为主的智能驾驶仪来实现无人驾驶。

目前，不少国家都在开发无人驾驶汽车技术。由于智能驾驶工作的大量开展，其交通事 故安全责任问题日益显得尤为重要。由于智能车行驶过程中无人干扰，在现实复杂环境下行 驶，前方车辆的制动事件对于智能驾驶来说是一大关键的问题。

随着摄像头成本的降低和数字图像处理技术的发展，基于视觉的图像处理技术越来越多 地用于检测前方事件状态（比如前方车辆制动状态），以警示驾驶员或者无人驾驶系统采取 合适的行为来避免潜在碰撞冲突，因为根据前方车辆尾灯状态可以做出判断从而确定采取何 种措施（比如正常行驶、减速、刹车）来进一步保证车辆在道路上行驶的安全性。

目前，对无人驾驶车前方车辆刹车灯状态识别方法主要有两种：一是基于频域调谐的方 法，一是基于Nakagami-m分布模型的方法。频率调谐夜间刹车灯的检测，主要是利用刹车 灯晚上亮时与周围形成鲜明对比这一特点，与前一帧刹车灯未亮时的图片进行对比，通过检 测频率幅值曲线突然出现的尖峰来探测刹车灯的出现。这种方法适合于晚上检测，复杂度高。 有一定的局限性；基于Nakagami-m分布模型的方法利用Nakagami-m分布来检测刹车灯，主 要是通过刹车灯灯光的散射特征来检测。这种方法适用于晚上检测，但模型复杂。

采取上述方法检测刹车灯有一定的准确率，但是受样本特性影响，适用于夜晚刹车灯的 检测，不适应白天车辆的检测，且频率域和Nakagami-m分布建模的计算有一定的复杂性。

发明内容

针对现有车辆刹车灯状态检测中存在的不适合白天检测、计算模型复杂等问题，本发明 提出一种前方运动车辆刹车灯状态识别方法，通过提取车体区域内刹车灯的颜色特征、形状 特征以及结构特征，实时准确地输出前方车辆刹车灯状态信息，从而保证辅助驾驶和无人驾 驶的安全性。

为实现上述目的，本发明采用如下的技术方案：

一种用于智能驾驶汽车的刹车灯实时检测的方法，利用图像处理技术，通过智能汽车计 算机系统的决策，实现辅助驾驶和无人驾驶。包括：裁剪图像生成感兴趣区域ROI（region of  interest）；精确定位前方车辆区域；对定位后的车辆区域进行刹车灯状态识别；输出刹车灯状 态信息。具体包括以下步骤：

步骤1，裁剪图像生成感兴趣区域ROI。

首先，将视频转化为图片dst_1，放缩为统一大小A*B，记为dst_2；然后，依据同车道 前方车辆在图片中的位置信息，获取实验经验值进行图像感兴趣区域的提取，排除不相关的 干扰区域，为后面定位车辆缩小范围，提高实时性。提取出的感兴趣区域记为dst_ROI1。比 如位于同车道的前方车辆，只需提取出图片中轴线下方区域即可。

步骤2，精确定位前方车辆区域。

步骤2.1，训练Adaboost级联分类器。

首先，利用样本的harr特征进行分类器训练，得到一个级联的Adaboost分类器。训练 样本分为正例样本和反例样本，其中正例样本是指待检目标样本，仅包含车尾特写图像样本， 反例样本指不包含目标的其他图片，比如包含马路、交通标志、建筑物、广告牌、汽车、摩 托车、三轮车、行人和自行车等在内的图片。所有的正样本图片都被归一化为统一的尺寸。

步骤2.2，利用Adaboost级联分类器进行车辆检测。

在dst_ROI1中进行目标车辆的检测。通过按比例放大检测子窗的方法，对图像dst_ROI1 进行目标车辆的检测，即对图像dst_ROI1采用与训练目标样本窗口同样大小的窗口遍历整幅 图像，以后逐渐放大窗口，同样做遍历搜索物体。利用步骤2.1针对车尾特写图像样本训练 的Adaboost级联分类器在图像中找到包含目标物体的矩形区域，并且将这些区域作为一序列 的矩形框返回。通过区域遍历搜索，在dst_ROI1中得到前方车辆的精确区域信息。如果未检 测到车辆，也就不可能检测到刹车灯状态信息，识别过程结束，读取下一帧进行处理。

步骤3，对定位后的车辆区域进行刹车灯状态识别。

步骤3.1，获取刹车灯二值化图像。

对步骤2得到的车辆区域重置ROI，记为图像dst_ROI2，对图像的通道进行R通道减去 G通道的处理，得到图像dst_gray，利用最大类间方差法(大津法，OTSU)对dst_gray图像求 取使类间方差最大的阈值threshold，利用此阈值对图像dst_gray像素点进行二值化处理，得 到刹车灯二值化图像dst_bw_brakelight，表示如下：

$\left(\begin{array}{cc}\mathrm{ss}·\mathrm{val}\left[0\right]=255,& \mathrm{dst}\_\mathrm{gray}·\mathrm{val}\left[0\right]>\mathrm{threshold}\\ \mathrm{ss}·\mathrm{val}\left[0\right]=0,& \mathrm{else}\end{array}\right)$

其中，ss·val[0]为刹车灯二值化图dst_bw_brakelight的像素值，dst_gray.val[0]为dst_gray 的像素值。

步骤3.2，检测高位刹车灯区域。

（1）对dst_bw_brakelight二值化图像进行膨胀腐蚀操作，得到图像dst_dilate_brakelight。

（2）检测高位刹车灯区域。

在dst_dilate_brakelight二值化图像中，刹车灯区域为白色区域，在图像中上部分区域范 围内遍历寻找轮廓，搜索区域如附图3所示，找到面积和宽高比在一定范围的外接矩形区域， 即高位刹车灯区域。判断条件如下：

当aRect.width/aRect.height≥e且f≤tmparea≤g时，存在满足条件的矩形区域，则检测到 高位刹车灯，转步骤4；否则，转步骤3.3。其中，aRect.width为外接矩形的宽，aRect.height 为外接矩形的高，tmparea为外接矩形的面积，f为设定的最小面积，g为设定的最大面积，e 为设定的宽高比的最小值。

步骤3.3，检测车尾刹车灯区域。

（1）判断车身颜色。

如果二值化图像dst_bw_brakelight中白色像素点占总像素点比例K小于0.2，车身为非红 黄色，转步骤（2）；否则，车身为红黄色，转步骤（3）。

（2）检测非红黄车身的车尾刹车灯区域。

在dst_dilate_brakelight二值化图像中，在图像中下部分区域范围内遍历寻找轮廓，搜索 区域如图3（a）所示，找到面积在一定范围的外接矩形区域，即车尾刹车灯候选区域。对每 一个找到的轮廓计算目标区域的中心位置，然后以此位置为中心左右扩展3个像素，形成7*7 矩形窗，并在原图dst_ROI2中对应位置读取图片数据记为图片dst_dd，将图片dst_dd灰度化， 得到dst_dd_gray图片，并对其进行HSV和YCBCR颜色空间转换，分别得到图片dst_dd_HSV 和图片dst_dd_YCBCR。对图片dst_dd_gray，图片dst_dd中的R、G、B通道，图片dst_dd_HSV 中的H、S、V通道和图片dst_dd_YCBCR中的Y、CB、CR通道的像素值累加和分别求取均 值，即每个通道的像素值累加和除以7*7，得到10个特征值组成的向量M=（Gray_average， R_average，G_average，B_average，H_average，S_average，V_average，Y_average，CB_average， CR_average）。

将搜索到的车尾刹车灯候选区域的向量M分别与红色特征向量ttrr=(X_i)、白色特征向量 ttww=(Y_i)和黄色特征向量ttyy=(Z_i)，i=1,2,…,10，进行阈值匹配判断，进一步确认是否存在车 尾刹车灯，判断方法如下：

如果|M-ttrr|<a或者|M-ttww|<b或者|M-ttyy|<c，其中|M-ttrr|表示两个向量的距离，则检测 到车尾刹车灯，转步骤4。其中，a、b、c分别为事先统计并设定的红色误差阈值，白色误差 阈值，黄色误差阈值。

（3）检测红黄色车身车尾刹车灯区域。

对dst_ROI2图像，在图像中下部分区域范围内取两个4*6的矩形窗，从中间向两边移动 并向下遍历寻找满足条件的车尾灯区域，搜索区域如附图3（b）所示。

对每个成对的左右两个矩形框，按照步骤（2）的方法计算区域的R，G，B，H，S，V， Y，CB，CR各通道和灰度图像的平均值所组成的向量Ml=（Gray_average_l，R_average_l， G_average_l，B_average_l，H_average_l，S_average_l，V_average_l，Y_average_l，CB_average_l， CR_average_l）和Mr=（Gray_average_r，R_average_r，G_average_r，B_average_r，H_average_r， S_average_r，V_average_r，Y_average_r，CB_average_r，CR_average_r)，Ml和Mr分别与红 色特征向量ttrr、白色特征向量ttww和黄色特征向量ttyy进行阈值匹配判断，进一步确认是 否存在车尾刹车灯，判断方法如下：

如果|Ml-ttrr|<h&|Mr-ttrr|<h或者|Ml-ttww|<i&|Mr-ttww|<i或者|Ml-ttyy|<j&|Mr-ttyy|<j，则检 测到车尾刹车灯。其中，h、i、j分别为事先统计并设定的红色误差阈值，白色误差阈值和 黄色误差阈值。

步骤4，输出刹车灯状态信息。

如果检测到高位刹车灯或者车尾刹车灯，表明前方车辆正在刹车，输出刹车灯状态信息， 实时警示后方车辆，实现智能驾驶的决策，车辆减速或者停止。

与现有技术相比，本发明具有以下优点：

（1）本发明通过提取车体区域内刹车灯的颜色特征、形状特征以及结构特征，实时准确 地输出前方车辆刹车灯状态信息，可应用于白天辅助驾驶和无人驾驶。实验表明，本发明所 述方法在晴天对各种车辆刹车灯的识别准确率都在91%以上，即使是在恶劣的雨天，准确率 也在80%以上。另外，本发明所述方法计算速度较快，每帧的处理时间在100ms左右，具有 较强的实用性。因此，本发明解决了现有检测方法不能在白天进行刹车灯状态识别或计算模 型复杂速度慢等问题。

（2）本发明能够识别多种车辆尾灯类型的刹车灯，包括不同形状，不同位置等。

附图说明

图1为本发明所涉及方法的流程图；

图2为车辆高位灯搜索区域示意图；

图3为车辆车尾刹车灯搜索区域示意图，（a）为非红黄车身的车尾刹车灯检测区域示意 图，（b）为红黄车身的车尾刹车灯检测区域示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明实施例采用数字式摄像头，通过USB接口与处理器连接。摄像头安装在无人驾驶 汽车内部前方挡风玻璃正中间位置，摄像头广角大于65度，分辨率为1280*720。

本发明所述方法的软件采用C++语言并调用opencv实现。

本发明所述的运动车辆刹车灯状态识别方法的流程图如图1所示，包括以下步骤：

步骤1，裁剪图像生成ROI。

摄像机以30-50帧/秒的帧率实时获取智能车辆前方道路的图像。由于只关心同车道在一 定范围内的正前方的车辆，实时视频获取的图片包含许多不相关信息，同时为了检测的实时 性，对获取的图片进行感兴趣区域的设置是很有必要的。视频读入后，首先将图片放缩到统 一大小500*400，然后对放缩的图像dst_2进行感兴趣区域提取，即以(0.35*dst_2->width, 0.45*dst_2->height)为起点，切割宽为1/3dst_2，高为1/2dst_2得图片dst_ROI1。该位置为统 计前方车辆出现位置的经验值，这样缩小了图片处理的范围，以下在图片dst_ROI1中进行车 辆的检测，再次重新设置感兴趣区域得到图像dst_ROI2；

步骤2，精确定位前方车辆区域。

通过步骤1，在图像dst_ROI2中利用按比例放大检测子窗的方法遍历搜索是否存在车辆。 本发明中初始检测窗口的最小尺寸大小为80*90，在前后两次相继的扫描中，检测子窗口依 次扩大10%。使用针对车尾特写图像样本训练的Adaboost级联分类器在图像中找到包含目标 物体的矩形区域，并且将这些区域作为一序列的矩形框返回。通过区域搜索，在dst_ROI1中 得到前方车辆的精确区域信息，即感兴趣图像dst_ROI2。

步骤3，对定位后的车辆区域进行刹车灯状态识别。

步骤3.1，获取刹车灯二值化图像。

对第二步得到的车辆区域重置ROI，记为图像dst_ROI2，对图像的通道进行R通道减去 G通道的处理，，得到图像dst_gray，利用最大类间方差法(大津法，OTSU)寻找阈值并对 dst_gray图像像素点进行二值化处理，得到刹车灯二值化图像dst_bw_brakelight，对 dst_bw_brakelight二值化图像进行膨胀腐蚀操作，得到图像dst_dilate_brakelight。

步骤3.2，检测高位刹车灯区域。

在dst_dilate_brakelight二值化图像中，刹车灯区域为白色区域，在图像区域 [8,0.65*dst_gray->height]遍历寻找轮廓，搜索区域如附图2所示，找到面积和长宽比在一定范 围的外接矩形区域，即高位刹车灯区域。判断方法如下：

当aRect.width/aRect.height≥2.0且50≤tmparea≤600时，存在满足条件的矩形区域，则检 测到高位刹车灯，转步骤4；否则，转步骤3.3。

步骤3.3，检测车尾刹车灯区域。

如果二值化图像dst_bw_brakelight中白色像素点占总像素点比例K小于0.2，转步骤 3.3.1，否则转步骤3.3.2；

步骤3.3.1，检测车尾刹车灯区域（对于非红黄车身）。

在dst_dilate_brakelight二值化图像中，在图像高区域[0.3*dst_gray->height, 0.9*dst_gray->height]遍历寻找轮廓，搜索区域如3（a）所示，找到面积在一定范围的外接矩 形区域，即车尾刹车灯候选区域。对每一个找到的轮廓计算目标区域的中心位置（t1,t2）。然 后以此位置为中心左右扩展三个像素，形成7*7矩形窗，并在原图dst_ROI2中对应位置读取 图片数据记为图片dst_dd，将图片dst_dd灰度化，得到dst_dd_gray图片，并对其进行HSV 和YCBCR颜色空间转换，分别得到图片dst_dd_HSV和图片dst_dd_YCBCR。对图片 dst_dd_gray，图片dst_dd中的R、G、B通道，图片dst_dd_HSV中的H、S、V通道和图片 dst_dd_YCBCR中的Y、CB、CR通道的像素值累加和分别求取均值，即每个通道的像素值 累加和除以7*7，得到10个特征值组成的向量M=（Gray_average，R_average，G_average， B_average，H_average，S_average，V_average，Y_average，CB_average，CR_average）。

将搜索到的车尾刹车灯候选区域的向量M分别与红色特征向量ttrr=(98.9925,175.6443， 41.3307,80.0024,0.9543,0.7670,0.6888,89.7144,124.5217,184.2247)、白色特征向量 ttww=(249.6717,253.1188,248.0600,248.1591,0.4038,0.0333,0.9958,230.2145,127.2395,130.0655) 和黄色特征向量ttyy=(157.7241,220.2794,161.4322,91.3389,0.1.29,0.6167,0.8641,163.0765, 91.4206,158.9276)，进行阈值匹配判断，进一步确认是否存在车尾刹车灯，判断方法如下：

如果|M-ttrr|<91或者|M-ttww|<62或者|M-ttyy|<65，则检测到车尾刹车灯，转步骤4。

步骤3.3.2，检测车尾刹车灯区域（对于红黄色车身）。

对dst_ROI2图像，在图像高区域范围[0.3*dst_ROI2->height,0.8*dst_ROI2->height]内取两 个4*6的矩形窗，从中间向两边移动并向下遍历寻找满足条件的车尾灯区域，搜索区域如3 （b）所示。

对每个成对的左右两个矩形框，按照步骤（1）的方法计算区域的R，G，B，H，S，V， Y，CB，CR各通道和灰度图像的平均值所组成的向量Ml=（Gray_average_l，R_average_l， G_average_l，B_average_l，H_average_l，S_average_l，V_average_l，Y_average_l，CB_average_l， CR_average_l）和Mr=（Gray_average_r，R_average_r，G_average_r，B_average_r，H_average_r， S_average_r，V_average_r，Y_average_r，CB_average_r，CR_average_r)，Ml和Mr分别与红 色特征向量ttrr=、白色特征向量ttww和黄色特征向量ttyy进行阈值匹配判断，进一步确认是 否存在车尾刹车灯，判断方法如下：

如果(|Ml-ttrr|<61&|Mr-ttrr|<61)或者(|Ml-ttww|<40&|Mr-ttww|<40)或者 (|Ml-ttyy|<40&|Mr-ttyy|<40)，则检测到车尾刹车灯。

步骤4，输出刹车灯状态信息。

经过上述步骤1～3的处理后，输出刹车灯状态信息，实时警示后方车辆，实现智能驾驶 的决策，车辆减速或者停止。

表1给出了应用本发明对5000张不同情况的车尾灯图片进行测试的识别准确率。

表1不同车辆不同天气时白天的车尾灯识别准确率

车型 晴天 准确率 雨天 准确率 雪天 准确率 小型民用轿车 509/550 92.6% 470/550 85.5% 487/550 88.5% 客车 506/550 92.1% 460/550 83.7% 463/550 84.1% 货车 501/550 91.1% 442/550 80.4% 469/550 85.2%

由表1可知，前方车辆刹车灯白天的识别准确率不仅与天气情况（晴天，雨天，雪天） 有关，而且还与不同的车型也有关系。具体来看，横向对比，三种类型车辆在晴天的识别准 确率比雨天、雪天的识别准确率一般都要高，雪天比雨天的识别准确率要高；纵向对比，在 各种天气情况下，小型民用轿车的识别准确率比客车和货车的识别准确率一般都要高，分析 其主要原因，目前小型民用轿车都安装有高位刹车灯，相比车尾刹车灯，利用它更易于辨别 前方车辆的制动情况。

实验表明，本发明所述方法在晴天对各种车辆刹车灯的识别准确率都在91%以上，即使 是在恶劣的雨天，准确率也在80%以上。因此，应用本发明所述方法可以实现白天多种天气 情况下的刹车灯状态识别。