一种室外恶劣光照条件下的快速鲁棒交通标志检测方法

摘要

本发明涉及一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，包括：建立多类交通标志的颜色直方图；生成基于多类直方图的概率图；提取基于MSER的交通标志候选区域；去除非交通标志区域。本发明构建不同光照下的多个颜色直方图，并基于多直方图反投影生成输入图像的概率图，将不同光照条件下的交通标志图像变换到统一条件下，对MSER特征区域进行一致性处理，提高了算法对于恶劣光照变化的鲁棒性，同时具有较快的检测速度。实验表明，在弱光照和强光照条件下，现有算法的检测准确率明显下降，而本发明的检测准确率依然保持在90%以上。本发明不仅可以提取红色、黄色、蓝色的交通标志，同时可以提取白色背景的交通标志。

说明书

技术领域

本发明属于机器视觉和图像处理技术领域，具体涉及一种针对室外恶劣光照条件下的快 速鲁棒交通标志检测方法。

背景技术

随着社会的发展，机动车数量和出行人数大量增加，交通安全和交通拥堵已经成为日益 严重的社会问题。智能交通系统被认为是解决这些问题的有效方法。国内外已经在智能交通 系统方面投入了大量的人力和财力。基于视频图像的交通标志识别系统是智能交通系统的重 要组成部分，它为驾驶员提供重要的警告和禁令信息，从而有效降低驾驶员复杂道路情况下 繁重的工作负荷，最终为驾驶员安全驾驶提供保障，在主动避免交通事故及提高驾驶舒适性 方面发挥了重要作用。

交通标志识别系统一般被分为检测和识别两个部分。准确快速的交通标志检测是交通标 志能够被正确识别的前提。对于快速鲁棒的交通标志检测而言，其难点主要在于道路场景中 恶劣的光照变化，这种恶劣的光照变化主要包括：剧烈的光照变化及必然存在的场景光照不 均匀（强弱光照变化）、不同的天气条件（阴雨天气、黄昏等）、阴影遮挡以及强光照导致交 通标志出现反光等一系列情况。为此，近年来国内外的学者就交通标志的快速鲁棒检测问题 进行了大量的研究，主要方法分为三类：第一类是基于颜色信息分割的交通标志检测，如 Gomez-Moreno H采用对光照变化鲁棒的归一化RGB颜色空间进行阈值分割以得到交通标志 候选区域(Goal evaluation of segmentation algorithms for traffic sign recognition[J].Intelligent  Transportation Systems,IEEE Transactions on,2010,11(4):917-930.)。这类方法速度快，准确率 高，不足是需要根据经验来选取最优的阈值，难以自适应剧烈的光照变化，易出现漏检问题， 而且基于颜色进行阈值分割的方法不能检测白色背景的交通标志。第二类方法为基于交通标 志形状特征的，如Garcia等人在感兴趣区域内用霍夫变换检测圆形和三角形标志（Fast road  sign detection using hough transform for assisted driving of road vehicles[C].Proceedings of the  EUROCAST Computer Aided Systems Theory,2005,3643:543-548.）。然而这类方法主要基于 Hough变换，其算法耗时多，且当交通标志被部分遮挡或背景与交通标志颜色相似时，其算 法的检测准确率下降明显。Greenhalgh J等人提出了另一种基于交通标志形状特征的方法 （Real-Time Detection and Recognition of Road Traffic Signs[J].Intelligent Transportation  Systems,IEEE Transactions on,2012,13(4):1498-1506.），该方法在红蓝图上提取MSER特征， 取得了很好的检测效果，然而对恶劣光照条件的适应性较差，而且不能检测黄色的警告交通 标志。第三类是基于机器学习方法，如支持向量机、神经网络等，Fang等人使用两层神经网 络进行交通标志颜色的提取，取得了很好的检测效果（Road sign detection and tracking[J]. Vehicular Technology,IEEE Transactions on,2003,52(5):1329-1341.）。然而这类方法计算复杂度 高，很难满足实时检测的要求。综上所述，目前的算法一定程度上存在着对恶劣光照条件自 适应能力差，较难满足实时检测的需要，并且由于算法本身的限制，很多算法不能够检测出 所有类型的交通标志。

发明内容

为了解决交通标志检测算法在恶劣光照条件下检测准确率显著降低和目前算法难以满足 实时性的问题，本发明提出了一种采用多类颜色直方图反投影建立概率图，并结合最大稳定 极值区域(Maximally Stable Extremal Regions,MSER)进行特征提取的快速鲁棒交通标志检测 方法。

一种室外恶劣光照条件下的快速鲁棒交通标志检测方法，包括以下步骤：

步骤1，建立多类交通标志的颜色直方图。

步骤1.1，在不同光照条件下采集大量真实场景中含有交通标志的图像，手动抠取交通标 志区域作为待训练的交通标志样本。

步骤1.2，按颜色和光照条件对交通标志训练样本进行分类。

共分为9类样本子集，分类方法如下：

（1）按颜色分类。按颜色分为红色、蓝色和黄色三类；

（2）按光照条件分类。按光照条件分为三类：白天正常光照；白天强烈光照或场景有强 烈光源导致交通标志出现反光；弱光照，包括阴雨天气、黄昏、被阴影遮挡。对于某一类颜 色，这三个子类中的交通标志数量基本相等，且三个子类中的标志数量不少于30张。

步骤1.3，建立多类颜色直方图。

首先，将每个图片样本归一化到同一尺寸，并从RGB颜色空间转换到HSI颜色空间， 计算公式为：

$H=\left(\begin{array}{c}\theta ,B\le G\\ 360-\theta ,B>G\end{array}\right)$

$\theta =\arccos \left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\}$

$S=1-\frac{3}{R+G+B}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中，R、G、B是RGB颜色空间中红、绿、蓝三个分量的值，H、S、I是HSI颜色空 间色调、饱和度、亮度三个分量的值；R、G、B在计算前归一化到[0,1]范围内。

然后，在各样本子集中建立H、S分量的颜色直方图。

每一个样本子集建立一个二维的直方图，其中x坐标为H分量，y坐标为S分量，而z 坐标则为各种H、S分量组合的概率。设定H分量的取值范围为0～360，S分量的取值范围为 0～255，本发明将H分量划分为30个等级，将S分量划分为32个等级，将xy(HS)平面划分 为960个小区域，每个小区域称为一个bins。将z坐标的累加值归一化到0～255范围内，计 算公式为：

f(b)＝FLOOR(binsVal(b)*255/maxVal)

式中，f(b)表示对应bins归一化后的值，binsVal(b)表示归一化之前对应bins的累加值， maxVal表示所有bins中的最大值，FLOOR表示向下舍入取整运算。

步骤1.4，设定颜色直方图的统计范围，公式如下：

式中，Red(i,j)、Blue(i,j)、Yellow(i,j)分别表示任意像素点P(i,j)的红色、蓝色、黄色标 签，H(i,j)、S(i,j)分别表示像素点P(i,j)的色调和饱和度分量的值。只有当像素点的H和S 分量在满足要求的范围内，即相应的标签值等于True时才将该像素点进行颜色直方图的累加。

步骤2，生成基于多类直方图的概率图。

步骤2.1，将待检测图像从RGB颜色空间转换到HSI颜色空间，公式同步骤1.3。

步骤2.2，将HSI空间的待检测图像中的每一个像素点P(i,j)与步骤1中建立的颜色直方 图按如下公式进行直方图反投影：

P(i,j)＝max(f_ijk(b))

式中，f_ijk(b)表示坐标为(i,j)的像素点在第k个直方图中对应bins归一化之后的值， k＝1,2,...,K，K=9为直方图数目，即步骤1得到的样本子集数目。

最后，遍历整幅图像的所有像素点，得到待检测图像对应的概率图。

步骤3，提取基于MSER的交通标志候选区域。

步骤3.1，提取白色背景的交通标志候选区域。

（1）图像灰度化：采用加权平均灰度化算法将待检测的原始数字图像中每个像素点的红、 绿、蓝三分量赋以不同的权值进行加权平均，最终得到灰度图像，计算公式如下：

f(x,y)＝0.212671R(x,y)+0.715160G(x,y)+0.072169B(x,y)

其中，f(x,y)为灰度化后(x,y)点的灰度值，R(x,y)，G(x,y)，B(x,y)分别为待检测的原 始数字图像中(x,y)点的红、绿、蓝三分量的值。

（2）在生成的灰度图上提取图像中的MSER特征区域。

利用桶序（BinSort）算法将所有的像素点按照灰度值进行排序，其像素灰度值取值范围 为0～255；将所有像素点排好序后，按照降序或者升序将这些像素点在图像中标记出来，在 标记的过程中，采用联合-查找算法，保存一系列不断增大或者出现的连通区域和它们的面积， 这些连通区域就是极值区域ε；在给定的阈值范围下，从ε中挑选出连通区域面积变化随阈 值变化取得局部最小值的连通区域，得到MSER区域。为了提高算法的速度，本发明中阈值 选取的范围为70～190，在此范围内对灰度图像进行24次阈值分割以提取候选的标志区域。

步骤3.2，提取彩色交通标志候选区域。

（1）按照步骤2所述方法对待检测的原始彩色图像建立概率图。

（2）采用3×3的模板对概率图像进行中值滤波，公式如下：

$f_2(x,y)=\mathrm{med}\left(\begin{array}{c}{f}_1(x-1,y-1),f_1(x-1,y),f_1(x-1,y-1),\\ f_1(x,y-1),f_1(x,y),f_1(x,y+1),\\ f_1(x+1,y-1),f_1(x+1,y),f_1(x+1,y+1)\end{array}\right)x>0,y>0$

其中，f₂(x,y)为滤波后(x,y)点的灰度值，med表示求中值运算，f₁(x,y)为灰度化后(x,y) 点的灰度值；对于x＝0或y＝0的点，用灰度值f₁(x,y)作为滤波后的灰度值f₂(x,y)。

（3）对经过中值滤波的概率图像按照步骤3.1（2）所述方法进行MSER特征区域的提 取，不同之处在于，阈值范围选择为140～230，在此范围内进行18次阈值分割以提取彩色交 通标志的候选区域。

步骤4，去除非交通标志区域。

非交通标志去除包括在灰度图和概率图上根据提取的MSER区域形状特征进行非交通标 志的去除，以及将最终得到的矩形边界框进行融合，最终得到交通标志的区域。

步骤4.1，去除彩色交通标志候选区域中的非交通标志区域。

（1）在步骤3.2中得到的彩色交通标志的候选区域上建立MSER特征区域矩形边界框。

（2）根据MSER区域形状特征去除非交通标志区域。

（3）当出现同一个交通标志被检测为多个符合条件的MSER区域时，如果两个MSER 的矩形边界框所包含的面积70%以上重叠，则认为这两个MSER区域出现重叠，取多个MSER 中最大的矩形边界框作为最终的交通标志区域。

（4）当一个MSER区域的矩形边界框中包含三个及以上不重叠的MSER区域时，则去 除最外面的（即最大的）矩形边界框，保留各个小的MSER区域，并取各自的矩形边界框作 为最终的交通标志区域。

这样做的目的是处理多个交通标志位置过于靠近出现被误检为一个MSER特征区域的情 况，以及一块大的面板上包含多个交通标志的情况。

步骤4.2，去除白色背景交通标志候选区域中的非交通标志区域。

（1）在步骤3.1中得到的白色背景交通标志候选区域上建立MSER特征区域矩形边界框。

（2）按照步骤4.1（2）、（3）、（4）去除非交通标志，得到含交通标志的矩形边界框。

（3）对矩形框中每一个像素点进行彩色和非彩色分解，公式如下：

式中，Achr(i,j)表示任意像素点P(i,j)的非彩色标签，S(i,j)、I(i,j)分别表示该像素点 P(i,j)的饱和度和亮度分量的值。

当像素点的S和I分量在满足要求的范围内，即相应的标签值等于True时，将该像素点 的非彩色标签Achr(i,j)置1，遍历矩形框中所有像素点以得到所有像素点的标签值。当矩形 框中标签为1的像素点的个数超过矩形框所有像素点个数的45%时，认为该MSER区域为白 色背景的交通标志，否则去除该MSER区域。

步骤4.3，交通标志候选区域的融合及最终交通标志区域的检测。

将步骤4.1、4.2中最终提取的矩形边界框在原始图像上画出。当部分交通标志在灰度图 和概率图上均被检测出时，如果两个矩形边界框的面积出现70%以上的重叠，则取步骤4.1 中确定的边界框为最终包含交通标志的矩形边界框。

所述步骤4建立MSER特征区域矩形边界框的方法如下：

对于每一个MSER区域，找到它的最左边像素点向左3个像素点的位置，最右边像素点 向右3个像素点的位置，最上边像素点向上3个像素点的位置和最下边像素点向下3个像素 点的位置，根据得到的这4个位置即可得到包含该MSER区域的矩形边界框。

所述步骤4根据MSER区域形状特征去除的非交通标志区域为不满足以下条件的MSER 区域：

（1）矩形边界框的宽度范围为30～210，高度范围为30～210，高度与宽度的比值范围为 0.5～1.5；

（2）MSER特征区域的周长与其矩形边界框周长的比值范围为0.4～1.3；

（3）MSER区域的面积与其矩形边界框面积的比值范围为0.4～1.0。

与现有技术相比，本发明具有以下明显优势：

（1）本发明以光照条件为分类依据构建不同光照下的多个颜色直方图，并基于多直方图 反投影生成输入图像的概率图，以此将不同光照条件下的交通标志图像变换到统一条件下， 使后续对MSER特征区域可以进行一致性处理，提高了算法对于恶劣光照变化的鲁棒性，同 时具有较快的检测速度。实验表明，在弱光照和强光照条件下，现有算法的检测准确率明显 下降，而本发明的检测准确率依然可以保持在90%以上。

（2）本发明不依赖参数的选取，不需要根据经验设定最优的阈值参数。提高了本发明对 不同光照条件的适应性，同时也使本发明适应工程应用。

（3）本发明通过对原始图像的概率图及灰度图分别进行处理，克服了现有检测方法能够 检测的交通标志的颜色种类较少的缺点，不仅可以提取红色、黄色、蓝色的交通标志，同时 可以提取白色背景的交通标志。

附图说明

图1本发明所涉及方法的流程图；

图2实施例获得的交通标志样本子集在不同光照条件下的颜色直方图，（a）、（b）、（c） 三列分别对应红色、蓝色和黄色的交通标志。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明实施例在安装VC2008和OpenCV2.3.1的PC机上实现。

本发明实施例检测方法的流程图如图1所示，包括以下步骤：

步骤1，建立多类交通标志的颜色直方图。

步骤1.1，采用行车记录仪采集不同光照条件下含交通标志的视频，视频的分辨率为 640×480，每秒25帧。将含有交通标志的关键帧进行截图，共截取210幅含交通标志的图片。 为了避免相机参数对颜色直方图统计的影响，在互联网上下载含有交通标志的图像48幅，采 用手动方式抠取交通标志区域作为待训练的交通标志样本。

步骤1.2，按颜色和光照条件对交通标志训练样本进行分类。

共分为9类样本子集，分类方法如下：

（1）按颜色分为三类：红色、蓝色和黄色；

（2）按光照条件分为三类：白天正常光照；白天强烈光照或场景有强烈光源导致交通标 志出现反光；弱光照（阴雨天气、黄昏、被阴影遮挡）。对于某一类颜色，这三个子类中的交 通标志数量基本相等，且三个子类中的标志数量不少于30张。在本实施例中共选取红色交通 标志在弱光照、正常光照和强光照下每类样本53个；蓝色交通标志每类48个；黄色交通标 志每类55个，共计468个样本图片。将所有样本的尺寸归一化到40×40像素大小。

步骤1.3，建立多类颜色直方图。

步骤1.4，设定颜色直方图的统计范围。

各类交通标志样本子集的颜色直方图及一种颜色的交通标志在所有光照条件下的样本一 起统计的直方图实验结果如附图2所示，图2（a）、（b）、（c）三列分别对应红色、蓝色和黄 色的交通标志，从上到下各行分别对应弱光照、正常光照、强光照及同一种颜色所有样本（无 论何种光照条件）下样本子集的颜色直方图。

步骤2，生成基于多类直方图的概率图。

步骤2.1，将待检测图像从RGB颜色空间转换到HSI颜色空间。

步骤2.2，将HSI空间待检测图像中每一个像素点P(i,j)与步骤1中建立的多个颜色直方 图进行直方图反投影。

步骤3，提取基于MSER的交通标志候选区域。

步骤3.1，提取白色背景的交通标志候选区域。

步骤3.2，提取彩色交通标志候选区域。

步骤4，去除非交通标志区域。

步骤4.1，去除彩色交通标志候选区域中的非交通标志区域。

步骤4.2，去除白色背景交通标志候选区域中的非交通标志区域。

步骤4.3，交通标志候选区域的融合及最终交通标志区域的检测。

为了检测本发明所述方法对于光照变化的鲁棒性，选取的测试图片中：正常光照下50幅， 包含交通标志105个，弱光照下51幅，包含交通标志121个，强光照下47幅，包含交通标 志95个。所有选取的测试样本中不包含用于训练的样本图片。本实施例使用Core(TM)i3 2.13GHz PC，基于VS2008平台的OPENCV，平均运行时间为163.3ms，具有较快的检测速 度。

为了进一步验证本发明的有效性，下面给出应用本发明与现有方法检测交通标志的查全 率(Recall)和错误检测率(false detected rate，FDR)。现有方法采用背景技术中的两种交通标志 检测算法：一是Gomez-Moreno H采用的基于归一化RGB颜色空间阈值分割的方法 （Normalized RGB，简称NRGB）；二是Greenhalgh J等人提出的基于红蓝图MSER特征提取 的方法（Red/Blue image and MSER，简称RBM）。Recall和FDR的定义如下：

$\mathrm{Recall}=\frac{\mathrm{TP}}{N}$

$\mathrm{FDR}=\frac{\mathrm{EP}+\mathrm{FN}}{N}$

其中，N为测试集中的交通标志个数，TP（true positives）为正确检测的交通标志个数， FN（false negatives）为没有被检测到的交通标志个数，FP（false positives）为背景被误检为 交通标志的个数。

NRGB算法不能检测白色交通标志，RBM算法不能检测黄色的警告交通标志，而本发明 所述方法既可以检测黄色的警告标志，也可以基于图像灰度图检测白色的交通标志。因此， RBM算法不对黄色禁令标志进行统计，NRGB算法不对白色交通标志进行统计。实验结果 如表1～3所示。

表1正常光照下三种算法检测效果的比较

表2弱光照下三种算法检测效果的比较

表3强光照下三种算法检测效果的比较

由表1～3可以看出：在正常光照条件下，三种算法均有90%以上的检测准确率；在弱光 照和强光照条件下，NRGB和RBM算法对于检测的准确率明显下降，基于单阈值分割的 NRGB方法检测的准确率下降最大；本发明虽然检测的准确率也有所下降，但是下降的百分 比较小，依然可以保持在90%以上检测准确率的较高水平。