基于颜色与形状特征相结合的交通标志检测方法

摘要

本发明提出了一种基于颜色和形状特征相结合的交通标志检测方法，首先采用HSV颜色特征，提取整幅图像中交通标志的可疑区域，然后采用形状特征，对可疑区域进行再次划分，提取出颜色和形状都满足条件的区域，滤去其它区域。本发明方法运算量小，鲁棒性好，对外界环境变化不敏感，能够准确、实时的检测出道路两旁复杂背景下的交通标志。

说明书

技术领域

本发明涉及一种道路交通标志的检测方法，特别是涉及一种基于复杂背景 下的交通标志检测方法。

背景技术

交通标志识别（Traffic Sign Recognition，TSR）系统是指人们将先进的信息 技术、数据传输技术、控制技术以及计算机处理技术等有效地综合运用于整个 运输管理体系，使人、车、路及环境密切配合，从而建立起一种在大范围内、 全方位发挥作用的实时、准确、高效的交通信息提示系统。其是智能交通系统 的一个重要组成部分，由于交通标志中含有许多重要的交通信息，如对当前行 车的速度提示、前方道路状况的变化、驾驶员行为制约等，因此在这一辅助系 统中，如何快速、准确、有效地检测出道路中的交通标志并将之反馈给驾驶人 员或控制系统，对于保证驾驶安全，避免交通事故的发生具有十分重要的研究 意义，因此，受到越来越多专家学者的重视。

在智能交通系统研究方面比较著名的有：欧洲普罗米修斯(Program for  European Traffic with Highest Efficiency and Unprecedented Safety, PROMETHEUS)计划，美国提出的智能车辆道路系统（Intelligent Vehicle and  Highway Systems,IVHS)，以及日本的先进安全车辆（Advanced Safety  Vehicle,ASV)等。目前，在智能车辆机器视觉领域研究中处于前沿的主要有德国 的UBM（Universitat der Bundeswehr Munchen）大学、意大利Broggi教授领导 的课题组、美国国际科技应用公司等。其中，德国UBM大学Dick-manns教授 领导的智能车辆研究小组一直致力于动态机器视觉领域的研究，研制的 EMS-Vision视觉可较好的模拟人眼功能。过去的10多年里，有些国家已经成功 开发了一些基于视觉的道路识别和跟踪系统。其中，具有代表性的系统有：LOIS 系统、GOLD系统、RALPH系统、SCARF系统和ALVINN系统。

谷歌两年半之前就推出了无人驾驶汽车项目，其中，也离不开交通标志识 别系统，早在2011年的8月份谷歌无人驾驶汽车项目的带头人克里斯·厄姆森就 宣布该公司的十余辆无人驾驶汽车已经在电脑控制下安全行驶了48万公里。随 后宝马、沃尔沃、奥迪等汽车厂商也相继通过配备智能软件、视野辅助及环境 检测系统推出了无人驾驶概念车。主要设计用于市区驾驶，通过对路边交通标 志的判断以及其它相关技术，汽车能独立加速和制动。国内无人车研发方面， 从上世纪90年代中期开始国防科技大学的贺汉根教授和戴斌教授率领的“自主 驾驶技术”创新团队从零起步，依靠自主创新实现了一系列关键技术突破，于 2001年研制成功我国首台无人驾驶汽车，打破了国外对我国无人驾驶技术的封 锁。此外，军事交通学院的徐友春教授、清华大学的邓志东教授等，也在无人 车研发方面颇有建树。国内一些其它高校（如北京理工大学、清华大学、西安 交通大学、武汉大学等）、研究机构、以及一些汽车企业相继也展开了一些相关 方法的探索研究和初步实验。

TSR辅助系统是计算机视觉、人工智能、图像处理、模式识别等多学科的 交叉应用，随着视频技术和计算机技术的发展，采用图像处理方法智能提取交 通标志的视频检测识别已经成为可能。TSR系统中主要包括两个基本环节：首 先是交通标志的检测（分割），包括对采集到的图像的预处理和交通标志的分割 定位；其次是交通标志的识别（分类），包括交通标志的特征提取、特征分析及 最终识别等。而检测是TSR系统的关键环节，其结果的好坏直接影响识别结果 的好坏。

发明内容

发明目的

为了更好的对交通标志进行识别，本发明提出了一种基于颜色与形状特征 相结合的交通标志检测方法。

技术方案

本发明是通过以下技术方案实施的：

一种基于颜色与形状特征相结合的交通标志检测方法，其特征在于：该方 法步骤如下：

（1）、提取颜色特征

采用HSV色度模型，通过对H、S、V赋相应的值来对整幅图像提取可疑 目标颜色。

（2）、提取形状特征

对颜色提取之后整幅图像只剩下与目标交通标志颜色相同的区域，此时， 通过对各个区域进行基于区域的形状提取，通过求圆度、矩形度、伸展度对各 个区域的形状进行判断，并且只留取圆形、矩形以及三角形区域。

（3）形态学过滤

采用二维高斯函数作为平滑滤波器来去除图像的边界噪声，使得目标图像 更加平滑；通过膨胀与腐蚀减少图像中的毛刺、模糊噪声以及去除比结构元素 小的暗色细节，保持图像整体灰度值和大的暗区域基本不变。

（4）可疑目标提取

将提取出的形状特征经过形态学过滤后，与原图像进行与运算，提取出彩 色的目标图像，即交通标志图像。

优点和效果

由于图像的单一特征对图像的内容描述难免过于片面，仅能对图像的部分 属性予以表达，对于自然状态下实时的交通标志提取，单一特征的检索常常效 果不佳，而基于颜色和形状特征相结合的检索，对图像内容的表达更全面，从 而能够扬长避短，取得更好的检索效果。下面就单独应用颜色、单独应用形状、 其他颜色与形状共同作用方法以及本专利所采用的颜色形状相结合来提取交通 标志图标进行对比。

附图说明

图1为交通标志检测的颜色-形状配对模型及初分类示意图；

图2为提取目标最小轮廓示意图；

图3为不同交通标志各个形状长、宽示意图；

图4为原始图像；

图5为单独采用RGB进行蓝色标志提取示意图；

图6为单独采用RGB进行蓝色标志提取示意图；

图7为颜色与形状共同作用检测；

图8为采用本专利方法进行圆形标志提取示意图；

图9为实施例1原始图；

图10为实施例1HSV颜色模型；

图11为实施例1对整幅图像提取出红色区域的效果图；

图12为实施例1用形态学滤波并进行区域填充的效果图；

图13为实施例1提取目标形状图；

图14为实施例1目标提取最终结果图。

具体实施方式

下面结合附图对本发明进行具体说明：

本发明提供了一种基于颜色与形状特征相结合的交通标志检测方法，该方 法步骤如下：

（1）、提取颜色特征

采用HSV色度模型，通过对H、S、V赋相应的值来对整幅图像提取可疑 目标颜色；例如，蓝色、红色、黄色等。

（2）、提取形状特征

对颜色提取之后整幅图像只剩下与目标交通标志颜色相同的区域，此时， 通过对各个区域进行基于区域的形状提取，通过求圆度、矩形度、伸展度对各 个区域的形状进行判断，并且只留取圆形、矩形以及三角形区域。

（3）形态学过滤

采用二维高斯函数作为平滑滤波器来去除图像的边界噪声，从而使得目标 图像更加平滑；通过膨胀与腐蚀减少图像中的毛刺、模糊等噪声以及去除比结 构元素小的暗色细节，保持图像整体灰度值和大的暗区域基本不变。

（4）可疑目标提取

将提取出的形状特征经过形态学过滤后，与原图像进行与运算，从而提取 出彩色的目标图像，即交通标志图像。

交通标志对驾驶员来说就是一种很生动的语言，驾驶员的驾驶过程差不多 完全是依靠视觉系统对这种交通语言信息进行处理的。要想在熟悉的或不熟悉 的环境中要做到遵守交通规则，准确、及时的识别出交通标志就是关键的前提。

但往往在驾驶过程中人们的注意力并不是完全集中的，容易受外界干扰物 体（比如说电话、大小广告、路人、车辆等）的影响，而忽视了交通标志牌。 故自二十世纪八十年代中期开始，各种交通标志识别方法就不断被提出，用于 提醒驾驶员达到安全驾驶的目的。但由于场景任意带来的多样性和复杂性，还 有对准确性、实时性以及鲁棒性等方面的高要求，导致了到目前为止还没有一 个真正效果比较好的系统。由于研究对象是无法预知的复杂背景下的交通标志， 因此本发明在光照变化、颜色残缺、拍摄角度、标志模糊或扭曲、以及标志的 遮挡方面都做了全面的考虑，以达到排除干扰，自动的、及时的找出交通标志 牌，检测标志信息，并迅速地反馈给驾驶员，最大程度的提高驾驶安全，减少 事故发生的可能性，使驾驶变得更加安全和轻松。

我国直接与道路交通安全有关的交通标志分为3大类，合计131种(不包括 可派生的标志）。其中，禁令标志48个，指示标志36个，警告标志47个。本 发明的研究对象为这131个交通标志。

1）指示标志：用来指示车辆和行人的行进，以蓝色为特征色，形状为圆形 或长方形。

2）警告标志:用来警告车辆和行人注意危险地点，以黄色为特征色，除“避 险车道”为矩形外，形状均为角向上的等边三角形。

3）禁令标志:用来禁止或限制车辆和行人的行进，除“禁令解除”外以红色 为特征色，除“停车让行”和“减速让行”外形状均为圆形。

由以上分析可知，交通标志边框有蓝、黑、红三种颜色，形状有圆形、三 角形及矩形，因此，可根据交通标志边框的颜色与形状定位检测出交通图像中 交通标志所在的区域位置。所以通过对整幅图像先进行黄色、红色、蓝色以及 黑色部分的提取，之后通过扫描提取区域的形状特征如三角形、圆形和矩形。 就可大概提取出交通标志的可疑区域。图1为交通标志检测的颜色-形状配对模 型及初分类。

由于图像的单一特征对图像的内容描述难免过于片面，仅能对图像的部分 属性予以表达，对于不同用户的不同需求，单一特征的检索常常效果不佳，而 基于颜色和形状特征相结合的检索，对图像内容的表达更全面，从而能够扬长 避短，取得更好的检索效果。

（1）提取颜色特征

在颜色提取方面主要采用的颜色空间有RGB、HSI、LAB、HSV等。其中， RGB颜色空间是最基础的、应用最广泛的，几乎所有的其它空间都可以通过RGB 空间进行转换。但其反应图像的信息不够直观，不符合人类视觉的感知,而且 RGB颜色空间中三个变量具有一定的相关性，使得图像比较容易受光照的影响。 在HSI模型中，虽然H、S、I三个分量关联性很小，较为独立，但当饱和度和 亮度较低时会导致色调的不稳定，无法用于交通标志的检测，只有具备一定的 饱和度和亮度值才可以得到稳定的色调，因此，不适用实时的颜色检测。LAB 颜色空间是由专门制定测量颜色标准的国际照明委员会制定的一种色彩模式。 能够直接用颜色空间的几何距离进行不同颜色的比较，因此可有效地用于测量 小的色差，但由于其是非线性变换，因此计算量较大，而且颜色空间存在奇异 点。

HSV颜色空间是孟塞尔色彩空间的简化形式，是以颜色的色调（H）、饱和 度（S）、亮度（V）为三要素来表示的，是非线性颜色表示系统。其中，色调是 描述纯色的属性，饱和度是描述纯色被白光稀释的程度的度量，亮度是一个主 观的描述子，体现了无色的亮度概念，是描述色彩感觉的关键参数。HSV颜色 空间同人对色彩的感知相一致，且在HSV空间中，人对色差的感知较均匀， 是适合人的视觉特性的颜色空间。下面我们从视觉一致性，完整性，紧凑性， 自然性等几个方面，对上述颜色空间进行比较，如表1所示。

表1几个色度空间的比较

从上表可以看出在HSV颜色空间中，有利于图像的处理，例如边缘检测、 图像分割和目标识别等。因此，本专利采用HSV颜色空间对整幅图像进行第一 步的颜色提取。

（2）提取形状特征

形状特征是图像的核心特征之一，图像的形状信息不随图像颜色的变化而 变化，是物体的稳定特征。图像形状特征能够区分出相同类别的物体，而颜色 和纹理却常常不具有这个特点。且用形状特征区别物体非常直观。因此，利用 形状特征检索图像可以提高检索的准确性和效率。

对基于形状图像检索的类型划分成两种，一种是基于图像区域的特征检索， 另一种是基于边缘特征的检索。基于边缘的形状描述是对包围目标区域的轮廓 的描述，它不考虑形状内部的信息。这类描述一般有连续型和离散型两种形式。 连续型的描述方法也称为全局型，它是从轮廓的整体出发提取特征矢量；离散 型的描述方法也称为结构型，它是将轮廓划分为很多片段后提取相应的特征。 在基于边缘特征的图像检索中，我们经常用到的边界提取算子的方法主要有： Canny算子、Laplacian算子、Sobel算子、和Roberts算子等。基于区域的描述 方法是将形状区域看做一个整体，利用区域内的所有像素，受噪声和形状变化 的影响相对较小，该表示方法分为全局型和局部型两种类型。形状的区域特征 主要有区域的面积、欧拉数、离散度、偏心率、区域不变矩、区域骨架、集合 不变矩、Zernike矩、角半径变换等方法。

相对边界提取来说，区域提取准确性更高，而且由于上一步的颜色提取， 已经使整幅图像二值化，并无复杂背景，因此基于区域提取算法，完全可以实 现可疑目标区域的提取。综上所述，本专利采用全局型区域描述子提取可疑目 标。

（3）形态学过滤

1）平滑图像

为了能够去除图像的边界噪声，我们通过高斯滤波法对目标图像实施平滑处 理。在图像的各种噪声当中，高斯噪声是最多的，对于滤掉图像中服从正态分 布的边缘噪声我们一般是通过高斯滤波法来进行的。因此，在这里我们处理图 像是釆用具有二维的高斯函数作为平滑滤波器来进行的。二维的高斯函数的表 达式如下：

$G(x,y)=\frac{1}{{2\mathrm{\Pi \sigma }}^2}\exp (-\frac{x^2+y^2}{{2\sigma }^2})$

本专利利用高斯滤波法可将图像的边界噪声进行消除，从而使得目标图像 更加平滑，这些预处理操作对于确保图像形状特征的精确提取起到了很好的作 用。

2）膨胀和腐蚀

数学形态学能从图像中提取对于表达和描绘区域形状有用处的图像分量， 在二值图像中，所有黑色像素的集合是图像完整的形态学描述。形态学的基本 运算有膨胀和腐蚀。先腐蚀后膨胀叫做开操作，先膨胀后腐蚀叫做闭操作。开 操作能使目标区域轮廓变得光滑，断开狭窄的间断和消除细的突出物，同时， 又不会明显改变目标区域的面积。定义为：

AοB＝(AΘB)⊕B

闭操作能消弥狭窄的间断和长细的鸿沟，消除小的孔洞，并填补轮廓线中的 断裂，在不明显改变面积的情况下平滑其边界的作用。定义为：

A·B＝(A⊕B)ΘB

经过开操作和闭操作，能消除图像中孤立的点和一些干扰形成的小碎块， 同时也能消除物体边界点，也可使腐蚀后的图像中目标区域面积有所补偿。然 后用3×3的矩形窗口对图像进行中值滤波，能起到进一步消除图像噪声、斑点， 进一步分割目标和背景的作用。

（4）可疑目标提取

经过形态学过滤后，图像中的物体轮廓就更加清晰明了了，首先需提取出 可疑区域的x、y方向坐标起点，如图2所示，求出方向的区域长度，并将面积 小于某设定阈值的区域去掉。

不同形状的交通标志具有不同的属性,如质心边缘距离图、圆形度、矩形度、 伸长度等。如图3所示，以图中虚线箭头所指处为起点，逆时针旋转一周，依 次求质心与每个边缘点之间的距离，图中第二行即为3种不同形状交通标志的 质心边缘距离图，其中横坐标表示交通标志边缘图像包含的像素点个数，纵坐 标表示质心到边缘像素点的距离值。

综合圆形、三角形以及矩形各自的特点，本专利选取圆度、矩形度和伸长 度作为形状特征提取的主要参数。其中，圆度主要指目标物接近理论圆的程度； 矩形度反映了物体与矩形相似的程度；而伸长度则那是指材料因为外力的作用 产生变形后延长了程度。通过求出质心到边缘距离的最小、最大以及平均值求 出区域的圆度、矩形度和伸长度。

具体公式如下：

区域的圆度：Cratio=4*pi*S/P^2；

区域的矩形度：Rratio=S/(W*H)；

区域的伸长度：Eratio=min(W,H)/max(W,H)；

其中，P-区域的周长，S-区域面积，W-x方向区域长度，H-y方向区域长度。

学者Miguel A.Garc′1a-Garrido在2012年发表的关于交通标志检测的论文 中，同样采用颜色与形状特征相结合的方式，但其在形状提取部分，采用的是 离散的candy算子进行边界提取，在提取过程中会由于断点而造成识别失败。例 如下图所示。本为俩个相邻的圆形交通标志，由于离散算子的断点，造成了两 个圆形标志被误检成了一个连通的标志。

从实验结果可以看出，单纯应用颜色或形状所提取出的效果都不理想，利 用颜色时，尤其在提取蓝色标志中，由于多数车牌也为蓝色，所以很容易将车 牌进行误提取，从而影响实验结果。而在应用形状特征进行提取时，由于自然 环境下的复杂背景，使得其提取效果更差。综上，基于颜色和形状共同作用结 合的交通标志检测，对图像内容的表达更全面，从而能够扬长避短，取得更好 的检索效果。表2通过引用查全率与查准率对三种方法进行对比。

其中，定义基准查询的样本图像设定为N，检索图像的图像集设定为M， 可得：

所检索到的相关图像的数目为：

误检的数目为：$B_k=\underset{m=0}{\overset{k-1}{\Sigma }}(1-V_m),$

漏检的数目为：$C_k=\underset{m=0}{\overset{M-1}{\Sigma }}{V}_m-A_k,$

未检测出的非相关图像的数目为：

在这里，V_m为基准检索图像和序数为m的图像的相关值，V_m∈(0,l)；k为 截止值。查准率和查全率这两个检索性能评估的准则，我们可以由以上几个值 得出。

（1）查准率：查准率常用来评估图像检索系统剔除非相关图像的能力，它 得到的是检索结果集当中正确查找的图像所占的比值。

查准率：

（2）查全率：查全率用来测定图像检索系统检索出相关图像的能力，它得 到的是有效图像所占图像数据库中所有相似图像的数量的比值。

查全率：

表2三种算法查全率与查准率的对比

综上所述，本专利提出的基于颜色与形状特征相结合的交通标志检测算法， 无论是在查全率还是在查准率方面，都优于单独采用彩色或形状的检测算法。 与同用颜色与形状结合的方法相比，本发明方法更能突出显示所要提取的交通 标志，且提取误差小。而且由于先采用颜色对整幅图像进行初次过滤，这为下 一步的形状特征提取排除了大量的复杂背景和干扰，大大节省了形状特征提取 的时间并提高其检测准确率，所以本发明方法有很好的鲁棒性、实时性，适用 于现实应用。

下面结合附图和具体的实施方式对本发明做进一步的说明，

实施例1：

首先从车载摄像机里获取原始图片，如图9所示。

（1）颜色提取

在HSV六菱锥色彩模型中，色相（H）处于平行于六菱锥顶面的色平面上， 它们围绕中心轴V旋转和变化，红、黄、绿、青、蓝、品红六个标准色分别相 隔60度。沿六菱锥中心轴V从上至下变化，中心轴顶端呈白色（V=1），底端 呈黑色（V=0），它们表示无彩色系的灰度颜色。色彩饱和度（S）沿水平方向 变化，越接近六菱锥中心轴的色彩，其饱和度越低，六边形正中心的色彩饱和 度为零（S=0），与最高明度的V=1相重合，最高饱和度的颜色则处于六边形 外框的边缘线上（S=1）。

本发明在颜色提取部分采用HSV颜色模型提取整幅图像中的黄色、蓝色以 及红色部分。其中，

蓝色区域检测的各项赋值为：

H(i,j)>=240&&H(i,j)<=255))||((H(i,j)>=0&&H(i,j)<=10)；

红色区域检测的各项赋值为：

(H(i,j)>=240&&H(i,j)<=255))||((H(i,j)>=0&&H(i,j)<=10)；

黄色区域检测的各项赋值为：

H(i,j)>=18&&H(i,j)<=45。

以红色为例，采用本专利方法所提取的效果图如下图11所示。

（2）形态学滤波

由于街道背景的复杂性，颜色提取后难免会有噪声，以及误提取的与目标 标志颜色相同的小区域，针对这种情况，首先，可以通过形态开运算来补偿不 均匀的背景亮度，选取合适的结构元素对图像进行开运算，产生对整个图像背 景的估计。形态开运算记为I°b，结构元素b(i',j')对图像I（i，j)的开运算定义为 I°b=(IΘb)⊕b；

式中：I为颜色提取后的图像；符号“Θ”和“⊕”分别为结构元素b(i’,j’)对图 像I（i，j)的膨胀和腐蚀运算，公式如下：

(I⊕b)(i,j)＝max{I(i-i',j-j')+b(i',j')/(i',j')∈D_b}

(IΘb)(i,j)＝min{I(i+i',j+j')-b(i',j')/(i',j')∈D_b}

式中：D_b是结构元素b(i’,j’)的定义域。

开运算可以去除比结构元素小的明亮细节，保持图像整体灰度值和大的亮 区域基本不变，通过开运算可以得到均匀的背景估计，那么从原图像减去估计 的背景即可生成一幅具有均匀背景的图像，消除噪声以及干扰的影响，这个过 程即为形态学中的顶帽（ｔｏｐ－ｈａｔ）变换，公式如下：

g＝I-(Iοb)

式中：ｇ为输出图像。

通过ｔｏｐ－ｈａｔ变换后，图像的阴影部分可基本被覆盖，并与原有背 景融为一体，从而在分割部分可将目标区域提取出来，不会出现将阴影当作目 标分割出来的现象。另一方面，由于车载摄像头颠簸、抖动的现象，造成图像 普遍对比度不高，噪声污染严重，边缘模糊，因此本发明在进行顶帽运算去除 阴影之后，执行顶帽－底帽（ｂｏｔｔｏｍ－ｈａｔ）相结合的运算来进行声 纳图像增强，底帽运算定义为：

式中，I·b为闭运算，结构元素b(i’,j’)对图像I（i,j）的闭运算公式如下：

I·b＝(I⊕b)Θb

闭运算可以去除比结构元素小的暗色细节，保持图像整体灰度值和大的暗 区域基本不变。由此完成了形态学预处理部分，如图12所示。

（3）形状提取

形态学滤波后，去除了图像中多余的噪声和干扰，此时就可以进行基于形 状的目标提取，通过多次试验，作者发现当圆度、矩形度和伸长度选取如下范 围时，目标区域提取的效果最佳，如图13所示。

圆形标志：C>0.85，R>0.70，E>0.85；

三角形标志：0.35<C<0.70，0.4<R<0.65，E>0.8；

矩形标志：0.60<C<0.85，R>0.70，E>0.85。

（4）目标提取

将提取出的目标形状与原图像做与运算，可得到最终的目标识别结果。目 标提取最终结果如图14所示。

（5）方法准确率

在本次实验中，共采用了四种具有代表性的标志类型各40个，采用本发明 方法交通标志的检测情况如下表3所示：

表3各种类型交通标志检测情况

。