具有自我学习能力的实时交通信号识别方法及系统

摘要

本发明公开了一种具有自我学习能力的实时交通信号识别方法及系统，其中具有自我学习能力的实时交通信号识别方法，包括将采集的图像数据进行检测，从而得到交通标志图像的步骤；对上述检测到的交通标志图像采用基于降维的方法进行识别的步骤。通过对采集的图像数据进行检测，得到交通标志图像，并对交通标志图像进行降维处理，然后与分类库进行比对，从而得出交通标志图像的含义，并通过自我学习对降维的映射矩阵进行更新，从而使得交通标记的识别更加准确，而采用的降维方法运行速度快，从而达到了快速准确的识别交通标记的目的。

说明书

技术领域

本发明涉及交通标志识别技术领域，具体地，涉及一种具有自我学习 能力的实时交通信号识别方法及系统。

背景技术

随着Google无人驾驶汽车的发布，智能交通再一次成为人们热议的 话题，在当前的道路交通组织方式下，无人驾驶要融入现有道路交通环境 中，必须要解决交通标志的识别问题。另一方面，如果汽车或者车载设备 能够识别交通标志，无疑将降低驾驶员的负担，带来更便捷的驾驶体验， 与汽车控制系统联动，会带来更智能的驾驶方式，可以减少交通事故发生 率。

目前，在计算机系统上，已经提出了一些交通标志识别算法，但是这 些成果大部分仅限制在研究和实验领域，或者只是运行在PC上，并没有 应用于实际的汽车或车载设备中，经过调查分析，认为现有技术面对或存 在以下问题：1)缺少合适的环境图像采集设备，2)算法识别率低，不能 满足自动识别的需求，3)算法训练周期长，运行开销大，无法满足实时 场景。

发明内容

本发明的目的在于，针对上述问题，提出一种具有自我学习能力的实 时交通信号识别方法及系统，以实现快速准确的识别交通标记的优点。

为实现上述目的，本发明采用的技术方案是：

一种具有自我学习能力的实时交通信号识别方法，包括将采集的图像 数据进行检测，从而得到交通标志图像的步骤；

对上述检测到的交通标志图像采用基于降维的方法进行识别的步骤；

上述基于降维的方法为：将交通标志图像表示为一个矩阵X，X为高 维矩阵，然后将X通过一个线性映射投影到一个低维空间，将X对应的 低维空间矩阵表示为Y，则映射关系为：

Y＝XA^T，

其中，A是映射矩阵，是通过训练得到的，具体为，在初始化阶段， 训练库预先设定样本为训练库，通过预先设定的样本，得到映射矩阵A， 在实际运用中采集到新的交通标志图像后，将代表新的交通标志图像的特 征矩阵利用A映射到一个低维空间，然后利用分类器将低维映射值与样本 映射值分类，得出新的交通标志图像属于哪类，最终得到识别结果，如果 识别正确，则不做处理，如果识别错误，则将新的交通标志图像发送给云 端服务器，云端服务器将其加入到训练库中，重新训练得到新的映射矩阵 A′，得到A′后，使用网络将该映射矩阵传输到安装在移动终端上的数据处 理模块，使用A′替换A，即A′成为新映射矩阵。

优选的，上述利用分类器将低维映射值与样本映射值分类中的分类器 至少包括最近邻分类器和支持向量机分类器。

优选的，上述基于降维的识别方法，方法为基于稀疏表示的图嵌入方 法。

优选的，所述基于稀疏表示的图嵌入方法具体为：

步骤401：将训练库中的交通标志图像进行分类得到分层图结构，在 不同的层分别构建类内图和类间图；

步骤402：将上述分层图结构应用到图嵌入框架下，得到如下目标函 数：

$f=\frac{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{w,\mathrm{ij}}}{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{b,\mathrm{ij}}}=\frac{y^T{L}_{w}y}{y^T{L}_{b}y}=\frac{{\mathrm{AX}}^T{L}_w{\mathrm{XA}}^T}{{\mathrm{AX}}^T{L}_b{\mathrm{XA}}^T},$

其中：y表示低维空间矩阵，X表示采集的样本集合，W_w表示类内图 的权重矩阵，W_b表示类间图的权重矩阵，L_w和L_b分别是类内图和类间图 的拉普拉斯特征矩阵，定义为L＝D-W，D是一个对角矩阵，D_ii＝Σ_jw_ij，

子空间映射矩阵A通过求解如下式得到：

AX^TL_wXA^T＝λAX^TL_bXA^T，

假设a₁，a₂，……a_d为求解上式得到的特征向量，λ₁，λ₂，……λ_d为对 应的特征值，并且满足条件λ₁<λ₂<……<λ_d，映射关系表示为：

X→y＝XA^T，A＝[a_l，a₁，......a_d]；

步骤403：引入稀疏表示优化步骤402中的图嵌入；

具体为首先，目标函数定义为：

为了使A满足稀疏性在目标函数中加入如下的正则项：

min||A||_2，1，

将步骤402中的f转化为如下公式：

min y^TL_wy

s.t.y^TL_by＝I，

得到最终的目标函数：

其中，ω和为平衡参数，将L对A求导，并令导数为零，得到A的 表达式为：

其中，Δ是对角矩阵

${\Delta }_{\mathrm{ii}}=\left(\begin{array}{cc}0,& \mathrm{if}{A}_i=0\\ \frac{1}{{\left|\right|A_i\left|\right|}_2},& \mathrm{otherwise}\end{array}\right),$

将得到的A带入到最终目标函数L中，然后用拉格朗日法解最优化问 题，优化解为下式前d个最小特征值对应的特征向量：

Γy＝λL_by，

其中，使用迭代法来解决此优化问题，即首先固定A， 求解y，然后使用得到的y去更新A，如此往复，直到A和y收敛。

优选的，所述将检测的交通标志图像进行分层得到分层图结构具体为： 采用类内图和类间图的方法，所述类内图：每类数据进行局部近邻链接， 采用k近邻方法，根据实验效果，调整参数k的值，对于有链接的边，赋 予权重，权重采用热核函数定义，然后每类的权重矩阵，组合起来，为类 内图的权重矩阵W_w；其中热核函数的定义为如果节点i和j之间存在连接， 则设置权值w_ij＝exp(-||x_i-x_j||/σ²)，否则权值设为0。

所述类间图：由于交通信号的特殊性，即某几类信号的相似度很高， 存在小类的情况，因此，先对信号进行分类，标记好大类的记号，寻找一 类与其他几类最近的点，进行链接，权重矩阵采用热核函数定义，然后对 于大类之间，选取一大类与其他大类间最近的点进行连接，赋予权重值， 获得类间图的权重矩阵W_b。

优选的，上述类内图的k＝4。

同时本发明技术方案还公开一种运行具有自我学习能力的实时交通 信号识别方法的系统，包括图像采集模块、结果输出模块和数据处理模块， 所述图像采集模块采集的数据经数据处理模块处理后通过结果输出模块 显示，所述图像采集模块和结果输出模块采用智能移动终端，所述数据处 理模块由智能移动终端和云端服务器完成，具体为简单快速的线性运算由 智能移动终端完成，所述线性运算包括特征降维和分类器，训练过程由云 端服务器完成，且云端服务器和智能移动终端双向通信。

优选的，所述智能移动终端为具有摄像头的智能手机。

本发明的技术方案具有以下有益效果：

本发明的技术方案，通过对采集的图像数据进行检测，得到交通标志 图像，并对交通标志图像进行降维处理，然后与分类库进行比对，从而得 出交通标志图像的含义，并通过自我学习对降维的映射矩阵进行更新，从 而使得交通标记的识别更加准确，而采用的降维方法运行速度快，在当前 主流手机硬件配置水平下可以满足实时场景的应用，从而达到了快速准确 的识别交通标记的目的。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例所述的具有自我学习能力的实时交通信号识别方 法及系统的原理框图；

图2a、图2c和图2e为二维数据示意图；

图2b、图2d和图2f为采用LPP、LDA以及LDA over LPP算法降维 后的一维数据示意图；

图3为本发明实施例所述的分层图结构示意图；

图4为本发明实施例所述的类内图构建示意图；

图5a和图5b为本发明实施例所述的类间图的构建示意图；

图6为本发明实施例所述的具有自我学习能力的实时交通信号识别方 法应用示意图。

结合附图，本发明实施例中附图标记如下：

1-检测标记；2-图像捕捉工作区；3-识别结果显示区；4-设置菜单； 5-切换镜头；6-语音提示；7-反馈结果；8-识别图像；9-实时识别。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描 述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种具有自我学习能力的实时交通信号识别方法，包括将采集的图像 数据进行检测，从而得到交通标志图像的步骤；

对上述检测到的交通标志图像采用基于降维的方法进行识别的步骤；

上述基于降维的方法具体为：目前主流的交通标志识别方法，在性 能准确率上能达到甚至超过人脑自然识别率的主要有两类方法，第一类是 基于神经网络的，该类方法的特点是识别率高，但是训练开销非常大，无 法适应实时识别场景；第二类是基于降维方法的，该类方法的特点是识别 准确率相对第一类方法略低，但是训练开销更小。本专利技术方案采用基 于降维的方法。该方法的基本思想是，将交通标志图像表示为一个矩阵X， X通常是一个高维矩阵，直接对X进行运算会需要很大的计算开销，将X 通过一个线性映射投影到一个低维空间，如果将X对应的低维空间矩阵表 示为Y，则这种映射关系可以表示为：

Y＝XA^T  (1)

其中，A是映射矩阵，通过复杂的训练得到。在机器学习领域一般的 解决方案中，要得到A，通常需要进行特征分解运算，这种运算开销很大。 同时，在实际环境中采集到的交通图像，因为光照和角度等差异，对识别 是一个很大的挑战，如果只是采用既有的训练样本，得到的结果在测试机 上可能会有令人满意的效果，但是不一定能适应真实的使用场景，所以， 引入自我学习能力，具体表现为，在系统(算法)的初始化阶段，训练库 中只有预先设定的样本，通过这些样本，得到映射矩阵A，当用户在实际 使用中采集到新的交通标志图像后，将代表该图像的特征矩阵利用A映射 到一个低维空间，然后利用分类器(比如最近邻分类和支持向量机)将低 维映射值与样本映射值分类，得出该图像属于哪一类，最终得到识别结果， 如果识别正确，则不做其他处理，如果识别错误，则将该图像发送给云端 服务器，云端服务器将其加入到训练库中，重新训练得到新的映射矩阵A′， 得到A′后，使用网络将该映射矩阵传输到安装在智能手机上的数据处理模 块，使用A′替换A，此后，智能手机将使用A′对图像降维，如此往复，随 着新训练样本的不断加入，系统可以始终保持令人满意的识别率。而且， 在这整个过程中，智能手机的运算开销都非常小，可以满足实时应用的要 求。具有自我学习能力的实时交通信号识别方法和识别系统的分工如图1 所示。从图1中可以看出，从采集图像到显示结果的整个完整的识别过程 都是在智能手机上完成的，并且仅仅用传输一个矩阵所产生的网络开销带 来了识别率的提高和计算开销的大幅削减，使得系统能够适用于实时场 景，同时还保持了自我学习能力。

其具体工作如下：首先，通过智能手机的摄像头获取环境图像数据。 获取方法是使用系统提供的摄像头接口，在启动手机端App时，默认打开 手机摄像头，并保持屏幕在唤醒状态，系统可以以每秒最高12帧的速率 在摄像头的取景窗口中获取图像数据，并将这些图像数据提交给数据处理 模块中的交通标志检测单元检测。

交通标志检测单元逐帧检测由图像采集单元获取到的数据，如果在图 像中检测到交通标志，则在图像相应的区域画一个方框，以直观地显示检 测结果。交通标志的检测可以有很多方法，比如基于形状和颜色特征进行 检测，本技术方案使用方向梯度直方图特征(HOG)进行检测。该检测方 法使用的是现有比较成熟的算法。

检测到交通标志后，将交通标志对应区域内的图像提取出来，进行识 别。识别本质上是一个分类的过程，即将图像进行一系列处理，得到一个 结果，然后将该结果与训练结果一起分类，检查目标图像会被分到哪一类。 比如，输入图像最后的处理结果与训练库中的禁止左转弯最接近，则认为 输入图像是禁止左转弯标志。目前主流的识别方法主要有两类，一类是基 于神经网络的，一类是基于子空间的。由于基于神经网络的方法运算开销 巨大，目前的硬件条件下，不适用于实时系统。所以使用第二种方法，即 基于子空间的方法。基于子空间的方法有线性的和非线性的，比较而言， 线性方法速度更快，本专利技术方案使用了线性方法，线性判别分析(LDA) 和局部保持投影(LPP)是其中比较经典的线性方法，LDA注重图像数据间 的可分性，即能较好地保持数据的全局判别信息，LPP则更关注于数据的 局部关系，能很好地保留数据的局部结构特征。在交通标志识别系统中， 不仅需要判别交通标志属于哪一个大类，比如限速或者警告，而且由于存 在遮挡、光照和角度等的影响，还需要在类内做进一步判别，所以，在本 技术方案中结合了LDA和LPP的优势，采用了一种新的算法，称之为LDA  over LPP，该算法不仅可以保留数据的全局判别信息，还能保留数据的局 部结构特征。LDA over LPP算法首先构建图结构：类内图和类间图，对于 有监督的分类识别问题，希望一个类别的数据能够更加地紧凑的挨在一 起，而不同类别之间的数据可以相对的远离，这样不同类之间会具有较好 区分性。LDA over LPP的方法就是在LDA的基础上，引入尽可能多的保 留局部流形结构的思想。LDA over LPP获得类间图和类内图后，根据拉普 拉斯原理，可以获得以下两个目标函数，一个类间局部函数f_b，一个类内 局部函数f_w：

$f_b=\underset{i,j}{\Sigma }{(y_i-y_j)}^2·w_{b,\mathrm{ij}}---\left(2\right),$

$f_w=\underset{i,j}{\Sigma }{(y_i-y_j)}^2·w_{w,\mathrm{ij}}---\left(3\right),$

LDA over LPP算法的目标是最小化类内距离，同时最大化类间距离。 这样做可以使得类间更加有区分性，并且类内局部流形结构能更好的保 留，更加的紧凑，从而得到一个更加符合实际情况的低维子空间映射。根 据Fisher准则，LDA over LPP的目标函数为：

$\min f=\frac{f_w}{f_b}=\frac{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{w,\mathrm{ij}}}{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{b,\mathrm{ij}}}---\left(4\right).$

该算法可以形象化地用图2a至图2f表示，在图2a至图2f中，将两 类二维数据映射到一维，可以看出，在图2a和图2b中，三个算法都有效； 在图2c和图2d中，两个不同的类距离很近，由于LPP没有提供全局的判 别信息，所以将两类混在了一起；在图2e和图2f中，由于LDA忽略了数 据局部流形结构，所以无法识别属于同一类的两个聚簇；总体结论是LPP 和LDA在某些情况下会失效，但是LDA over LPP始终能良好工作。

本发明所公开的方法和系统中得到映射矩阵的核心是基于图嵌入的 稀疏表示方法(SRGE)，该算法的要点如下：

(1)由于训练数据是标记数据，即有监督的模式，根据图嵌入的思 想，首先需要建立图结构。为了同时满足全局判别信息和局部结构特征， 我们提出了一种分层的图结构，分层的核心思想是逐层分类，首先将交通 标志分为警告标志、禁令标志、限速标志和指路标志等大类，然后再递归 地将大类分为更小的类，比如针对限速标志，我们可根据实际情况分为限 速20、限速60和限速80等子类，每一个子类当中又包含了不同光照、遮 挡和角度的训练样本。图3给出了我们所建立的分层图结构的思想。该思 想的形式化描述为，给定m个训练样本，表示为X＝{x₁,x₂,……x_m}，可将 这些点分为C类，第i类包含有p_i个训练图像样本，于是有

$m={\Sigma }_{i=1}^C{p}_i---\left(5\right),$

如图3所示，分层图结构由类内图和类间图来构造。在本文中，使 用{G_b,W_b}来表示类间图，用{G_w,W_w}来表示类内图。分层图结构的构造 方法为：

a)类内图：每类数据进行局部近邻链接，采用k近邻方法，根据实验 效果，调整参数k的值。对于有链接的边，赋予权重，本技术方案中权重 采用热核函数定义。然后每类的权重矩阵，组合起来，为类内图的权重矩 阵W_w。类内图的构建如图4所示，为了描述的方便，在图中每一类只选 择了一个样本示例说明，在构建k近邻图时，选取k＝4。

b)类间图：由于交通信号的特殊性，即某几类信号的相似度很高，存 在小类的情况，因此，根据先验知识先对信号进行分类，标记好大类的记 号，即限速信号属于大类1，三角信号属于大类2，以此类推，首先对于 每一小类，构建类间图，寻找一类与其他几类最近的点，进行链接，权重 矩阵仍然用热核函数定义。其中热核函数的定义为如果节点i和j之间存 在连接，则设置权值

w_ij＝exp(-||x_i-x_j||/σ²)  (6)，

否则权值为0。然后对于大类之间，选取一大类与其他大类间最近的 点进行连接，赋予权重值。结合两步，获得类间的权重矩阵W_b。类间图 的构建如图5a和图5b所示，其中，子图5a表示一个子集下的类间图的 构建，子图5b表示整个集合里面子图的构建。

(2)将分层图结构应用到图嵌入框架下，可以得到如下所示的目标函 数：

$f=\frac{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{w,\mathrm{ij}}}{{\Sigma }_{i,j}{(y_i-y_j)}^2·w_{b,\mathrm{ij}}}=\frac{y^T{L}_{w}y}{y^T{L}_{b}y}=\frac{{\mathrm{AX}}^T{L}_w{\mathrm{XA}}^T}{{\mathrm{AX}}^T{L}_b{\mathrm{XA}}^T}---\left(7\right),$

其中：y表示低维空间矩阵，X表示采集的样本集合，W_w表示类内图 的权重矩阵，W_b表示类间图的权重矩阵，L_w和L_b分别是类内图和类间 图的拉普拉斯特征矩阵，定义为L＝D-W，D是一个对角矩阵。

D_ii＝Σ_jω_ij  (8)，

子空间映射矩阵A可以通过求解如下的等式得到：

AX^TL_wXA^T＝λAX^TL_bXA^T  (9)

假设a₁，a₂，……a_d为求解上式得到的特征向量，λ₁，λ₂，……λ_d为对 应的特征指，并且满足条件λ₁<λ₂<……<λ_d，可将映射关系表示为：

X→y＝XA^T，A＝[a₁，a₁，......a_d]  (10)，

从而得到映射矩阵A，下面的步骤为得到更好的结果，对映射矩阵A 进行优化。

(3)由于在实际环境中，拍摄到的交通标志会受光照和遮挡等的影响， 为了提高复杂环境下系统的识别效率，引入稀疏表示来优化(2)中的图 嵌入。首先，目标函数定义为：

$\min {\left|\right|y-{\mathrm{XA}}^T\left|\right|}_2^2---\left(11\right)$

为了使A满足稀疏性，我们在目标函数中加入如下的正则项：

min||A||_2，1  (12)

将(2)中的f转化为如下的式子：

min y^TL_wy  s.t.y^TL_by＝I，  (13)

该公式是谱图理论中现有的知识，对于本领域技术人员是公知的，其 中s.t.表示subject to。

结合公式11、公式12和公式13，得到最终的目标函数：

其中，ω和为平衡参数，将L对A求导，并令导数为零，可以得到 A的表达式为：

其中，Δ是对角矩阵，

${\Delta }_{\mathrm{ii}}=\left(\begin{array}{cc}0,& \mathrm{if}{A}_i=0\\ \frac{1}{{\left|\right|A_i\left|\right|}_2},& \mathrm{otherwise}\end{array}\right)---\left(16\right)$

将此处得到的A带入到最终目标函数L中，然后用拉格朗日法解最优 化问题，优化解为如下等式前d个最小特征值对应的特征向量：

Γy＝λL_by  (17)

其中，

采用迭代的方式来解决这个优化问题，即首先固定A，求解y，然后 使用得到的y去更新A，如此往复，直到A和y收敛。

通过降维，可以得到维度很小的特征矩阵，接着将这些低维度的特征 输入到分类器中，根据分类器的输出结果可以确定输入图像属于哪一类， 然后根据类的标签得到图像的识别结果。

在得到图像识别结果后，通过智能手机的App界面将结果显示给用户 或者通过智能手机的扬声器播放给用户。如果识别结果不是用户期待的， 那么，用户可以通过点击App的反馈结果按钮或者直接使用语音输入的方 式告诉系统识别结果有误。这时，系统会将识别有误的交通标志的原始特 征矩阵通过网络发送到云端服务器，云端服务器在接收到用户的反馈后， 会将反馈结果重新加入到训练库中进行训练，经过训练，会得到一个新的 映射矩阵，同时将这个新的映射矩阵发送给智能手机客户端，当再有交通 标志出现时，将使用新的变换矩阵对其进行降维，获得低维特征，然后使 用分类器进行分类，得到识别结果。

基于本专利技术方案所叙述的方法，在Android系统下实现了手机客 户端，如图6所示。

本发明技术方案中运行具有自我学习能力的实时交通信号识别方法 的系统，包括图像采集模块、结果输出模块和数据处理模块，图像采集模 块采集的数据经数据处理模块处理后通过结果输出模块显示，图像采集模 块和结果输出模块采用智能移动终端，数据处理模块由智能移动终端和云 端服务器完成，具体为简单快速的线性运算由智能移动终端完成，线性运 算包括特征降维和分类器，训练过程由云端服务器完成，且云端服务器和 智能移动终端双向通信。

交通标志识别系统应该至少包含三个模块，即图像采集模块，数据处 理模块和结果输出模块。图像采集模块通常是一个摄像头，在行车过程中， 不断采集现实场景中的图像；数据处理模块包括交通标志检测子模块和交 通标志识别子模块，交通标志检测子模块用于在图像采集模块中得到的图 像中检测是否存在交通标志，如果存在交通标志，则由数据处理模块中的 交通标志识别子模块确定该交通标志的含义；结果输出模块用于将交通标 志识别模块得到的结果输出给用户，输出方式可以是文本或声音等形式， 同时，结果输出模块可以接受用户对结果的反馈。

在本技术方案中，将图像采集模块和结果输出模块的功能交给智能手 机(也可以为具有摄像头的平板电脑、车载平台等移动设备)完成，而将 数据处理模块的功能分担给智能手机和云端服务器，具体来说是将简单快 速的线性运算交给智能手机完成，而将复杂耗时的训练过程交给云端服务 器完成。本技术方案描述的系统和方法中选择智能手机有很多优势：1) 目前主流的智能手机设备硬件性能良好，摄像头分辨率普遍高于普通网络 摄像头；2)处理器具有较强的运算能力，能够实时完成一些比较简单的 图像处理；3)集成了网络传输模块，可以方便地与其他设备通信；4)硬 件升级换代快，软件安装部署方便，并且用户有主动升级的意识；5)便 于携带，易于集成更多功能。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于 限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领 域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修 改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之 内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围 之内。