中国交通标志牌识别方法、系统、处理设备及存储介质

摘要

本发明涉及一种中国交通标志牌识别方法、系统、处理设备及存储介质，方法包括以下步骤：对交通标志牌图像数据集采用交通标志牌的二维包围框信息以及标志牌的类别信息进行数据集标注；将标注后的数据集分类，获得大类和小类的训练集和测试集；设计检测网络和分类网络；根据获取的训练数据，训练检测网络和分类网络，用于进行中国交通标志牌识别。本发明基于深度神经网络，为提高识别检测精度，本发明可以广泛应用于中国复杂道路场景下的交通标志牌识别。

说明书

技术领域

本发明涉及交通标志牌识别技术领域，特别是关于一种基于计算机视觉的采用多阶段(检测-大类分类-小类分类)识别的中国交通标志牌识别方法、系统、处理设备及存储介质。

背景技术

对于自动驾驶车辆而言，能够精确无遗漏地识别出道路环境中的交通标志牌是至关重要的。随着深度神经网络效果的显现，学界普遍使用深度神经网络进行目标识别。但是由于训练深度神经网络需要大量的数据，因此众多国外企业和高校发布了交通标志牌数据集，例如德国交通标志牌数据集GTSRB、比利时交通标志数据集BelgiumTS以及美国交通标志数据集LISA等。

但是中国的交通标志牌与国外的交通标志牌不同，所以基于国外数据训练出的神经网络并不适用于中国复杂的交通场景。朱哲等人提出了中国交通标志牌数据集TT-100K(Tsinghua Tencent 100K)和CCTSDB(Changsha University of Science and TechnologyChinese traffic sign detection benchmark)。以TT-100K和CCTSDB数据集为代表的国内数据集不包括车道类标志，所以在实际应用中经常会出现将车道类标志误识别为指示类标志的情况，国外数据集的分类与国内数据集的分类方法类似，均存在同样的问题。

对于自动驾驶车辆而言，视觉检测的实时性十分重要，而单阶段目标识别算法的实时性较好，且有不错的识别效果。目前比较流行的单阶段目标识别算法有YOLO系列算法以及SSD算法，YOLO系列中YOLOv3-spp(spatial pyramid pooling)算法的泛化能力较强，且对于小目标的召回率较高，十分适合对于交通标志牌的识别。但是由于YOLOv3-spp算法是一种单阶段识别算法，分类的准确度不高。

发明内容

针对上述问题，本发明的目的是提供一种能够有效提高检测准确率的采用多阶段识别的中国交通标志牌识别方法、系统、处理设备及存储介质。

为实现上述目的，本发明采取以下技术方案：

第一方面，本发明提供一种中国交通标志牌识别方法，包括以下步骤：

对交通标志牌图像数据集采用交通标志牌的二维包围框信息以及标志牌的类别信息进行数据集标注；

将标注后的数据集分类，获得大类和小类的训练集和测试集；

设计检测网络和分类网络；

根据获取的训练数据，训练检测网络和分类网络，用于进行中国交通标志牌识别。

进一步地，交通标志牌的二维包围框信息指包围框几何中心点在图像坐标系中的位置坐标x,y，单位：像素以及包围框的宽度和高度w,h，单位：像素；交通标志牌的类别信息包括交通标志牌所属大类C及小类Sc，即图像中的一个交通标志牌示例采用一个6维数组[x,y,w,h,C,Sc]表示。

进一步地，所述将标注后的数据集分类，获得大类和小类的训练集和测试集的过程包括：

将数据集中的图片按照设定比例划分为训练集和测试集；

提取数据集中的交通标志牌实例，按照设定比例划分为训练集和测试集，用于训练大类分类网络，大类分类网络包括禁止类、指示类和警告类；

在各大类中将实例按照设定比例划分为训练集和测试集，用于训练能够理解交通标志牌所包含具体语义信息的小类分类网络。

进一步地，采用改进YOLOv3-spp检测网络检测图像中的交通标志牌实例，即生成对图片中交通标志牌的预测框，具体过程为：

YOLOv3-spp算法的损失函数包含3个部分，分别是预测框位置和尺寸的误差、置信度的误差和所属各类别概率的误差，修改后的损失函数不包含预测框所属各类别概率的误差，如下式所示：

其中，λ

损失函数中预测框产生的部分是由算法预测生成的包围框与数据集中标注的真实包围框的泛化交并比GIoU决定的，其定义为：

其中，IoU是交并比，为目标预测框和真实框的交集和并集的比例；U为目标预测框和真实框的并集面积，A

进一步地，设计分类网络选取Efficientnet-B6作为分类网络的骨架，EfficientNet-B6网络具体实现过程包括：

首先，经过一个大小为3×3的卷积层被处理为移动反转瓶颈卷积层需要的输入维度；

然后，经过43个卷积核为3×3或5×5的移动反转瓶颈卷积层提取出特征图；

之后，借鉴全卷积网络FCN的思路，将特征图输入到一个卷积核为1×1的卷积层中，将任意尺寸的特征图转换到特定的通道数；

最后，通过1个池化层和1个全连接层得到输入图像属于各个种类的概率，通过计算网络预测结果与数据集所标注的真实类别的交叉熵损失函数作为损失函数，利用Adam算法优化网络参数。

进一步地，全连接层输出的维度为划分的种类匹配，具体为：

大类划分网络将交通标志牌实例划分为“禁止”类、“指示”类和“警告”类三类，所以分类网络最后的全连接层输出的维度为3，分别代表网络输入的图像属于“禁止”类、“指示”类和“警告”类的概率；

“禁止”类的子类划分网络需要将包含“禁止”信息的交通标志牌划分为17种“禁止”子类，分类网络最后的全连接层输出的维度为17，分别代表网络输入的图像属于各“禁止”子类的概率；

“指示”类的子类划分网络需要将包含“指示”信息的交通标志牌划分为27种“指示”子类，分类网络最后的全连接层输出的维度为27，分别代表网络输入的图像属于各“指示”子类的概率；

“警告”类的子类划分网络需要将包含“警告”信息的交通标志牌划分为9种“警告”子类，分类网络最后的全连接层输出的维度为9，分别代表网络输入的图像属于各“警告”子类的概率。

进一步地，根据获取的训练数据，训练检测网络和分类网络，用于进行中国交通标志牌识别，具体过程为：

YOLOv3-spp网络的输入为正方形的图像，将输入图像放缩到325×325像素大小，作为检测网络的输入，训练得到检测网络；

EfficientNet-B6的网络输入为RGB三色彩通道图像，将各交通标志牌实例进行非等比例放缩达到528×528像素大小，输入到分类网络中进行训练，得到分类网络。

第二方面，本发明还提供一种中国交通标志牌识别系统，该系统包括：

数据集标注单元，被配置为对交通标志牌图像数据集采用交通标志牌的二维包围框信息以及标志牌的类别信息进行数据集标注；

数据集分裂单元，被配置为将标准后的数据集分类，获得大类和小类的训练集和测试集；

网络设计单元，被配置为设计检测网络和分类网络；

网络训练单元，被配置为根据获取的训练数据，训练检测网络和分类网络，用于进行中国交通标志牌识别。

第三方面，本发明还提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现所述的中国交通标志牌识别方法。

第四方面，本发明还提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述的中国交通标志牌识别方法。

本发明由于采取以上技术方案，其具有以下优点：

本发明基于深度神经网络，为提高识别检测精度，将开源数据集TT-100K和CCTSDB中的图像进行重新标注，识别算法包括三个阶段，基于YOLOv3-spp的检测阶段，将实例划分大类阶段和将各大类中的实例进行小类划分，设计出的算法较基准YOLOv3-spp算法，在召回率和检测速度不变的情况下，检测准确率提升了2.8％，并且在实际应用中有效解决了例如指示标志和车道标志的混淆问题；本发明可以广泛应用于中国复杂道路场景下的交通标志牌识别。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：

图1是本发明实施例的实施流程示意图；

图2是本发明实施例的算法框架示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

应理解的是，文中使用的术语仅出于描述特定示例实施方式的目的，而无意于进行限制。除非上下文另外明确地指出，否则如文中使用的单数形式“一”、“一个”以及“所述”也可以表示包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包含性的，并且因此指明所陈述的特征、步骤、操作、元件和/或部件的存在，但并不排除存在或者添加一个或多个其它特征、步骤、操作、元件、部件、和/或它们的组合。文中描述的方法步骤、过程、以及操作不解释为必须要求它们以所描述或说明的特定顺序执行，除非明确指出执行顺序。还应当理解，可以使用另外或者替代的步骤。

为了便于描述，可以在文中使用空间相对关系术语来描述如图中示出的一个元件或者特征相对于另一元件或者特征的关系，这些相对关系术语例如为“内部”、“外部”、“内侧”、“外侧”、“下面”、“上面”等。这种空间相对关系术语意于包括除图中描绘的方位之外的在使用或者操作中装置的不同方位。

实施例一

如图1所示，本发明实施例提供的采用多阶段识别的中国交通标志牌识别方法，包括以下步骤：

S1、对交通标志牌图像数据集采用图像中交通标志牌的二维包围框信息以及标志牌的类别信息进行数据集标注。

具体地，中国复杂道路场景下的交通标志牌实例大小差异大且种类复杂，本实施例中使用了图像中交通标志牌的二维包围框信息以及交通标志牌的类别信息，其中，交通标志牌的二维包围框信息指包围框几何中心点在图像坐标系中的位置坐标x,y(单位：像素)以及包围框的宽度和高度w,h(单位：像素)，交通标志牌的类别信息包括交通标志牌所属大类C(“指示”、“警告”、“禁止”)及小类Sc(“靠右行驶”、“前方急转弯”和“禁止停车”等)，所以图像中的一个交通标志牌示例可以用一个6维数组[x,y,w,h,C,Sc]表示。

本实施例中对TT-100K以及CCSTDB交通标志牌数据集中的图片进行重新标注，获得的数据集包含18955张图像，其中包含41028个交通标志牌实例。

S2、将数据集分类，获得大类和小类的训练集和测试集，具体为：

S21、将数据集中的图片按照设定比例例如4：1的比例划分为训练集和测试集；

S22、将数据集中的交通标志牌实例提取出，同样按照4：1的比例划分为训练集和测试集用于训练将交通标志牌归类为“指示”类交通标志牌、“禁止”类交通标志牌和“警示”类交通标志牌的大类分类网络；

S23、将交通标志牌实例划分为禁止类、指示类和警告类三大类，在各大类中将实例按照4：1的比例划分为训练集和测试集用于训练能够理解交通标志牌所包含的具体语义信息(“禁止停车”、“右转行驶”、“调头行驶”等)的小类分类网络。

S3、设计检测网络和分类网络，具体为：

S31、采用改进YOLOv3-spp检测网络用于检测图像中的交通标志牌实例，即生成对图片中交通标志牌的预测框。

YOLOv3-spp算法的损失函数包含3个部分，分别是预测框位置和尺寸的误差、置信度的误差和所属各类别概率的误差。本发明去掉了原损失函数关于类别概率的误差，修改后的损失如下式所示：

其中，λ

损失函数中预测框产生的部分是由算法预测生成的包围框与数据集中标注的真实包围框的泛化交并比(GIoU)决定的，其定义为：

其中，IoU是交并比，为目标预测框和真实框的交集和并集的比例；U为目标预测框和真实框的并集面积，A

本发明中去掉损失函数中由预测框类别决定的损失，将YOLOv3-spp网络专门用于检测目标。

S32、设计分类网络。

选取Efficientnet-B6作为分类网络的骨架(backbone)，EfficientNet-B6网络输入是分辨率为528×528像素的RGB三色彩通道图像，实现过程包括：

首先，经过一个大小为3×3的卷积层被处理为移动反转瓶颈卷积层(MBConv)需要的输入维度；

然后，经过43个卷积核为3×3或5×5的MBConv移动反转瓶颈卷积层提取出特征图，其中MBConv的层数、各层的通道数以及卷积核的大小都进行了精细化的调整以确保在网络参数一定的条件下网络的性能(ImageNet中的准确率)最优；

之后，借鉴全卷积网络(FCN)的思路，将特征图输入到一个卷积核为1×1的卷积层中，这可以将任意尺寸的特征图转换到特定的通道数；

最后，通过1个池化层和1个全连接层(输出维度等于分类种类数)得到输入图像属于各个种类的概率。

通过计算网络预测结果与数据集所标注的真实类别的交叉熵损失函数作为损失函数，利用Adam算法优化网络参数。

一些具体实现中，全连接层的输出维度等于分类种类数，具体过程包括：

大类划分网络需要将交通标志牌实例划分为“禁止”类、“指示”类和“警告”类三类，所以分类网络最后的全连接层输出的维度为3，分别代表网络输入的图像属于“禁止”类、“指示”类和“警告”类的概率。

“禁止”类的子类划分网络需要将包含“禁止”信息的交通标志牌划分为“禁止停车”、“禁止进入”、“禁止调头”等17种“禁止”子类，所以分类网络最后的全连接层输出的维度为17，分别代表网络输入的图像属于各“禁止”子类的概率。

同样的，“指示”类的子类划分网络需要将包含“指示”信息的交通标志牌划分为“靠右行驶”、“直行车道”、“机动车道”等27种“指示”子类，所以分类网络最后的全连接层输出的维度为27，分别代表网络输入的图像属于各“指示”子类的概率；

“警告”类的子类划分网络需要将包含“警告”信息的交通标志牌划分为“注意儿童”、“注意河流”、“减速行驶”等9种“警告”子类，所以分类网络最后的全连接层输出的维度为9，分别代表网络输入的图像属于各“警告”子类的概率。

综上，1个分类网络用于对检测网络输出的交通标志牌实例进行大类划分(分为“禁止”类、“指示”类和“警告”类)，另有3个分类网络用于各大类下交通标志牌实例的具体种类划分。

S4、根据获取的训练数据，训练检测网络和分类网络。

YOLOv3-spp网络的输入需要是正方形的图像，综合考虑内存消耗与检测精度，本实施例中将输入图像放缩到325×325像素大小，然后作为检测网络的输入，训练得到检测网络。具体地，本实施例中将λ

EfficientNet-B6网络输入为RGB三色彩通道图像，输入到分类网络中进行训练分类网络要求输入图像大小为528×528像素大小，本实施例的训练过程中，将各交通标志牌实例进行非等比例放缩达到528×528像素大小进而输入到分类网络中进行训练，得到分类网络。

S5、测试对比。

对检测网络和四个分类网络训练完成后，利用测试集对识别算法行测试，算法框架如图2所示：

第一阶段，利用检测网络识别出输入图像中的交通标志牌实例；

第二阶段，将交通标志牌实例从图像中裁剪出来经过放缩变换输入到大类分类算法中，可以得到交通标志牌实例所属的大类(“指示”类、“警告”类、“禁止”类)；

第三阶段，将交通标志牌实例输入到其对应的子类划分算法中(如属于“指示”类的交通标志牌实例将输入到指示子类划分算法)得到其所属的子类(“靠右行驶”、“注意河流”等)。

同时利用训练好的未经改进的YOLOv3-spp算法进行测试，结果表明两种算法的识别速度相同，并且在识别召回率相同的情况下，本发明提出的算法的识别准确率有了2.8％的提升。

实施例二

上述实施例一提供了采用多阶段识别的中国交通标志牌识别方法，与之相对应地，本实施例提供中国交通标志牌识别系统。本实施例提供的中国交通标志牌识别系统可以实施实施例一的中国交通标志牌识别方法，该系统可以通过软件、硬件或软硬结合的方式来实现。例如，该系统可以包括集成的或分开的功能模块或功能单元来执行实施例一各方法中的对应步骤。由于本实施例的中国交通标志牌识别系统基本相似于方法实施例，所以本实施例描述过程比较简单，相关之处可以参见实施例一的部分说明即可，本实施例的中国交通标志牌识别方法是示意性的。

本实施例提供的一种中国交通标志牌识别系统，该系统包括：

数据集标注单元，被配置为对图像数据集采用图像中交通标志牌的二维包围框信息以及标志牌的类别信息进行数据集标注；

数据集分裂单元，被配置为将数据集分类，获得大类和小类的训练集和测试集；

网络设计单元，被配置为设计检测网络和分类网络；

网络训练单元，被配置为根据获取的训练数据，训练检测网络和分类网络，用于进行中国交通标志牌识别。

实施例三

本实施例提供一种实现本实施例一所提供的中国交通标志牌识别方法的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例一的中国交通标志牌识别方法。

所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例一所提供的中国交通标志牌识别方法。

优选地，存储器可以是高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

优选地，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。

实施例四

本实施例一的中国交通标志牌识别方法被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例一所述的中国交通标志牌识别方法的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。

最后应说明的是，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。