一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法

摘要

本发明公开了一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法，包括以下步骤：制作交通信号灯数据集，预处理数据；YOLOv3的特征提取网络采用ShuffleNetV2，并且通过特征变换融合ShuffleNetV2低中高层特征作为最终高层输出特征；训练改进后的用于红绿交通信号灯十个倒计时数字的20分类的轻量级YOLOv3网络，实现交通信号灯倒计时数字的检测和识别，并将训练好的模型部署到移动端完成交通信号灯倒计时识别。本发明具有识别速度快，准确率高，实用性和泛化性高等优点，并且更容易在移动端部署。

说明书

技术领域

本发明涉及深度学习、计算机视觉、目标识别。尤其涉及一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法。

技术背景

交通信号灯倒计时是道路行驶中重要的标志物。目前，利用计算机视觉对交通信号灯倒计时进行检测和识别的方法主要分为两类，即基于图像处理的传统方法和基于神经网络的方法。前者通过提取交通信号灯的形状和颜色等特征，来实现检测与识别。后者基于神经网络通过卷积神经网络来学习信号灯的特征，通过训练出的模型来实现预测。

有的研究利用交通信号灯发光的特性进行检测：对于单张图片，首先进行预处理，除去不符合要求的像素，保留亮像素；然后进行颜色分割生成HSL图像，并设定色调、饱和度、亮度的阈值，过滤掉不满足条件的点，最后送入向量机进行识别，获得输出结果。该方法对环境的要求高，适用性差，不能做到广泛的应用。有的研究基于YOLO进行交通信号灯的检测：首先获取足够数量的图像，进行筛选、增强、分类、标注，将获得的数据集放入搭建好的YOLO模型进行训练；最后通过训练好的模型实现预测。尽管该方法精度实现了提升，但由于YOLO模型比较大，对设备的性能有着较高的要求，在移动端推理速度慢。

传统方法对环境敏感度高，在不同环境的光照下鲁棒性差，不利于实际使用。而神经网络的方法存在着精度不足，模型大，检测速度不足等缺点。

发明内容

发明目的：本发明的设计目的是设计一个在移动端推理速度快，实时检测和识别交通信号灯倒计时的模型。本发明在YOLOv3的基础上采用ShuffleNetV2提取特征，实现轻量级YOLOv3。提出一种新的特征融合方式—特征变换，拼接来自低、中、高层特征作为高层最终输出的特征。本发明有效地缩小了模型的大小，且检测速度更快，模型识别准确率更高。

技术方案：为了解决YOLOv3模型较大，在移动端推理速度较慢，难以实时检测与识别交通信号灯倒计时的问题，本发明提出的一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法是采用以下技术方案实施的：

一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法，包括以下步骤：

步骤S1、制作交通信号灯倒计时数据集，其中包括各种天气、环境下的交通信号灯倒计时图片，并对相关图片做预处理操作；

步骤S2、将YOLOv3的特征提取网络替换为ShuffleNetV2，通过特征变换融合ShuffleNetV2网络低中高层特征作为最后高层的输出特征；

步骤S3、完成数据集制作和数据预处理后，根据数据标签中的目标训练改进轻量级YOLOv3网络；

步骤S4、模型训练完成后，将训练好的模型部署到移动端，输入待测图片，获取预测图像，完成交通信号灯倒计时识别，并播报倒计时秒数进行提醒。

进一步的，步骤1、制作交通信号灯倒计时数据集：

在交通信号灯倒计时数据制作时，通过网络爬虫收集各种场景、时间和环境下交通信号灯倒计时图片，利用LabelImg对所收集的图片中的交通信号灯倒计时目标进行类别和位置标注，数据集格式为VOC，数据集共有20类。同时对收集的图片采用数据增强例如图片随机旋转、随机缩放、随机饱和度调整等，最终得到交通信号灯倒计时数据集。

进一步的，步骤2、对YOLOv3的特征提取网络进行改进，搭建轻量级YOLOv3

S2.1、YOLOv3的特征提取网络采用ShuffleNetV2，实现轻量级YOLOv3。

S2.2、为了丰富高层输出特征中交通信号灯倒计时的特征，通过特征变换拼接来自低、中、高层特征作为高层最终输出的特征。

S2.3、使用SPP网络增大YOLOv3特征提取网络的感受野，将ShuffleNetV2输出特征分成19×19个网格，在每个网格内都生成三个预测框和最初的标记框计算IOU，选择IOU值最大的作为最终的预测框。

S2.4、使用逻辑回归作为交通信号灯倒计时分类器，使用YOLOv3特征金字塔输出的19×19、38×38、76×76三个特征图进行预测。

进一步的，步骤3、训练改进后的轻量级YOLOv3网络：

训练策略采用迁移学习和指数移动平均(EMA)，学习率使用余弦学习率。学习率和训练轮数(epochs)关系按如下公式实现：

其中，begin_rate为初始学习率，epoch为变化轮数从[0,epochs]依次增加，epochs为训练轮数。训练时在8张Tesla V100 GPU上进行训练。

进一步的，步骤4、模型训练完成后，将训练好的模型部署到移动端完成交通信号灯倒计时识别：

将训练好的模型部署到移动端设备Jetson TX2上完成实际场景中的交通信号灯倒计时识别。

综上，本发明旨在提出一种改进轻量级YOLOv3的交通信号灯倒计时识别方法，发明包括交通信号灯倒计时图像预处理、搭建轻量级YOLOv3网络并对网络进行改进、训练轻量级YOLOv3网络、将模型部署到移动端设备Jetson TX2上完成交通信号灯倒计时识别，并进行交通信号灯倒计时进行播报以提醒使用者。

有益效果：和现有的交通信号灯倒计时识别技术相比，本发明的有益效果：

1.提出了改进的轻量级YOLOv3，和原有的YOLOv3相比，模型的识别速度更快，能够满足实际交通信号灯倒计时识别中实时性的要求，并且模型的容量越小更容易在移动端进行部署。2.和现有的轻量级网络相比，本发明提出的改进轻量级YOLOv3网络在进行交通信号灯倒计时识别时准确率更高，能够适应不同环境、不同场景下的交通信号灯倒计时的识别，模型的实用性和泛化性很高。

附图说明

图1为本发明交通信号灯倒计时识别系统流程图；

图2为本发明提出的改进轻量级YOLOv3网络结构；

图3为轻量级YOLOv3特征提取网络中特征融合示意图；

图4为本发明提出的特征变换示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开的一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法，包括以下步骤：

步骤1：获取交通信号灯倒计时数据集，并进行图像预处理。

本实施例中交通信号灯倒计时数据集通过网络爬虫得到，图片来源于Google、百度、搜狗等图库。交通信号灯倒计时数据集包括各种环境、时间、场景下的图片，收集的数据集总共7000张。数据集种类包括红灯倒计时0～9、绿灯倒计时0～9共20类。收集好数据集之后通过LabelImg软件对数据集进行类别和目标位置的标注，输出的标签格式为VOC，其中，数据共有20类，包括红灯10类，绿灯10类。由于拍摄的图片中包括模糊，破损的，对于后续模型的训练会产生不良的影响，所以要对获取的图片作必要的数据集预处理。数据预处理包括随即旋转、随机缩放、随机亮度调整等。随即旋转的角度为-45°～+45°，由于图片来源网络，图片大小不一，随即缩放将所有图片的大小变为统一尺寸608×608。随机亮度调整实施方法为首先设定阈值为0.5，然后随机在区间(0,1)内抽取一个数a，如果a≥0.5，则亮度调整比例为a，如果a<0.5，则在区间(-a,a)内随机抽一个数b，亮度调整比例即为b+1。

步骤2：对YOLOv3特征提取网络进行改进，搭建轻量级YOLOv3网络。

如图2所示，本实施例对YOLOv3的特征提取网络进行改进。原YOLOv3的特征提取网络为DarkNet53，虽然YOLOv3的准确度能够满足实际交通信号灯倒计时识别，但模型较大不利于在移动端进行部署。本发明YOLOv3的特征提取网络采用ShuffleNetV2，实现轻量级YOLOv3。为了进一步提高模型识别交通信号灯倒计时数字的准确率，本发明提出了一种新的特征融合方式—特征变换。

图3展示了本发明提出的一种特征融合的方式，由于交通信号灯倒计时目标在原本图像中较小，经过特征网络多次的降采样提取特征后交通信号灯倒计时在低分辨率的图像中特征损失较多，所以需要补充高层低分辨率图像中的交通信号灯倒计时特征。本发明采用图3所示的特征融合方式来补充高层特征中缺失的交通信号灯倒计时的特征。因为在YOLOv3特征提取网络的低层较好的保留了交通信号灯倒计时的特征，故本发明将低层和中层的特征融合至高层。由于低、中、高三层特征的大小不一，进行特征融合需要将特征的大小统一。常见的改变特征尺寸方式为下采样，但下采样同样也会损失掉部分的特征信息。基于这一点，本发明通过特征变换的方式改变低、中层特征尺寸。

图4展示了本发明提出的特征变换的示意图。特征变换是对输入的特征图维度进行变换。维度1、维度2、维度3分别是图像的长、宽和通道数。具体来说，ShuffleNetV2中stage3的输出特征图以步长为2在维度1和维度2上进行分块，将得到的2×2数据块在维度3上叠加，在保持特征信息的情况下，实现特征图的变换。对于ShuffleNetV2的stage2，特征变换以步长为4在维度1和维度2上进行分块。这样经过特征变换将低、中层的特征和高层特征进行融合，丰富高层特征输出特征中交通信号灯的特征。

步骤3：训练轻量级YOLOv3。

为了加快训练速度，本发明使用8张Tesla V100 GPU进行模型的训练，训练时采用余弦学习率和指数移动平均的训练策略。

YOLOv3模型的学习率和训练轮数(epochs)关系按如下公式实现：

其中，begin_rate为初始学习率，epoch为变化轮数从[0,epochs]依次增加，epochs为训练轮数。使用余弦学习率可以更好地加快模型的收敛速度。

模型训练时将过去一段时间训练参数的平均值作为新的参数进行更新往往比直接将最终结果作为参数进行更新更加有效，因为将训练参数的平均值作为新的参数可以使得模型在学习过程中参数更新变得更加平缓，能够有效地避免异常参数对训练参数更新的影响，提高模型的收敛效果。指数移动平均(Exponential Moving Average，EMA)通过指数衰减方式计算参数更新过程中的移动平均值。对于每一个参数W，都有一个指数移动平均值W

W

其中，α为衰减系数，本发明的α＝0.998，使用W

特征提取网络输出的特征经过SPP网络进一步增大感受野，SPP输出的特征经过特征金字塔输出三个不同尺度的特征19×19、38×38、76×76。最终在这三个尺度的特征上进行交通信号灯倒计时的类别和位置的回归。

步骤4：将训练好的轻量级YOLOv3网络部署到移动端设备完成交通信号灯倒计时的检测与识别。

本发明移动端设备选择Jetson TX2，使用JetPack4.3进行刷机。将训练好的轻量级YOLOv3部署到Jetson TX2上，本发明的深度学习框架为PaddlePaddle1.8.4，部署软件为PaddleLite。进行交通信号灯倒计时识别时使用TensorRT进行加速，最终可以实现实时的交通信号灯倒计时的检测与识别。

以上所述仅是本发明的优先选择的实施方式，应当指出，对于本技术领域的人员，在不脱离不发明的技术原理前提，在速度和准确度上还可以做出很多提升，这些改变和提升也应该视作本发明的保护范围内。