一种交通信号灯倒计时识别系统及其构建方法、应用方法

摘要

本发明提供一种交通信号灯倒计时识别系统及其构建方法、应用方法，涉及计算机检测系统设计技术领域，其中构建方法包含以下步骤：制作交通信号灯数据集；交通信号灯倒计时识别模型的特征提取网络；构建基于注意力的多尺度融合模块；完成端到端交通信号灯倒计时识别模型搭建，并对训练数据集和标签进行预处理，训练端到端交通信号灯倒计时识别模型。对于移动端上新采集的图片，输入到训练好的端到端交通信号灯倒计时识别模型，得到交通信号灯倒计时的识别结果。本申请所提供的一种交通信号灯倒计时识别系统，模型的准确率更高，漏检率低，速度快。能够在复杂环境下对交通灯的识别有着更好的效果，模型的泛化性和实用性更高。

说明书

技术领域

本发明涉及计算机检测系统设计技术领域，尤其涉及一种交通信号灯倒计时识别系统及其构建方法、应用方法。

背景技术

交通信号灯是车辆辅助驾驶和自动驾驶过程中的重要信息。受环境等因素影响，目前的目标检测模型对交通信号灯的识别准确率低、漏检率高，存在较大的安全隐患。而准确、高效的交通信号灯检测与识别算法是辅助驾驶和自动驾驶的重要研究方向。随着神经网络技术不断发展，有的学者利用NVIDIA Jetson Tegra X2嵌入式平台，在改进YOLOv3的特征提取网络的基础上，引入了轻量化网络MobileNet，有效地提高了检测速度，但对于远距离的交通信号灯检测效果还有待提高。

现有技术中，基于神经网络的方法虽然在预测速度上取得很大的提升，但是对复杂场景例如：雾天、下雨天的交通信号灯检测与识别准确率较低。

发明内容

本发明的目的是为了解决现有技术在复杂场景下检测与识别准确率较低的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

一种交通信号灯倒计时识别系统的构建方法，包含以下步骤：

S1：制作交通信号灯数据集：收集交通信号灯图片，对图片进行分类并制作成VOC2007格式的数据集；

S2：端到端交通信号灯倒计时识别模型的特征提取网络：选用ResNet50vd作为特征提取的主干网络，并构建Inception-CSP模块，将网络stage4的3×3标准卷积替换为3×3可变形卷积DCN；再使用矩阵非极大值抑制法去除重叠框，使用逻辑回归作为交通信号灯倒计时分类器；

S3：构建一种基于注意力的多尺度融合模块，实现多尺度特征的融合；

S4：完成网络搭建，并对训练数据集和标签进行预处理，然后作为输入训练端到端交通信号灯倒计时识别模型。

优选的，所述S1中交通信号灯图片收集数量为8000，并且分类过程中，对图片进行尺寸归一化、随机饱和度调整、随机对比度调整、随机亮度调整及Mosaic数据增强的处理。

优选的，所述S3中：通过采用Feature1和Feature2不同权重w1，w2方式得到最终输出特征，并将CSPNet加入PANet中。

优选的，所述S4的具体步骤为：

S4.1：计算损失函数，所述损失函数为三个损失函数加权得到，所述三个损失函数分别为类别损失Loss

Loss＝0.25×Loss

S4.2：选择余弦学习率以及指数移动平均(EMA)；

S4.3：通过K-means算法重新确定先验框。

优选的，所述S4.2中的余弦学习率与模型的训练轮数(epochs)的关系如下公式所示：

上述公式中，begin_rate为初始学习率，epoch为当前轮数；

所述指数移动平均EMA的计算公式为：

W

上述公式中，α为衰减系数，W

优选的，所述S4.3中计算的距离函数为：

d(box，centroid)＝1-IOU(box，centroid)

上述公式中，centroid聚类中心的矩形框，box表示标注矩形框，IOU表示box与centroid的交并比。

本申请还提供了一种交通信号灯倒计时识别系统，使用上述所述的交通信号灯倒计时识别系统的构建方法构建形成。

本申请还提供了一种交通信号灯倒计时识别系统的应用方法，使用上述所述的交通信号灯倒计时识别系统，交通信号灯倒计时识别系统部署到移动端设备中，以完成实际场景中的交通信号灯倒计时的识别。

上述所述的一种交通信号灯倒计时识别系统的构建方法，其通过改进YOLOv4，相较于原本的YOLOv4，本发明的端到端交通信号灯倒计时识别模型的准确率更高，漏检率更低，速度更快。能够在复杂环境下对交通灯的识别有着更好的效果，模型的泛化性和实用性更高。

附图说明

图1为本发明提出的一种交通信号灯倒计时识别方法的流程图；

图2为本发明一实施方式中ResNet50vd网络结构；

图3为本发明一实施方式中改进的Inception-CSP结构；

图4为本发明一实施方式中基于注意力的多尺度融合模块；

图5为本发明一实施方式中改进的CSPNet结构；

图6为本发明一实施方式中改进的PANet展开图。

图7为本文方法的应用流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

部分英文释义：

LabelImg：一款可视化图像标定工具

Feature：特征

PANet：路径聚合网络(Path Aggregation Network)

CSPNet：跨阶段局部网络(Cross Stage Partial Network)

DCN：深度交叉网络(Deep Cross Network)

Matrix NMS：矩阵非极大值抑制(Matrix Non-Maximum Suppression)

AMF：基于注意力的多尺度融合(Attention-based Multi-Scale Fusion)

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，对本发明作进一步地详细说明。

请参阅图1，一种交通信号灯倒计时识别系统的构建方法，包含以下步骤：

S1：制作复杂场景下的交通信号灯数据集：

具体的，首先采集各种环境、场景及天气下的交通信号灯的图片，在一实施方式中，图片来源为Google图库、360图库、百度等网络图库，在上述图库中获取8000张倒计时图片；然后对图片进行预处理，在一实施方式中，先使用LabelImg对所收集的图片中的交通信号灯倒计时目标进行类别和位置标注，并制作成VOC2007格式，其中数据集共有20类，具体的，包括绿灯倒计时0-9共10类及红灯倒计时0-9共10类，分类的同时，对数据集进行图像增强，在一实施方式中，对图片进行尺寸归一化、随机饱和度调整、随机对比度调整、随机亮度调整及Mosaic数据增强，最终获得交通信号灯倒计时数据集。

在一实施方式中，因收集到的尺寸不一，故将图片的尺寸归一化为416×416；随机饱和度调整是首先设定阈值为0.5，随后在区间(0，1)随机抽取一个数x，若x≥0.5，则将饱和度调整为原来的x倍，若x<0.5，则随机在区间(-x,x)抽取一个数y，然后将饱和度调整为原来的1+y倍。

S2：端到端交通信号灯倒计时识别模型的特征提取网络，来提高模型检测与识别能力：

具体的，在一实施方式中，包含以下步骤：

S2.1：请参阅图2，原本YOLOv4的CSPDarkNet53参数较多，为节省计算资源，选用ResNet50vd作为特征提取的主干网络，其中ResNet50vd采用ResNet-D网络，即在block1中添加平均池化层以及步长为2的3×3卷积，使得模型在速度不变的情况下，精度得到提升。同时为了提高模型对远距离交通信号灯数字的特征提取能力，用CSP改造网络中的stage1、stage2、stage3、stage4。

S2.2：请参阅图3，构建Inception-CSP模块，加在网络中stage2、stage3，以提高模型检测能力。CSPNet结构能够增强卷积神经网络的学习能力，而Inception网络能够使不同层间有不同大小的感受野。在主干网络中加入Inception-CSP模块能加深网络的宽度和深度、增大网络的感受野、加强网络对物体的检测能力。

S2.3：将网络中stage4的3×3标准卷积替换为3×3可变形卷积DCN，以提取更有效的特征；

S2.4：使用矩阵非极大值抑制法去除重叠框，以用于有效地避免同类物体预测框相互冲突的情况。

对于同一个物体的检测，YOLOv4可能会给出多个预测框，在一实施方式中，采用Matrix NMS去除重叠框。Matrix NMS通过矩阵计算计算出IOU和预测框的评分，并依据IOU和评分来得到惩罚系数，从而实现并行计算，不仅加快了模型的推理速度而且提高了检测的准确率。在一实施方式中，Matrix NMS的检测框数量为1，评分的阈值为0.2，IOU阈值为0.45。

S2.5：使用逻辑回归作为交通信号灯倒计时分类器，使用端到端交通信号灯倒计时识别模型输出的13×13、26×26、52×52三个特征图进行预测。

S3：构建一种基于注意力的多尺度融合模块，用以进一步提升网络的检测性能：

具体的，请参阅图4，输入的不同尺度的特征为Feature1和Feature2，其中Feature1是resize后的小尺度特征，和大尺度特征Feature2的大小相同。首先，将Feature1和Feature2进行相加，得到的特征经过全局平均池化后空间分辨率变成1×1，再经过1×1卷积和ReLU激活函数后，特征的通道数变为C/2；接着，经过1×1卷积和BN(BatchNormalization)层将通道数调整为C，最后经过全连接层(FC)和sigmoid函数得到输出的权重w1。由于Feature1和Feature2特征信息不同，本申请并未采用Feature1和Feature2共享权重w1方式，而是将得到的权重w1与Feature1相乘，权重w2与Feature2相乘后再相加，得到最终的输出特征，其中w2＝1-w1。引入基于注意力的多尺度特征融合模块，通过采用Feature1和Feature2不同权重w1，w2方式得到最终输出特征。对于不同尺度的输入，特征多尺度融合模块能够计算出不同的权重w1、w2，使得不同尺度的输入对输出特征有不同的贡献。

请参阅图5和图6，在一实施方式中，在PANet加入CSPNet，以进一步增强PANet模块的特征融合能力。最终改进的PANet将两个不同尺度的特征经多尺度融合模块融合后经过CSPNet提取特征。

S4：完成网络搭建，并对训练数据集和标签进行预处理，然后作为输入训练端到端交通信号灯倒计时识别模型。

具体的，在一实施方式中，包含以下步骤：

S4.1：计算损失函数

在一实施方式中，所述损失函数为三个损失函数加权得到，所述的三个损失函数分别为类别损失Loss

Loss＝0.25×Loss

S4.2：选择余弦学习率以及指数移动平均(EMA)；

其中，在一实施方式中，模型的训练轮数(epochs)与学习率的关系如下公式所示：

上述公式中，begin_rate为初始学习率，epoch为当前轮数。在一实施方式中，begin_rate为0.001，epochs为100000。

在一实施方式中，所述指数移动平均EMA通过指数衰减的方式计算参数更新过程中的移动平均值，并且每一个参数W，都有一个对于指数移动平均值W

W

上述公式中，α为衰减系数，在一实施方式中，α＝0.998，W

S4.3：通过K-means算法重新确定先验框，距离函数如公式所示：

d(box，centroid)＝1-IOU(box，centroid)

上述公式中，centroid聚类中心的矩形框，box表示标注矩形框，IOU表示box与centroid的交并比。

通过上述算法获得先验框：(6，19)，(13,40)，(7，22)，(4，13)，(5，16)，(8，24)，(8，26)，(8，25)，(9，28)，完成检测系统的构建。

本申请还提供了一种交通信号灯倒计时识别系统，使用上述构建方法构建得到。

本申请还提供了一种交通信号灯倒计时识别系统的应用方法，请参阅图7，将上述交通信号灯倒计时识别系统部署到移动端设备中，以完成实际场景中的交通信号灯倒计时的识别。

具体的，在一实施方式中，将训练好的检测系统部署在移动设备Jetson TX2上，使用JetPack4.3进行刷机。本发明采用的深度学习框架为PaddlePaddle1.8.4，部署软件为PaddleLite。

本申请提供的一种交通信号灯倒计时识别系统的构建方法，其通过改进YOLOv4，相较于原本的YOLOv4，端到端交通信号灯倒计时识别模型的准确率更高，漏检率更低，速度更快。能够在复杂环境下对交通灯的识别有着更好的效果，模型的泛化性和实用性更高。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围。