一种基于YOLOv3的交通标志检测方法

摘要

本发明公开了一种基于YOLOv3的交通标志检测方法，包括：获取交通标志的图像信息；预处理图像信息，形成图像训练集和图像验证集；改进基于YOLOv3的网络结构：融合浅层特征和深层特征，在大尺度的特征上检测交通标志；利用图像训练集，对改进后的基于YOLOv3目标检测网络进行训练；利用图像验证集，对训练后的基于YOLOv3的模型进行测试，获取评价指标。通过改进YOLOv3网络结构，配合使用了Softer‑NMS算法，并在测试阶段合并卷积层与BN层，有效地提高对于交通道路上的交通标志的检测精度与速度，改善了检测边框的位置精度；另一方面，对于行驶中的汽车，弱化对大像素的交通标志的检测能力，剔除不必要的网络结构，既减少计算量，也提高训练效率。

说明书

技术领域

本发明涉及人工智能机计算机视觉技术领域，尤其是一种基于YOLOv3的交通标志检测方法。

背景技术

随着计算机视觉和人工智能等高新技术领域的飞速发展与完善，自动驾驶技术已经日益趋于实际应用，而对行驶过程中的汽车前方出现的实时路况场景，对其中的交通标志的检测与识别也是一个非常重要的研究分支。由于交通标志存在种类繁多、环境影响因素大、识别时效性高的问题，YOLOv3检测算法通过多尺度预测，保证了对正常场景下的小目标的检测能力，在交通标志的检测和识别应用中得到广泛应用。但是，现有的YOLOv3算法的定位准确性较差，召回率相对偏低，尤其是对于遮挡和拥挤重叠这些较难处理的情况，其检测精度仍然存在提升空间。

发明内容

为解决上述问题，本发明的目的在于提供一种基于YOLOv3的交通标志检测方法，以实现对海上遇险人员的高效检测和跟踪定位。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，一种基于YOLOv3的交通标志检测方法，包括：获取交通标志的图像信息；预处理所述图像信息，形成图像训练集和图像验证集；改进基于YOLOv3的网络结构：融合浅层特征和深层特征，在大尺度的特征上检测所述交通标志；利用所述图像训练集，对改进后的基于YOLOv3目标检测网络进行训练；利用所述图像验证集，对训练后的基于YOLOv3的模型进行测试，获取评价指标。

上述基于YOLOv3的交通标志检测方法至少具有以下的有益效果：通过改进YOLOv3网络结构，配合使用了Softer-NMS算法，并在测试阶段合并卷积层与BN层，有效地提高对于交通道路上的交通标志的检测精度与速度，改善了检测边框的位置精度，并具有很好的鲁棒性和泛化性；另一方面，对于行驶中的汽车，弱化对大像素的交通标志的检测能力，剔除不必要的网络结构，既减少计算量，也提高训练效率。

进一步，预处理所述图像信息，包括：对所述图像信息进行手工标注分类，并生成文本文件。

进一步，所述改进基于YOLOv3的网络结构，包括：去除13*13尺度检测层；通过对深层特征图进行上采样，将特征图放大到和浅层特征图相同的尺寸；进行张量拼接操作，构建104a*104a的尺度检测层，其中a≥1。

进一步，对基于YOLOv3目标检测网络进行训练时，在目标检测算法引入预测框损失函数，使当前预测框置信度的检测分数呈线性衰减。

进一步，所述预测框损失函数为基于KL散度的回归损失函数，即所述预测框损失函数是所述预测框的高斯分布和真实边框的狄拉克分布的KL散度，其公式如下：

P

其中，P

进一步，在获得所述预测框的高斯分布的标准差δ后,通过平均权重将预测框融合,计算每一个预测框基于周围及自身边框的权重均值的新的位置，其公式如下：

IoU(x1

其中，x1为第i个候选框的坐标,x1

进一步，所述对训练后的基于YOLOv3的模型进行测试，包括：把BN层的参数合并到卷积层中，计算合并后的权值参数和偏置值，并输出BN算法的计算结果，其公式如下：

其中，γ为缩放因子，μ为批处理数据的均值，β为偏置值，σ

其中，w

进一步，所述评价指标包括：训练后的基于YOLOv3模型的检测准确率P、召回率R、平均精度mAP和检测时间，其公式如下：

其中，TP代表正确检测框数量，即交通标志的预测框与标签框正确匹配的数量，两者之间的IoU大于0.5；FP代表误检框数量；FN代表漏检框数量；AP为单个类别的平均检测准确率，n为类别数目。

本发明的第二方面，一种计算设备，包括：存储器以及处理器；存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如上所述的方法。

本发明的第三方面，一种存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如上所述的方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1为本发明实施例一种基于YOLOv3的交通标志检测方法的流程图；

图2为图1中改进后YOLOv3网络的结构图；

图3为图2中DBL、res unit和resn的结构图；

图4为图1中图像验证集的测试效果对比图。

具体实施方式

参照图1，本发明实施例提供了一种基于YOLOv3的交通标志检测方法，包括步骤S110、获取交通标志的图像信息；步骤S120、预处理图像信息，形成图像训练集和图像验证集；步骤S130、改进基于YOLOv3的网络结构：融合浅层特征和深层特征，在大尺度的特征上检测交通标志；步骤S140、利用图像训练集，对改进后的基于YOLOv3目标检测网络进行训练；步骤S150、利用图像验证集，对训练后的基于YOLOv3的模型进行测试，获取评价指标。

通过改进YOLOv3网络结构，缩小尺度检测层的感受野，配合使用了Softer-NMS算法，并在测试阶段合并卷积层与BN层，有效地提高对于交通道路上的交通标志的检测精度与速度，改善了检测边框的位置精度，并且具有很好的鲁棒性和泛化性；另一方面，对于行驶中的汽车，弱化对大像素的交通标志的检测能力，剔除不必要的网络结构，既减少计算量，也提高训练效率。

在本实施例中，获取交通标志的图像信息是由固定在车内前端的摄像头采集到的，收集到的数据集画面接近于驾驶员在驾驶过程中眼睛接收到的画面。从全部视频中，剪辑出需要的部分，运用Python程序将这些视频从前往后按照每隔7帧截取一张，制作成一张一张连贯的照片，这样制成的数据集包含交通标志由小到大的不同时刻的图像，使样本更加丰富，再从这些照片中筛选出6500张作为实验训练数据集，其中5300张做训练集，1200张做验证集，其中包含在顺光、逆光、部分遮挡等情况下的20种交通标志照片。未经处理的数据集中的每张图片的分辨率为2560*1440，图片中交通标志的大小普遍在90*90之内，仅占图片大小的0.22％。

另一个实施例，预处理图像信息，包括：对图像信息进行手工标注分类，并生成文本文件。通过label Img图像标注软件对数据集进行手工标注分类，得到图像训练集和图像验证集两个XML文件，然后通过Python程序分别对这两个文件各自运行一次，生成相应的TXT文本。

另一个实施例，改进基于YOLOv3的网络结构，包括：去除13*13尺度检测层400；通过对深层特征图进行上采样，将特征图放大到和浅层特征图相同的尺寸；进行张量拼接(Concat)操作，进行张量拼接操作，构建104a*104a的尺度检测层400，其中a≥1。在本实施例中，取a＝1。由于图像信息中不会出现大分辨率的交通标志，故在原结构上去掉了13*13这个尺度检测层400，并在构建融合层时，通过对深层特征图进行上采样，将特征图放大到和浅层特征图相同的尺寸，然后进行张量拼接操作，构建了一个104*104的尺度检测层400。这样加强了对真正需要的小像素交通标志的检测能力，弱化对没必要的大分辨率交通标志的检测能力，通过去除冗余的结构，以此来减少整个网络模型的计算量，提高训练效率。

参照图2和图3，改进后基于YOLOv3的网络结构中，DBL100为算法代码中的Darknetconv2d_BN_Leaky，包括卷积、BN和Leakyrelu，是YOLOv3网络结构的基本组件；resunit200则由两个DBL100相加组成；resn300里含有n个resunit，即其基本组件也是DBL100。张量拼接(concat)，即将darknet中间层和后面的某一层的上采样进行拼接。其中，拼接的操作和残差层add的操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。

另一个实施例，对基于YOLOv3目标检测网络进行训练前，将图像训练集和图像验证集进行K-means聚类算法计算，获取先验框尺寸信息。为了提高定位精度，加快收敛，对于已生成的TXT文本，本发明通过使用K-means聚类算法获取YOLOv3算法需要的先验框尺寸信息，因为K-means初始点敏感，因此在每次运行后，所得的先验框结果都有偏差，但是对应的平均iou是稳定的，本发明统计了多组聚类的结果,最终选择了相对稳定的9个锚点，不同尺度的锚点对应的先验框如表一所示。

表一 先验框在特征图上的分布

另一个实施例，对基于YOLOv3目标检测网络进行训练时，在目标检测算法引入预测框损失函数，使当前预测框置信度的检测分数呈线性衰减。为了保证召回率，对于同一个检测对象往往会有多个不同的候选框输出，但多余的候选框会对检测精度产生负面作用，因此需要利用非最大值抑制算法(NMS)筛选掉得分低并且重叠程度高的预测框，以得到最优的预测输出。但是，对于交通标志密集的图像信息，非最大值抑制算法存在强制筛选有用预测框、准确率不高、阈值难以确定的缺陷。因此，通过引入预测框损失函数，并将预测框预测的标准差看作置信度，把预测框分布越近似于目标物体分布，损失越小，准确率得到保证，即Softer-NMS算法。

另一个实施例，预测框损失函数为基于KL散度的回归损失函数，即预测框损失函数是预测框的高斯分布和真实边框的狄拉克分布的KL散度，其公式如下：

P

其中，P

另一个实施例，在获得预测框的高斯分布的标准差δ后,通过平均权重将预测框融合,计算每一个预测框基于周围及自身边框的权重均值的新的位置，其公式如下：

IoU(x1

其中，x1为第i个候选框的坐标,x1

通过使用Softer-NMS算法，引入预测框损失函数，有效地克服了NMS算法在交通标志检测中存在的召回率下降、准确率低、阈值难以确定的缺陷，使改进后YOLOv3网络更好地适用于交通标志密集出现、重叠等实际环境；阈值的控制也避免发生误检率增高和召回率降低的情况，有效提高改进后YOLOv3网络对于交通道路上的交通标志的检测精度。

另一个实施例，对训练后的基于YOLOv3的模型进行测试，包括：把BN层的参数合并到卷积层中，计算合并后的权值参数和偏置值，并输出BN算法的计算结果，其公式如下：

其中，γ为缩放因子，μ为批处理数据的均值，β为偏置值，σ

通过合并，BN算法的计算结果能简化为如下公式：

其中，w

另一个实施例，评价指标包括：训练后的基于YOLOv3模型的检测准确率P、召回率R、平均精度mAP和检测时间，其公式如下：

其中，TP代表正确检测框数量，即交通标志的预测框与标签框正确匹配的数量，两者之间的IoU大于0.5；FP代表误检框数量；FN代表漏检框数量；AP为单个类别的平均检测准确率；n为类别数目，在本实施例中，由于交通标志照片一共有20种，故类别数目n为20。

本发明通过改进YOLOv3网络结构，配合使用了Softer-NMS算法，并在测试阶段合并卷积层与BN层，有效地提高对于交通道路上的交通标志的检测精度与速度，改善了检测边框的位置精度，并具有很好的鲁棒性和泛化性；另一方面，对于行驶中的汽车，弱化对大像素的交通标志的检测能力，剔除不必要的网络结构，既减少计算量，也提高训练效率。

参照图4，为了更好地说明本发明的有效性，对图像验证集进行实验，并与YOLOv2、YOLOv3、YOLOv4三种算法进行评价指标的对比。对比实验的内容如表二所示。

表二 算法的验证结果

从表二数据可以看出，本发明提出的方法与YOLOv3相比，在准确率、召回率、mAP个评估指标上分别提高了7.88％、4.04％和7.59％，在速度上快了10.95％；而与YOLOv2相比，在前三个指标上，本发明提出的方法具备明显的优势，但由于两者之间在网络结构的复杂程度上存在明显差异，所以本发明方法在检测速度上与YOLOv2相比，处于劣势，但满足实时检测的要求。相对于YOLOv4，本发明方法除了在召回率上低1.18％，在其他三个指标上都更具优势。

以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。