一种基于YOLOv3网络的雾霾环境下目标检测方法

摘要

本发明涉及目标检测领域，具体为一种基于YOLOv3网络的雾霾环境下目标检测方法。其包括如下步骤S1‑S3：S1、获取雾霾环境下的目标检测数据集；S2、使用条件对抗生成网络对图像进行预处理，条件生成对抗网络包括生成器、判别器和整体损失函数；S3、结合预处理后的图像，送入改进后的YOLOv3目标检测网络进行训练和预测，输出检测结果。本发明通过条件对抗生成网络对雾霾图像进行预处理，采用改进后的YOLOv3算法训练，能够有效提升雾霾天气下目标检测的准确率。

说明书

技术领域

本发明涉及目标检测领域，特别是涉及一种基于YOLOv3网络的雾霾环境下目标检测方法。

背景技术

目标检测是计算机视觉中一个基本而具有挑战性的任务，近年来受到了广泛的关注，在人们的生活中得到了广泛的应用，如视频监控安全、自主驾驶等。它可以看作是分类和定位的结合，但需要在同一幅图像中同时检测和分类多个不同尺度的目标。

目标检测技术可以分为如下两类：

第一类是传统的目标检测算法，用滑动窗口和特征算子从图像上生成大量候选框并提取特征，利用以Adaboost和支持向量机(SVM)为代表的分类器进行分类。传统的目标检测方法有它的局限性：(1)生成了大量冗余的候选框，导致分类的误差比较大。(2)特征算子是基于低级视觉特征手工制作的，这使得在复杂语境中难以捕获代表性语义信息。(3)检测的每一个步骤都是独立而不是端到端的，无法得到整个系统的全局最优解。

第二类是基于深度学习的目标检测算法，包括基于区域建议和基于回归的目标检测算法，基于区域建议的目标检测算法以Faster-RCNN为代表，主要是通过锚点产生大量候选框来确定对象最有可能出现的区域，称为感兴趣区域(RegionofInterest，RoI)，检测网络进一步处理这些RoI，以边界框和预测对象类别概率的形式输出检测结果。基于回归的目标检测算法以YOLO为代表，将图片划分为N×N的网格，对每个网格检测的信息进行回归计算，物体中心所在的网格负责对物体进行预测。

目前常见的目标检测算法都是在清晰的环境下进行检测的，而现实中常常遇到雾霾、雨雪等恶劣天气，导致采集到的图片出现噪声、模糊和细节丢失等现象，图片质量严重下降，给目标检测任务带来很大的干扰，使检测准确率降低。并且雾霾等恶劣天气造成的能见度低和遮挡问题也会干扰人的视觉，如果是在驾车过程可能产生意外，因此，对雾霾环境下目标检测的研究，具有重要的现实意义。

发明内容

本发明目的是针对背景技术中存在的问题，提出一种基于YOLOv3网络的雾霾环境下目标检测方法。

本发明的技术方案，一种基于YOLOv3网络的雾霾环境下目标检测方法，包括如下步骤S1-S3：

S1、获取雾霾环境下的目标检测数据集；

S2、使用条件对抗生成网络对图像进行预处理，条件生成对抗网络包括生成器、判别器和整体损失函数，预处理过程包括如下步骤S2.1-S2.5：

S2.1、将有雾图像输入网络生成器中，生成器处理输出去雾后的图像；

S2.2、将有雾图像与去雾图像组合起来输入判别器中，得到判定结果；

S2.3、将有雾图像与真实的无雾图像结合起来放入判别器中，输出另一个结果；

S2.4、将前后两个结果做比较，它们的差用来优化生成器与判别器的参数，帮助网络训练；

S2.5、使用训练好的条件生成对抗网络进行去雾处理；

S3、结合预处理后的图像，送入改进后的YOLOv3目标检测网络进行训练和预测，输出检测结果。

优选的，步骤S1中的数据集是公开数据集RESIDE。

优选的，生成器用Res-Unet结构，生成器包括编码器、解码器和转换器；编码器由4层卷积层构成，用于将图像下采样提取特征向量；转换器由3层Resnet模块构成，用于将源域中的高级特征转换到目标域的特征；解码器由4层反卷积层构成，用于将特征向量还原到原始大小。

优选的，判别器采用PatchGAN结构，该PatchGAN结构把图片分成70×70的patch进行判别。

优选的，条件对抗生成网络的整体损失函数为：

m

其中，x表示真实数据，z表示输入，y表示条件变量，E表示对应分布的期望值，D(xy)是判别器判断真实图片是否真实的概率，D(G(zy))是判别器判断生成的图片是否真实的概率，p

优选的，步骤S3中，YOLOv3目标检测网络包括主干网络Darknet53、特征融合网络和YOLOHead；主干网络Darknet53用于特征提取，以得到四个不同尺度的特征层进行下一步的融合；特征融合网络用于加强特征提取，以对主干网络获得的四个不同尺度的特征进行上采样、拼接和卷积操作；YOLOHead用于对特征图中每一个特征点进行分类和回归，判断是否有目标。

优选的，对YOLOv3目标检测网络的特征融合网络结构添加注意力机制CBAM模块，并且在特征融合网络结构中增加一条分支用于融合不同尺度的特征信息。

优选的，注意力机制CBAM模块包括通道注意力模块和空间注意力模块，特征图先输入通道注意力模块，计算后的输出结果再作为空间注意力模块的输入；其中，通道注意力模块的计算过程为：

其中，F表示输入的特征，M

空间注意力模块的计算过程为：

/>

其中，f

优选的，利用YOLOHead进行分类和回归时，YOLOv3目标检测网络的整体损失函数为：

其中，网格一共是S*S个，每个网格产生B个候选框，x

优选的，YOLOv3目标检测网络训练过程分为两个阶段，分别是冻结阶段和解冻阶段；首先冻结主干网络训练50个epoch，仅仅对网络进行微调，此时batch size为8，学习率为0.001；然后解冻主干网络训练100个epoch，此时batchsize为4，学习率为0.0001。

与现有技术相比，本发明具有如下有益的技术效果：

本发明基于深度学习针对雾霾天气设计了一种目标检测模型，通过条件对抗生成网络对雾霾图像进行预处理，增加网络训练的鲁棒性，采用改进后的YOLOv3算法训练，提高了特征提取的精度，最终获得雾霾天气下的目标检测模型，能够有效提升雾霾天气下目标检测的准确率。

附图说明

图1为本发明的方法流程图；

图2为本发明中条件生成对抗网络的预处理流程图；

图3为本发明中改进的YOLOv3特征融合网络结构图；

图4为本发明中改进的YOLOv3网络结构图；

图5为本发明中注意力机制模块结构图。

具体实施方式

如图1-5所示，本实施例提出的一种基于YOLOv3网络的雾霾环境下目标检测方法，包括如下步骤S1-S3：

S1、获取雾霾环境下的目标检测数据集，该数据集是公开数据集RESIDE。

S2、使用条件对抗生成网络对图像进行预处理，条件生成对抗网络包括生成器、判别器和整体损失函数；生成器融合了残差网络的思想，生成器用Res-Unet结构，生成器包括编码器、解码器和转换器；编码器由4层卷积层构成，用于将图像下采样提取特征向量；转换器由3层Resnet模块构成，用于将源域中的高级特征转换到目标域的特征；解码器由4层反卷积层构成，用于将特征向量还原到原始大小；判别器采用PatchGAN结构，该PatchGAN结构把图片分成70×70的patch进行判别；条件对抗生成网络的整体损失函数为：

其中，x表示真实数据，z表示输入，y表示条件变量，E表示对应分布的期望值，D(xy)是判别器判断真实图片是否真实的概率，D(G(zy))是判别器判断生成的图片是否真实的概率，p

如图2所示，预处理过程包括如下步骤S2.1-S2.5：

S2.1、将有雾图像输入网络生成器中，生成器处理输出去雾后的图像；

S2.2、将有雾图像与去雾图像组合起来输入判别器中，得到判定结果；

S2.3、将有雾图像与真实的无雾图像结合起来放入判别器中，输出另一个结果；

S2.4、将前后两个结果做比较，它们的差用来优化生成器与判别器的参数，帮助网络训练；

S2.5、使用训练好的条件生成对抗网络进行去雾处理。

S3、结合预处理后的图像，送入改进后的YOLOv3目标检测网络进行训练和预测，输出检测结果。YOLOv3目标检测网络训练过程分为两个阶段，分别是冻结阶段和解冻阶段；首先冻结主干网络训练50个epoch，仅仅对网络进行微调，此时batchsize为8，学习率为0.001；然后解冻主干网络训练100个epoch，此时batchsize为4，学习率为0.0001。

首先对数据集按照9:1比例划分训练集和验证集，接着设计YOLOv3的网络结构，如图4所示，YOLOv3目标检测网络包括主干网络Darknet53、特征融合网络和YOLOHead；主干网络Darknet53用于特征提取，以得到四个不同尺度的特征层进行下一步的融合；特征融合网络用于加强特征提取，以对主干网络获得的四个不同尺度的特征进行上采样、拼接和卷积操作；YOLOHead用于对特征图中每一个特征点进行分类和回归，判断是否有目标。

如图3所示，为YOLOv3目标检测网络的特征融合结构做出的改进，为其添加了注意力机制模块，使网络可以选择最合适的特征去检测相应大小的目标，借鉴了特征金字塔网络结构，通过上采样操作对特征进行融合，并且在特征融合网络结构中增加一条分支用于融合不同尺度的特征信息。本发明方法中尺寸为13×13的输出特征感受野最大，可以检测大目标；104×104的输出特征感受野最小，可以检测小目标。

如图5所示为注意力机制CBAM模块的具体流程结构图，注意力机制CBAM模块包括通道注意力模块和空间注意力模块，特征图先输入通道注意力模块，计算后的输出结果再作为空间注意力模块的输入。其中，通道注意力模块的计算过程为：

其中，F表示输入的特征，M

空间注意力模块的计算过程为：

其中，f

利用YOLOHead进行分类和回归时，YOLOv3目标检测网络的整体损失函数为：

其中，网格一共是S*S个，每个网格产生B个候选框，x

YOLOv3目标检测网络的整体损失函数由中心坐标误差、宽高误差、置信度误差和分类误差组合而成：

中心坐标误差：

宽高坐标误差：

置信度误差：

分类误差：

本实施例基于深度学习针对雾霾天气设计了一种目标检测模型，通过条件对抗生成网络对雾霾图像进行预处理，增加网络训练的鲁棒性，采用改进后的YOLOv3算法训练，提高了特征提取的精度，最终获得雾霾天气下的目标检测模型。与现有技术相比，这种方法能够有效提升雾霾天气下目标检测的准确率。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于此，在所属技术领域的技术人员所具备的知识范围内，在不脱离本发明宗旨的前提下还可以作出各种变化。