一种基于改进目标检测网络的雾霾图像目标检测方法

摘要

本发明公开了一种基于改进目标检测网络的雾霾图像目标检测方法，首先采用一种基于优化对比度增强的快速去雾算法，能够实时有效地去除雾霾，增强图像的对比度信息；然将去雾后的图像送入改进后的YOLOV4目标检测网络进行检测，输出雾霾天气条件下的目标信息；同时为了提升YOLOV4网络的特征提取能力，本发明将YOLOV4主干网络中的残差块替换为密集链接块，相比于残差块，密集链接块使网络能够提升特征表达能力，提高网络的特征提取能力。最后，实验证明利用本发明可以提高在雾霾天气条件下的目标检测能力。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种雾霾图像目标检测方法。

背景技术

目标检测识别，指用某种技术手段对图像中的感兴趣目标进行定位、识别。目前主要有两种类型的目标检测方法，基于滑动窗口的方法和基于区域目标性的方法。前者用窗口遍历整幅图像，在每个位置提取窗口内的图像特征，最后用分类器对特征进行分类；后者采用显著性检测或者目标性的方法来提取目标的候选区域，避免了滑动窗口的大量计算，但由于可能出现框定部分目标或对临近目标区分差的情况，对检测结果有一定影响，有许多方法被提出来改善这一问题，比如有文献提出一种目标性更强的区域提取方法，减少了候选窗口数量同时提高了候选窗口的质量。

虽然目前深度学习网络在目标检测领域得到了很大发展，但是基本都是基于清晰图像做目标识别，当处于雾霾等复杂条件时识别精度将会大幅下跌。

在现实中，常常遇见雨雪、雾霾、沙尘等情况，在这些恶劣天气下，城市安防、高速监控、侦查监视的传感器性能会急剧下降甚至失效，导致计算机系统所采集到的图像出现细节丢失、噪声增加、对比度下降等退化问题，对图像特征提取、检测分割、目标识别等后期处理造成巨大影响。例如雾天是最常见的影响视觉效果的极端天气，而此类恶劣天气条件造成的图像视觉扭曲会影响许多户外视觉系统的性能，从而对目标识别的准确率产生负面影响。

雾霾等复杂多变的天气情况会极大地影响监控侦察传感器的性能，导致采集到的图像噪声增加、细节丢失、对比度下降等后果，目标识别检测作为大部分计算机视觉应用的预处理部分，其识别效果不可避免地会受到不同程度的雾霾情况的干扰。因此能快速准确地去除输入图像中的雾霾干扰，使之能在各种复杂状态下稳定正常地工作对提高目标识别检测地准确率具有极高的价值。传统的一些去雾算法存在去雾后的图片会产生光环伪影、色彩失真严重、可以局部消除雾霾但不能去除某些地方的浓雾、实时性很难保证等问题。

发明内容

为了克服现有技术的不足，本发明提供了一种基于改进目标检测网络的雾霾图像目标检测方法，首先采用一种基于优化对比度增强的快速去雾算法，能够实时有效地去除雾霾，增强图像的对比度信息；然将去雾后的图像送入改进后的YOLOV4目标检测网络进行检测，输出雾霾天气条件下的目标信息；同时为了提升YOLOV4网络的特征提取能力，本发明将YOLOV4主干网络中的残差块替换为密集链接块，相比于残差块，密集链接块使网络能够提升特征表达能力，提高网络的特征提取能力。最后，实验证明利用本发明可以提高在雾霾天气条件下的目标检测能力。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：获取包含目标的雾霾天气图像；

步骤2：定义雾霾退化模型如式(1)所示：

I(p)＝t(p)J(p)+(1-t(p))A (1)

式中，J(p)＝(J

步骤3：使用基于四叉树细分的分层搜索方法确定雾霾天气图像的大气光值；

将一幅雾霾天气图像分成四个矩形区域，用每个矩形区域的平均像素值减去该矩形区域内像素值的标准差，然后选择计算结果最大的矩形区域将其进一步划分为四个较小的矩形区域，重复这个过程，直到选择的矩形区域的尺寸小于预先指定的阈值；

在最终选择的矩形区域内，计算每个像素点和白色像素的距离，即计算||(I

步骤4：计算基于图像块的最佳透射率；

步骤4-1：将雾霾天气图像划分为多个b*b大小的图像块，假定每个图像块的场景深度是一致的；为每个图像块设定一个透射率，则对于每个图像块，雾霾退化模型写为：

步骤4-2：采用均方误差对比度表示雾霾天气图像块去雾霾后图像块的对比度，均方误差对比度用式(3)表示：

其中c∈(r，g，b)表示颜色通道索引，J

其中，I

步骤4-3：得到最佳透射率t

定义对比度成本E

定义信息损失成本E

E

其中min{0，J

最小化总体成本函数E得到最佳透射率t

E＝E

其中λL是控制对比度成本和信息损失成本的相对重要性的加权参数，通过控制λ

步骤5：在得到雾霾天气图像的大气光值和最佳透射率后，根据式(2)恢复出去雾霾图像；

步骤6：对去雾霾图像标注目标位置和类别，制作目标数据集；

步骤7：对目标数据集进行数据增强工作，增强的方法包括但不限于旋转、平移、伽马变换、MixUp、Mosaic、模糊化，得到新目标数据集；

步骤8：将YOLOV4网络里的残差块替换为密集链接块，得到改进YOLOV4网络；

密集链接块由多个3×3的卷积层后接1×1的卷积层组成，每个3×3的卷积层都直接与后面所有1×1卷积层相连，密集链接块的输出表示为：

其中X

步骤9：以新目标数据集里的图像作为样本对改进YOLOV4网络进行训练，得到去雾霾后图像的目标检测模型；

步骤10：从步骤2到步骤9即为雾霾图像目标检测模型，将待检测雾霾图像输入雾霾图像目标检测模型，输出为检测到的目标。

优选地，所述b＝32。

本发明的有益效果如下：

1、本发明使用基于四叉树细分的分层搜索方法来确定大气光所在区域，相比于传统的大气光计算方法，本发明方法能够有效避免比大气光更亮的物体可能会导致大气光选择不准确的问题。

2、本发明方法建立了一个由对比度项和信息损失项组成的成本函数，通过最小化代价函数，去雾算法在增强对比度的同时，最大限度地减少了由于像素值截断而造成的信息损失，以最优方式保存了信息，相比于传统方法综合考虑了对比度增强时信息损失随之增大的问题。

3、本发明方法使用密集链接方式替换YOLOV4网络里的残差链接方式，有效提升了目标检测网络的特征表达能力，提高了网络对复杂小目标的检测能力。

附图说明

图1为本发明去雾霾方法流程图。

图2为本发明方法的基于四叉树细分的分层搜索示意图。

图3为输入(带雾)图像像素值到输出(去雾)图像像素值之间的映射关系图。

图4为本发明实施例不同透射率下的一组图像去雾结果，从左到右依次为原图像，透射值分别为t＝0.1、t＝0.3、t＝0.5、t＝0.7的去雾图像。

图5为YOLOV4网络残差块结构图。

图6为密集链接块结构图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

为了提高雾霾天气条件下目标检测识别的准确率，需要解决的主要问题包括以下两点：(1)如何在图像信息损失最小的基础上提高图像对比度，有效去除雾霾；(2)如何有效提高目标检测识别的准确性。本发明采取的措施如下：(1)建立一个由对比度项和信息损失项组成的成本函数，通过最小化代价函数，去雾算法在增强对比度的同时，最大限度地减少了由于像素值截断而造成的信息损失，以最优方式保存了信息；(2)使用密集链接方式替换YOLOV4网络里的残差链接方式，有效提高了网络对目标细节特征的提取能力，有效提高了网络对复杂小目标的检测能力，从而有效提升总体目标的检测精度。

本发明首先对雾霾图像进行去雾处理，再使用密集链接方式替换YOLOV4网络残差块，使其能够更好的提取目标细粒度特征，最后再对去雾后的图像进行目标识别，实现雾霾条件下的目标识别任务。

一种基于改进目标检测网络的雾霾图像目标检测方法，包括以下步骤：

步骤1：获取包含目标的雾霾天气图像；

步骤2：定义雾霾退化模型如式(1)所示：

I(p)＝t(p)J(p)+(1-t(p))A (1)式中，J(p)＝(J

步骤3：如图2所示，使用基于四叉树细分的分层搜索方法确定雾霾天气图像的大气光值；

雾霾退化模型中的大气光通常被认为是图像中最亮的颜色，因为大量的雾霾会产生明亮的颜色。然而，在这种方案中，比大气光更亮的物体可能会导致大气光选择不准确。为了更可靠地估计大气光，利用了这样一个事实：在有雾区域，例如天空，像素值的方差通常很低。

将一幅雾霾天气图像分成四个矩形区域，用每个矩形区域的平均像素值减去该矩形区域内像素值的标准差，然后选择计算结果最大的矩形区域将其进一步划分为四个较小的矩形区域，重复这个过程，直到选择的矩形区域的尺寸小于预先指定的阈值；

在最终选择的矩形区域内，计算每个像素点和白色像素的距离，即计算||(I

步骤4：计算基于图像块的最佳透射率；

步骤4-1：将雾霾天气图像划分为多个b*b大小的图像块，假定每个图像块的场景深度是一致的；为每个图像块设定一个透射率，则对于每个图像块，雾霾退化模型写为：

在估计大气光A后，J(p)取决于透射率t(p)的选择。一般情况下，雾霾块产生的对比度较低，并且去雾块的对比度随着估计t(p)的降低而增加，希望估计出最佳的t(p)，使得去雾块具有最大的对比度；

步骤4-2：采用均方误差对比度表示雾霾天气图像块去雾霾后图像块的对比度，均方误差对比度用式(3)表示：

其中c∈(r，g，b)表示颜色通道索引，J

其中，I

步骤4-3：得到最佳透射率t

取每个块的三个颜色通道的MSE对比度的负和定义对比度成本E

定义信息损失成本E

E

其中min{0，J

最小化总体成本函数E得到最佳透射率t

E＝E

其中λL是控制对比度成本和信息损失成本的相对重要性的加权参数，通过控制λL，在对比度增强和信息丢失之间取得平衡；

步骤5：如图1所示，在得到雾霾天气图像的大气光值和最佳透射率后，根据式(2)恢复出去雾霾图像；

步骤6：对去雾霾图像标注目标位置和类别，制作目标数据集；

步骤7：对目标数据集进行数据增强工作，增强的方法包括但不限于旋转、平移、伽马变换、MixUp、Mosaic、模糊化，得到新目标数据集；

步骤8：YOLOV4目标检测网络在YOLOV3网络的基础上对进行了优化与改进。主要工作包括：1)使用Mosaic数据增强技术对数据进行了增强，这有效丰富了检测物体的背景；2)使用自对抗训练数据增强方法，该方法通过在数据上添加噪声提高模型的鲁棒性；3)将空间注意力模块的空间注意力机制(spatial-wise attention)修改为点注意力机制(point-wise attention)，并将路径聚合网络中的捷径连接替换为级联；4)将批归一化(BN)替换为跨批归一化(CmBN)，其将批内部的4个mini batch当做一个整体对外隔离，之后在minibatch里对前三个时刻的统计量进行汇总。

本发明为了提高网络特征提取能力，将YOLOV4网络中的残差块替换为密集链接块。YOLOV4使用CSPDarknet53作为主干网络提取特征，CSPDarknet53是在YOLOV3Darknet53网络基础上加入CSP块组成。每个CSP块有多个残差块组成，残差块如图5所示。在网络训练时残差块可以提高梯度的传播效率，提高网络训练速度的同时提升网络特征传播效率。假设X

Y

其中，W表示相加后的特征权重；可以看出，第i层和第i+1层输出的特征共享同一个权重；虽然这可以提升网络训练的效率，但是由于两层的输出都共享一个权重，限制了网络对特征表达的多样性，这限制了网络对复杂环境中微小目标特征提取的能力。

为了解决该问题，将YOLOV4网络里的残差块替换为密集链接块，得到改进YOLOV4网络；

如图6所示，密集链接块由多个3×3的卷积层后接1×1的卷积层组成，每个3×3的卷积层都直接与后面所有1×1卷积层相连，密集链接块的输出表示为：

其中X

步骤9：以新目标数据集里的图像作为样本对改进YOLOV4网络进行训练，得到去雾霾后图像的目标检测模型；

步骤10：从步骤2到步骤9即为雾霾图像目标检测模型，将待检测雾霾图像输入雾霾图像目标检测模型，输出为检测到的目标。

具体实施例：

本发明为了验证算法的有效性，在雾霾条件下采集了11243张不同场景的图片，并对算法进行了验证。

为了验证去雾算法以及改进后YOLOV4网络的有效性，分别使用原始YOLOV4和改进后的YOLOV4在雾霾图像数据集和去雾后的图像数据集上进行了验证，实验结果如表1所示。从表中可以看出，同一数据集下，改进后的YOLOV4比原始的YOLOV4精度有一定提升，这是因为改进后的YOLOV4网络特征提取能力更好；采用同一模型的情况下，去雾后图像中的目标识别精度比雾霾图像中的目标识别精度有一定提升，可见经过去雾处理能够有效提高深度学习检测网络在雾霾条件下对目标的检测准确率。因此，本发明中将基于优化对比度增强的去雾算法与改进后的YOLOV4网络结合起来，在数值上很大程度地提升了雾霾条件下目标的检测识别率，本发明是极具有效性的。

表1 YOLOV4和改进后YOLOV4在雾霾和去雾数据集上的对比实验

表中AP表示平均精度，AP