一种基于双通路深度网络的雾天能见度检测方法

摘要

本发明涉及一种基于双通路深度网络的雾天能见度检测方法，包括采集高速公路监控图像，根据能见度距离分类为若干等级，并划分为训练数据集与测试数据集；构建雾天能见度检测的双通路深度网络模型，两条通路分别学习暗通道先验信息与雾天图像的深度特征，并联合两类特征通过全连接层进行分类；设计用于优化网络模型参数学习的目标函数，预设网络模型的训练超参；将训练数据送入网络模型中，根据目标函数，采用Adam优化器实现模型参数的迭代优化与更新；训练完成的网络模型可实现对高速公路雾天能见度等级的端对端分类，预测高速公路监控图像的能见度等级。本发明可实现高速公路雾天能见度等级的自动检测，为公路管理部门的智能化管理提供技术支撑。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于双通路深度网络的雾天能见度检测方法。

背景技术

高速公路雾天能见度检测对于交通预警、安全行车具有重要意义。暗通道先验(dark channel prior)去雾算法是CV界去雾领域很有名的算法。所谓暗通道是一个基本假设，这个假设认为，在绝大多数的非天空的局部区域中，某一些像素总会有至少一个颜色通道具有很低的值。通过暗通道先验与图像中雾天大气散射模型相结合，可以有效地求得相应的透射率与大气光，最终实现图像的去雾。

近年来，卷积神经网络(CNN)已经普遍应用在计算机视觉领域，并且已经取得了不错的效果。其中，MobileNet是一个有效的轻量级的分类网络。MobileNet的基本单元是深度级可分离卷积(depthwiseseparable convolution)，深度可分离卷积提出了一种新的思路：对于不同的输入channel采取不同的卷积核进行卷积，其实是一种可分解卷积操作(factorized convolutions)，其可以分解为两个更小的操作：depthwise convolution和pointwise convolution。深度可分离卷积将以往普通卷积操作同时考虑通道和区域改变(卷积先只考虑区域，然后再考虑通道)，实现了通道和区域的分离，减少了参数量，实现了较好的分类效果。

发明内容

针对如何对在雾天得到的图像进行有效的信息提取并检测出能见度的技术问题，本发明提出一种可对雾天能见度等级进行准确检测、分类的基于双通路深度网络的雾天能见度检测方法。

本发明所采用的技术方案为：

一种基于双通路深度网络的雾天能见度检测方法，包括如下步骤：

一、采集高速公路监控图像，根据能见度距离分类为若干等级，并划分为训练数据集与测试数据集；

二、构建雾天能见度检测的双通路深度网络模型，两条通路分别学习暗通道先验信息与雾天图像的深度特征，并联合两类特征通过全连接层进行分类；

三、设计用于优化网络模型参数学习的目标函数，预设网络模型的训练超参；

四、将训练数据送入网络模型中，根据目标函数，采用Adam优化器实现模型参数的迭代优化与更新；

五、若网络模型收敛，则训练完成的网络模型可实现对高速公路雾天能见度等级的端对端分类，预测高速公路监控图像的能见度等级，否则，返回步骤四。

进一步地，步骤一中，设能见度距离为d，d<50m时，能见度等级为0级；50m

进一步地，步骤二中，双通路深度网络模型表达式为

进一步地，MobileNet网络模块中引入通道注意力与像素注意力模块；卷积网络的结构为：conv→pool→conv→pool→conv。

进一步地，步骤三中，目标函数采用交叉熵损失函数，表达式为

进一步地，步骤四包括：

步骤S401、对网络的各个神经网络模块进行相应的参数初始化；选取训练数据集中S个训练图像{x

步骤S402、通过反向传播算法，更新各个神经网络模块的网络参数ω，ω←ω+α·Adam(ω,d

步骤S403、对整个训练数据集的所有图像，依次进行步骤S401和S402操作，总共进行L次迭代。

进一步地，步骤五包括：

步骤501、判断网络模型是否收敛：在网络训练迭代过程中，若目标函数值减小并渐进于某个值时，则判定网络收敛；

步骤S502、将处理好的高速公路雾天图像数据输入到已经收敛的网络模型中，则可实现对高速公路雾天能见度等级的端对端分类，预测高速公路监控图像的能见度等级；

步骤S503、若迭代训练不收敛，则返回执行步骤四。

本发明的有益效果在于：

本发明将暗通道先验算法与注意力分类网络进行结合，一方面通过暗通道先验算法得到图像对应的传输矩阵向量，再经过卷积层提取特征向量。另一方面通过将MobileNet网络与注意力模块相结合对原图像进行特征提取，继而将得到的两部分特征向量进行拼接后送入全连接层进行分类，分类准确度高，检测过程快速，可实现较好的雾天能见度等级检测，为高速公路管理部门的智能化管理提供有力的技术支撑。

附图说明

图1为本发明的雾天能见度检测方法的流程框图；

图2为分类网络模型的结构示意图；

图3为注意力模块的结构示意图。

具体实施方式

下面结合附图和具体的实施例对本发明的基于双通路深度网络的雾天能见度检测方法作进一步地详细说明。

如图1所示，基于双通路深度网络的雾天能见度检测方法，包括如下步骤：

一、采集高速公路监控图像，根据能见度距离分类为若干等级，并划分为训练数据集与测试数据集。

步骤一中，设能见度距离为d，d<50m时，能见度等级为0级。50m

二、构建雾天能见度检测的双通路深度网络模型(参见图2)，两条通路分别学习暗通道先验信息与雾天图像的深度特征，并联合两类特征通过全连接层进行分类。

考虑到由于雾的浓度分布不均匀，所以在图像的各个通道与像素间的特征并不相同。因此，本发明引入了通道注意力与像素注意力模块，如图3所示，这能更加灵活的处理不同类型的信息。

图像数据送入网络的两个通路(上通路网络和下通路网络)中处理完成后再进行结合处理。如图2所示，上通路网络中，图像数据送入MobileNet网络模块中进行特征提取，得到维度大小为7×7×1024的特征向量。然后，将此特征向量依次送入到通道注意力与像素注意力模块中，获得维度大小为7×7×1024的特征向量。

如图2下通路网络，对图像数据进行暗通道先验算法处理，得到对应的大小为3×3×224的传输矩阵图。然后将传输矩阵图送入到卷积网络中提取特征，获得维度大小为7×7×512的特征向量。其中，卷积网络的结构为conv→pool→conv→pool→conv。最后，将两个分支网络得到的特征向量进行concatenate操作，送入到全连接层中进行分类。

网络模型表达式为

三、设计用于优化网络模型参数学习的目标函数，预设网络模型的训练超参。

目标函数采用交叉熵损失函数，表达式为

四、将训练数据送入网络模型中，根据目标函数，采用Adam优化器实现模型参数的迭代优化与更新。包括：

步骤S401、对网络的各个神经网络模块进行相应的参数初始化；选取训练数据集中S个训练图像{x

步骤S402、通过反向传播算法，更新各个神经网络模块的网络参数ω，ω←ω+α·Adam(ω,d

步骤S403、对整个训练数据集的所有图像，依次进行步骤S401和S402操作，总共进行L次迭代。

五、若网络模型收敛，则训练完成的网络模型可实现对高速公路雾天能见度等级的端对端分类，预测高速公路监控图像的能见度等级，否则，返回步骤四。

步骤五包括：

步骤501、判断网络模型是否收敛：在网络训练迭代过程中，若目标函数值减小并渐进于某个值时，则判定网络收敛。

步骤S502、将处理好的高速公路雾天图像数据输入到已经收敛的网络模型中，则可实现对高速公路雾天能见度等级的端对端分类，预测高速公路监控图像的能见度等级。

步骤S503、若迭代训练不收敛，则返回执行步骤四。

为验证本发明的效果与所提出的暗通道先验算法和注意力模块的有效性，对本发明进行仿真实验与消融实验，测试列规格是224×224，在雾天高速公路图像训练数据集上训练及测试模型，设置相关参数：α＝0.0004,L＝50,S＝16，实验的评价使用定量的分析方法。

通过在测试集进行实验，得到最终的分类准确度为66.08％。

同样在测试集上进行消融实验以验证暗通道先验算法与注意力模块的有效性。通过分别去除暗通道先验算法与注意力模块、只保留MobileNet网络模块与完整网络结构做对比，消融实验结果如表1所示。

表1

从表1可以看出，相较于只保留MobileNet模块的分类网络，暗通道先验算法与注意力机制模块可以有效的提高分类准确率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术方法范围内，可轻易想到的替换或变换方法，都应该涵盖在本发明的保护范围之内。