一种基于视频图像多特征融合的雾浓度等级识别方法

摘要

本发明涉及一种基于视频图像多特征融合的雾浓度等级识别方法，该方法首先在原始图像上随机生成多个不重叠的图像切片，之后利用Canny算子对每个切片进行处理，获取各个切片的图像边缘，并统计每个切片的边缘像素的个数，选取其中像素个数最多的作为目标切片；采用细节特征提取模块对目标切片进行细节图像特征提取；采用全局图像特征提取模块对原始图像进行全局图像特征提取；采用特征融合识别模块对得到的细节图像特征、全局图像特征进行融合并识别，得到原始图像的雾浓度等级。本发明通过融合全局和细节多特征的雾浓度深度学习网络，提升能见度分级判断的准确率和鲁棒性，具有数据驱动、特征自动识别、自学习等技术特点。

说明书

技术领域

本发明属于公路交通气象监测和视频图像智能分析技术领域，具体涉及一种基于视频图像多特征融合的雾浓度等级识别方法。

背景技术

视频感知、图像识别、嵌入式人工智能芯片等技术变革式升级，视频智能认知与智慧交通管理紧密融合、相互赋能，通过深度挖掘交通图像相关数据，形成问题分析模型，构建实时动态信息服务体系，为行业管理、公众服务等提供智能决策与层次化出行服务，是智慧高速公路建设的重要内容。

近年来，涌现出众多基于雾场景图片进行雾浓度识别的方法，主要包括：相机模型标定法、暗通道先验法、双亮度差法等。相机模型标定法是指直接将道路作为目标物，通过实时图形处理程序确定大气的消光系数，并利用Koschmieder定律计算大气能见度。该方法的缺点在于需要对相机进行精确的几何校准，场景中需要有高对比度的参照物。暗通道先验法根据暗通道先验理论获得目标物到摄像点的透射率，利用透射率推导出大气消光系数，进而估算能见度。目前的研究显示用该方法得到的透射还不够精确，优化算法的实时性也不太好。双亮度差法利用地平线附近两个不同距离的目标物和其对应水平天空的背景亮度差的比值计算能见度，该方法的优点是即使在夜间也可以进行能见度的检测，缺点是需要搭建人工目标。上述的所有雾浓度估计算法均是以估计能见度作为切入点，易受不均匀雾的影响，使估计结果出现较大误差；此外，它们还存在的一个重要问题鲁棒性较差，受较强的场景限制。因此如何克服现有技术的不足是目前公路交通气象监测和视频图像智能分析技术领域亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术的不足，提供一种基于视频图像多特征融合的雾浓度等级识别方法。

为实现上述目的，本发明采用的技术方案如下：

一种基于视频图像多特征融合的雾浓度等级识别方法，包括如下步骤：

步骤(1)，在原始图像上随机生成多个不重叠的图像切片，之后利用Canny算子对每个切片进行处理，获取各个切片的图像边缘，并统计每个切片的边缘像素的个数，选取其中像素个数最多的作为目标切片；

步骤(2)，采用细节特征提取模块对目标切片进行细节图像特征提取；

所述的细节特征提取模块包括8个卷积层、4个池化层和1个全连接层；每个卷积层后引入BN层，采用eRelu作为激活函数；每连续两个卷积操作后设置一个池化层；最后通过一个全连接层生成一个N*1维的特征向量，该向量即为提取到的细节图像特征；

步骤(3)，采用全局图像特征提取模块对原始图像进行全局图像特征提取；

所述的全局图像特征提取模块包括5个卷积层、2个池化层和1个全连接层；每个卷积层后引入BN层，采用eRelu作为激活函数；第三个卷积操作和最后一个卷积操作后各设置一个池化层；最后通过一个全连接层输出一个n*1维的特征向量，该向量即为提取到的全局图像特征；

步骤(4)，采用特征融合识别模块对步骤(2)得到的细节图像特征、全局图像特征进行融合并识别，得到原始图像的雾浓度等级。

进一步，优选的是，步骤(1)中，在原始图像上随机生成10个不重叠的图像切片。

进一步，优选的是，步骤(3)中，第一个卷积层中采用了5*5的空洞卷积核；第二个卷积层中采用了3*3的空洞卷积核。

进一步，优选的是，步骤(4)中，融合采用级联融合的方法。

进一步，优选的是，采用相同的训练集和测试集，同时训练三个模型：(1)全局特征提取模块，其输入是RGB和暗通道四通道的特征数据；(2)细节特征提取模块，其输入是切片后的图像数据；(3)全局图像特征提取模块，其输入是全局特征和局部特征向量。

进一步，优选的是，训练参数：(1)Learning rate is 0.001.Dacay是每7个Epoch下降0.0005；采用SGD优化方法，冲量为0.9；loss函数为CrossEntropy；数据预处理方法是：进行了-20到20度的图像随机旋转。

本发明中的识别是在进行了特征融合后，需要将融合后的特征输入判别器进行最后的类别判断。为了更好的控制参数数量，本发明采用GAP(Global average pooling)方法，构建了判别器，通过3个卷积层和一个全局平局池化层的处理，再由softmax函数计算出样本对应各个类别的概率，实现最终的雾场景图像的浓度识别。

本发明的创新点在于：

(a)提出了一种自适应图像切片方法，采用Canny算子获取图像边缘，以边缘像素数作为图像信息的评价标准，得到信息量最大的切片。

(b)提出了一种基于特征融合的雾浓度等级识别网络EnvNet，它由全局图像特征提取模块、细节特征提取模块和特征融合识别模块三个子模块组成。其中：通过多通道融合的方式，获取丰富的图像全局特征，以解决由于图像衰退造成的原始RGB图像信息量不足的问题；通过自适应图像切片方法，获取有表现力的局部图像切片，通过卷积模块获取雾场景图像的细节特征，增加模型的识别依据；通过将全局与细节特征进行融合，再将其送入雾浓度识别网络中，实现高质量的雾浓度等级判别。

(3)构建以深度卷积神经网络为主，融合传统特征提取为辅的智能能见度辨识算法，算法泛化能力更强，更适用于夜晚、不利天气等多种复杂的环境和场景。

本发明与现有技术相比，其有益效果为：

本发明抛弃以往通过能见度传感检测、能见度估计来判断雾浓度这一思路，而是采用图像识别方法，直接将场景图像分为清晰、轻雾、浓雾等不同的雾浓度级别(注：雾浓度的参考标准是国标GB/T31445-2015，如表1所示)，在简化了数学模型的同时，通过融合全局和细节多特征的雾浓度深度学习网络，提升能见度分级判断的准确率和鲁棒性，具有数据驱动、特征自动识别、自学习等技术特点。

最好能提供带有量化数据的效果。

附图说明

图1为EnvNet网络结构图

图2为全局特征提取模块结构图；

图3为细节特征提取模块结构图；

图4为不同雾等级示意图；

图5为不同网络训练过程性能比较图；(a)为模型训练loss值；(b)为模型训练准确率。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

本发明提出一种全新的基于多特征融合的雾场景图像识别网络——EnvNet(见图1)，主要包括三部分：(1)全局图像特征提取模块；(2)细节特征提取模块；(3)特征融合及识别模块，下面是对这三个模块详细描述。

(1)全局特征提取模块

雾场景图像是一种户外场景图像，有背景静态目标和前景动态目标组成，在实际中由于前景动态目标的变化，会对场景图片的识别带来一定干扰；此外，户外场景中光照和天气等动态因素也会对图像识别造成不利影响，因为这些不利因素的干扰，所以对场景图像的识别算法提出了更高的鲁棒性要求。此外，通过对雾场景图像的特点进行分析可知，雾浓度描述的是当前场景的整体氛围，而非局部特性，也就是说，人类利用视觉判断雾浓度时主要利用的是对图像的整体感知和基于全局特征的判断。因此，在进行雾场景图像识别时，获取足够的具有高效表达能力的全局图像特征，对提升整体的识别准确率具有重要意义，整体框架如图2所示。

为了解决由于图像退化造成的图像信息量减少的问题，全局特征提取模块的输入除一般的RGB三通道外，增加暗通道图像作为输入(如公式1)，在以往的研究中，暗通道能够很好的描述雾场景图像的图像特征，因此该模块的输入为4通道。

式中，I

此外因为当网络层数增加时，网络会更倾向于获取图像的全局语义信息，可能会因此增加图像对于一些动态因素(动态目标等)的敏感程度，同时也容易出现过拟合问题，为了提取具有足够表现力的全局图像特征，在全局图像特征提取模块中仅含5个卷积层、2个池化层和1个全连接层(见图2)，其中在conv1和conv2中分别采用了5*5和3*3的空洞卷积核，其目的在于提升特征图上每个像素的感受野，在浅层区域迅速获得其全局图像特征，同时控制参数量，降低过拟合风险；同时为了提升收敛速度，避免因模型过于简单导致的欠拟合，在每个卷积层后均采用了一个BN层并选择使用ERelu作为激活函数；最后通过全连接层输出一个n*1维的特征向量，该向量即为提取到的全局图像特征。

(2)细节特征提取模块

在对雾场景图像进行浓度识别分类时，一个重要挑战是：当雾浓度持续上升时，不同雾浓度级别在图像上表现出的差异越来越小，其原因是随着物浓度上升，图像的衰退也愈发严重，当衰退持续增强时会出现边界效应，衰退持续增加对图像成像的影响幅度逐渐减小，此时单纯依靠全局特征无法准确判断图像的雾浓度，因此，在EnvNet中提出结合图像的细节特征进行雾浓度识别。然而由于原始场景图像的尺寸过大，在进行基于CNN的特征提取前，需要进行下采样操作，这会导致部分细节信息的缺失，此外如果直接对全图进行处理，由于有效的图像细节相较于全图而言尺寸过小，很难获取对该细节具有足够表现力的特征。因此在EnvNet中，提出了一个独立的细节特征提取模块以获取具有辨识力的细节特征。

在细节特征提取模块中，我们主要需要解决两个问题：1)如何定位所需的细节区域；2)如何从细节区域获取到有辨识力的特征。针对第一个问题，本发明提出了一种自适应切片方法，该方法主要基于以下假设：边缘越丰富的地方，图像的梯度变化越剧烈，其熵值也会越高，从而其所包含的信息量越大，首先在原始图像上随机生成10个不重叠的图像切片，之后利用Canny算子对每个切片进行处理，获取各个切片的图像边缘，并统计每个切片的边缘像素的个数，选取其中像素个数最多的作为目标切片。针对问题二，本发明依旧采用基于CNN的特征提取模块，由于图像的细节切片已由上一步产生，所以该特征提取模块的主要任务是尽可能获取对该切片最有表现力的特征，因此在此处的特征提取网络可采用一个较深的网络结构，以此提升其对图像切片的描述能力，同时考虑到网络的过拟合风险，在EnvNet采用了一个类似与VGG16的网络结构(见图3)，其中包含了8个卷积层，4个池化层和1个全连接层，同时为提升收敛速度，确保能顺利拟合，引入了在每次卷积操作后均引入了BN层，同时采用eRelu作为激活函数。最后通过一个全连接层生成一个N*1维的特征向量，该向量即为提取到的细节图像特征。

(3)特征融合

不同的特征具有不同的属性，也从不同的角度对原始图像进行表达，因此如何将不同特征进行有效地结合是提升整体识别效率的重要一环。在EnvNet中，特征融合是指将全局特征和局部特征进行有机结合的过程，其目的是为最终进行图像分类提供多视角的特征信息。在EnvNet中使用了级联融合(concat)的方法：将全局特征和细节特征在通道级别进行堆叠，生成2通道的新特征，如公式(2)所示。

其中，

本发明采用相同的训练集和测试集，同时训练三个模型：(1)全局特征提取模块，其输入是RGB和暗通道四通道的特征数据；(2)细节特征提取模块，其输入是切片后的图像数据；(3)全局图像特征提取模块，其输入是全局特征和局部特征向量。训练参数：(1)Learning rate is 0.001.Dacay是每7个Epoch下降0.0005；采用SGD优化方法，冲量为0.9；loss函数为CrossEntropy；数据预处理方法是：进行了-20到20度的图像随机旋转。最后得到的神经网络模型，其使用方式是输入原始图像，即可得到输出——原始图像的雾浓度等级。

应用实例

本实验所采用的数据是通过道路卡口相机拍摄的真实图片，图像尺寸为1920*1080，时间跨度为一年，包含不同天气，不同季节。其数据标注是基于传统气象仪能见度数据通过专业人员人工校验进行的雾浓度标注，具体规则见表1。整个数据集中训练集为5000张不同雾浓度的雾场景图片，其中包含5个类别，每个类别1000张图片，测试集为1500张不同物浓度的雾场景图片，包含5个类别，每个类别250张图片，如图4所示。

表1雾等级划分

对本发明提出的EnvNet与经典图像分类模型进行比较，验证EnvNet对于其他模型在性能上的优越性，参与对比的网络模型包括Inception V4、Inception_resnet V2、EfficientNet_B0、EfficientNet_B1、EfficientNet_B2和EfficientNet_B7。各个不同模型的输入图像大小为各自网络的标准大小，由原始图像resize得到，主要训练的参数包括：(1)Learning rate is 0.001.Dacay是每7个Epoch下降0.0005；采用SGD优化方法，冲量为0.9；loss函数为CrossEntropy；数据预处理方法是：进行了-20到20度的随机旋转。雾等级分类模型的准确率对比结果如表2所示，训练过程loss变化见图5。

根据实验结果可知：(1)从训练过程角度看，如图5所示，EnvNet的收敛速度和最终收敛的loss值大小均为最有，表示本发明提出的EnvNet具有良好的模型拟合能力。(2)从识别性能上看，如表2所示，EnvNet在雾场景图像识别这个问题上具有最优的分类性能，除了Inception-res V2与EnvNet的差距较小外(EnvNet为0.9223，Inception-res-V2为0.9196)，其余网络结构均至少相差0.02，此外EnvNet也在参数性能上表现较好，在性能最优的三个网络中(Inception_res_v2,EfficientNet-B7,EnvNet)参数规模最小。由此可见，本发明提出的EnvNet在解决场景图像识别问题时具有最好的综合性能。

表2不同网络雾等级识别性能比较

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。