基于先验知识引导条件生成对抗网络的单张图像去雾方法

摘要

本发明公开了一种基于先验知识引导条件生成对抗网络的单张图像去雾方法，包括步骤：一、建立雾化图像训练集；二、单张随机有雾图像的初步去雾；三、初步去雾图像的去雾训练；四、计算参考真值图像和初步去雾图像的去雾训练图像的真伪值；五、计算图像损失目标函数；六、更新权重参数集合；七、调取新的单张随机有雾图像，循环步骤二至步骤六，直至真伪值达到设定值；八、单张实际有雾图像去雾。本发明利用了先验知识来指导编码网络进行无雾结果生成，利用了先验知识得到的部分有用信息，同时又利用了深度神经网络的特征建模能力弥补了先验知识的不足，不需要在深度神经网络中显示建立大气散射模型，而是将其视为图像的条件生成，去雾效果好。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于先验知识引导条件生成对抗网络的单张图像去雾方法。

背景技术

在雾、霾之类的恶劣天气下采集的图像会由于大气散射的作用出现质量退化现象,使图像颜色偏灰白色,对比度降低,物体特征难以辨认,不仅使视觉效果变差,图像观赏性降低,还会导致图像内容的理解出现偏差。图像去雾就是指用特定的方法和手段,使空气中悬浮微粒对图像的不良影响降低甚至消除。单张图像去雾是指在只有一张有雾图像的条件下，对其进行去雾处理得到清晰的图像。

目前单张图像去雾方法主要分为三大类：第一类是基于图像增强的方法,第二类是基于物理模型的方法,第三类是基于深度学习的方法。

基于图像增强的方法的本质是对被降质的图像进行增强,改善图像的质量。比如常见的直方均衡、对数变换、幂律变换、锐化、小波变换等。通过这些方法增强图像的对比度或突出图像的特征。与常见的对比度增强方法不同，另一种常见的图像增强的方法是基于颜色恒常性和视网膜皮层理论的Retinex方法。该方法将图像分解为本质图像与照度图像的乘积，从而消除因为受雾霾遮挡的光照因素对图像成像的影响。Retinex方法比传统的对比度提升方法相比，其得到的去雾图像具有更好的局部对比度，颜色失真较小。但由于Retinex方法本身也是一个病态问题，只能进行近似估计，因而也在一定程度上影响了图像去雾效果。

基于物理模型的方法利用大气散射模型(I＝JT+(1-T)A，其中I表示有雾图像，J表示无雾图像)分别估计场景介质透视率T与全局大气光照A，从而得到清晰的无雾图像。然而在只有单张有雾图像条件下，估计T和A也是一个病态问题，只能进行近视估计。利用大气散射模型将有雾图像恢复到无雾图像的方法,总体上可以分为三类:第1类是基于深度信息的方法；第2类是基于大气光偏振特性的去雾算法；第3类是基于先验知识的方法。前两类方法通常都需要人工配合，才能得到较好的结果，而第3类方法是目前比较常见的方法，比如基于暗通道统计先验的方法，基于颜色统计先验的方法。这些方法由于是通过统计信息得到的知识，并不能适应所有场景，如基于暗通道先验知识的方法对天空等较亮的区域估计透视系统就会出现偏差，导致去雾后的图像整体偏暗。

基于深度学习的方法利用人工合成的有雾图像数据集和卷积神经网络等技术来实现去雾，具体分为两类：(1)是利用深度神经网络表示大气散射模型，自动学习并估计出对应的T和A。与基于先验知识等方法估计透视系数与大气光照不同，这类方法主要从数据进行学习，从而克服了部分先验知识的偏差，但这类方法通常需要已知场景深度才能合成得到T，以便进行监督学习；(2)在不对T和A作任何假设或者估计的基础上，直接将去雾过程视为图像的变换或者是图像合成。基于图像合成的方法通常利用对比度增强、白平衡等方法对有雾图像进行预处理，然后再通过神经网络学习权重函数，以便进行融合预处理之后的图像，从而实现去雾。但这种方法容易对预处理图像有较强的依赖性，并且单帧图像处理时间较长。基于图像变换的方法直接利用神经网络学习有雾图像与无雾图像之间的非线性变换函数，从而得到无雾图像。但这种方法因为缺乏真实场景的对照，因而对数据的依赖性非常强。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于先验知识引导条件生成对抗网络的单张图像去雾方法，利用了先验知识来指导编码网络进行无雾结果生成，利用了先验知识得到的部分有用信息，同时又利用了深度神经网络的特征建模能力弥补了先验知识的不足，不需要在深度神经网络中显示建立大气散射模型，而是将其视为图像的条件生成，去雾效果好，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于，该方法包括以下步骤：

步骤一、建立雾化图像训练集：利用已知深度的图像数据集，按照大气散射模型合成成组的有雾图像训练集；

步骤二、单张随机有雾图像的初步去雾：在步骤一中的雾化图像训练集中随机提取一张有雾图像，根据公式通过先验知识得到初步去雾图像其中，I_h为单张随机有雾图像，A为全局大气光照，T为介质透视率；

步骤三、初步去雾图像的去雾训练：根据公式将单张随机有雾图像I_h和初步去雾图像进行叠加，送入到条件生成对抗网络的生成器G中，得到初步去雾图像的去雾训练图像其中，concat(·)为叠加函数，f_g(·)_θ表示以θ为权重参数集合的条件生成对抗网络生成器G的编码网络，f_g(·)_θ由多个卷积块构成；

步骤四、计算参考真值图像和初步去雾图像的去雾训练图像的真伪值：根据公式计算参考真值图像J的真伪值D(J)和初步去雾图像的去雾训练图像的真伪值其中，参考真值图像J的真伪值D(J)和初步去雾图像的去雾训练图像的真伪值的取值范围均为(0,1]，f_d(·)_θ'表示以θ'为权重参数集合的判别器D的编码网络，f_d(·)_θ'由多个卷积块构成；

步骤五、根据公式L＝λ₁L₁+λ₂L_edge+λ₃L_GAN，计算图像损失目标函数L，其中，L₁为参考真值图像J和初步去雾图像的去雾训练图像的对抗损失且N为图像像素总个数，n为图像像素变量，为初步去雾图像的去雾训练图像的第n个像素点的像素值，Jn为参考真值图像J与对应位置处的像素点的像素值，L_edge为参考真值图像J和初步去雾图像的去雾训练图像的边缘平滑损失且L_edge＝|grad(J_G)-grad(J)|，grad(·)为图像梯度函数，L_GAN为参考真值图像J和初步去雾图像的去雾训练图像的绝对值损失且Ε(·)为期望函数，λ₁为L₁的权重系数，λ₂为L_edge的权重系数，λ₃为L_GAN的权重系数；

步骤六、更新权重参数集合：将图像损失目标函数L送入Adam优化器，对步骤三中的条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ和步骤四中的判别器D的编码网络f_d(·)_θ'的权重参数集合θ'进行更新；

步骤七、调取新的单张随机有雾图像，循环步骤二至步骤六，直至此时，得到条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ的训练结果为θ，条件生成对抗网络生成器G的编码网络f_g(·)_θ的训练结果为f_g(·)_θ，其中，Δ₁为第一真伪阈值，Δ₂为第二真伪阈值；

步骤八、单张实际有雾图像去雾：利用训练好的条件生成对抗网络生成器G的编码网络f_g(·)_θ对单张实际有雾图像去雾，得到单张实际去雾图像J_G，即其中，I_h为单张实际有雾图像，为单张实际有雾图像的初步去雾图像且

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：步骤二中全局大气光照A和介质透视率T通过暗通道去雾算法、中值滤波去雾算法、多尺度Retinex图像增强算法、自适应直方图均衡化算法或自适应对比度及色阶增强的图像算法得到。

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：所述卷积块包含依次运算的卷积、激活函数、批归一化操作。

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：步骤三中条件生成对抗网络生成器G的编码网络f_g(·)_θ初次使用时，条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ进行随机初始化；步骤四中判别器D的编码网络f_d(·)_θ'初次使用时，判别器D的编码网络f_d(·)_θ'的权重参数集合θ'进行随机初始化。

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：步骤五中λ₁的取值范围为100～200；λ₂的取值范围为10～20；λ₃的取值范围为1～2。

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：步骤七中第一真伪阈值Δ₁和第二真伪阈值Δ₂的取值范围均为0～0.1。

上述的基于先验知识引导条件生成对抗网络的单张图像去雾方法，其特征在于：所述已知深度的图像数据集包括NYU图像数据集。

本发明与现有技术相比具有以下优点：

1、本发明利用先验知识对有雾图像进行初步去雾后，再与有雾图像进行叠加，作为条件送入生成对抗网络中，经过大量样本训练之后，利用生成器可以生成无雾图像，其中，有雾图像的初步去雾结果可以通过多种方法实现，比如常见暗通道先验法、Retinex图像增强法等，在此基础上将初步去雾图像与有雾图像叠加，然后再送入条件生成对抗网络进行训练，并通过训练好的生成器实现单张图像的去雾，任何传统先验方法均可进行初步去雾，适应性强，便于推广使用。

2、本发明能够有效结合传统先验知识方法与基于深度学习的方法的优势，具有噪声干扰小、去雾图像逼真度高、处理速度快的优势，可靠稳定，使用效果好。

3、本发明方法步骤简单，通过传统的基于先验知识的方法对有雾图像进行初步去雾，然后再利用此结果指导条件生成对抗网络生成无雾图像，单张图像去雾思路新颖，即使是在小样本条件下，依然能够取得较好的去雾结果，便于推广使用。

4、本发明先验知识引导条件生成对抗网络的单张图像去雾框架，可以有效融合多种传统去雾方法，而不需要显示建模多张图像之间权重系统，利用公开的标准数据集训练实验结果，方法适应性强，图像处理精度高，去雾效果好。

综上所述，本发明利用了先验知识来指导编码网络进行无雾结果生成，利用了先验知识得到的部分有用信息，同时又利用了深度神经网络的特征建模能力弥补了先验知识的不足，不需要在深度神经网络中显示建立大气散射模型，而是将其视为图像的条件生成，去雾效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明方法的方法流程框图。

图2为本实施例一个场景的单张实际有雾图像。

图3为图2的单张实际去雾图像。

图4为本实施例另一个场景的单张实际有雾图像。

图5为图4的单张实际去雾图像。

图6为本实施例第三个场景的单张实际有雾图像。

图7为图6的单张实际去雾图像。

具体实施方式

如图1所示，本发明的基于先验知识引导条件生成对抗网络的单张图像去雾方法，包括以下步骤：

步骤一、建立雾化图像训练集：利用已知深度的图像数据集，按照大气散射模型合成成组的有雾图像训练集，有效的扩大有雾图像训练集的图像数据量；

本实施例中，所述已知深度的图像数据集包括NYU图像数据集。

步骤二、单张随机有雾图像的初步去雾：在步骤一中的雾化图像训练集中随机提取一张有雾图像，根据公式通过先验知识得到初步去雾图像其中，I_h为单张随机有雾图像，A为全局大气光照，T为介质透视率；

本实施例中，步骤二中全局大气光照A和介质透视率T通过暗通道去雾算法、中值滤波去雾算法、多尺度Retinex图像增强算法、自适应直方图均衡化算法或自适应对比度及色阶增强的图像算法得到。

需要说明的是，利用先验知识对有雾图像进行初步去雾后，再与有雾图像进行叠加，作为条件送入生成对抗网络中，经过大量样本训练之后，利用生成器可以生成无雾图像，其中，有雾图像的初步去雾结果可以通过多种方法实现，比如常见暗通道先验法、Retinex图像增强法等，在此基础上将初步去雾图像与有雾图像叠加，然后再送入条件生成对抗网络进行训练，并通过训练好的生成器实现单张图像的去雾，任何传统先验方法均可进行初步去雾，适应性强。

步骤三、初步去雾图像的去雾训练：根据公式将单张随机有雾图像I_h和初步去雾图像进行叠加，送入到条件生成对抗网络的生成器G中，得到初步去雾图像的去雾训练图像其中，concat(·)为叠加函数，f_g(·)_θ表示以θ为权重参数集合的条件生成对抗网络生成器G的编码网络，f_g(·)_θ由多个卷积块构成；

本实施例中，步骤三中条件生成对抗网络生成器G的编码网络f_g(·)_θ初次使用时，条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ进行随机初始化；步骤四中判别器D的编码网络f_d(·)_θ'初次使用时，判别器D的编码网络f_d(·)_θ'的权重参数集合θ'进行随机初始化。

本实施例中，所述卷积块包含依次运算的卷积、激活函数、批归一化操作。

需要说明的是，条件生成对抗网络生成器G的编码网络f_g(·)_θ由多个卷积块构成，卷积块包含依次运算的卷积、激活函数、批归一化操作，避免采用全连接和池化导致的f_g(·)_θ不稳定。

需要说明的是，通过传统的基于先验知识的方法对有雾图像进行初步去雾，然后再利用此结果指导条件生成对抗网络生成无雾图像，单张图像去雾思路新颖，即使是在小样本条件下，依然能够取得较好的去雾结果。

步骤四、计算参考真值图像和初步去雾图像的去雾训练图像的真伪值：根据公式计算参考真值图像J的真伪值D(J)和初步去雾图像的去雾训练图像的真伪值其中，参考真值图像J的真伪值D(J)和初步去雾图像的去雾训练图像的真伪值的取值范围均为(0,1]，f_d(·)_θ'表示以θ'为权重参数集合的判别器D的编码网络，f_d(·)_θ'由多个卷积块构成；

需要说明的是，参考真值图像J的真伪值D(J)越接近1，初步去雾图像的去雾训练图像的真伪值越接近0，说明条件生成对抗网络生成器G的编码网络f_g(·)_θ训练结果越好。

步骤五、根据公式L＝λ₁L₁+λ₂L_edge+λ₃L_GAN，计算图像损失目标函数L，其中，L₁为参考真值图像J和初步去雾图像的去雾训练图像的对抗损失且N为图像像素总个数，n为图像像素变量，为初步去雾图像的去雾训练图像的第n个像素点的像素值，Jn为参考真值图像J与对应位置处的像素点的像素值，L_edge为参考真值图像J和初步去雾图像的去雾训练图像的边缘平滑损失且L_edge＝|grad(J_G)-grad(J)|，grad(·)为图像梯度函数，L_GAN为参考真值图像J和初步去雾图像的去雾训练图像的绝对值损失且Ε(·)为期望函数，λ₁为L₁的权重系数，λ₂为L_edge的权重系数，λ₃为L_GAN的权重系数；

本实施例中，步骤五中λ₁的取值范围为100～200；λ₂的取值范围为10～20；λ₃的取值范围为1～2。

步骤六、更新权重参数集合：将图像损失目标函数L送入Adam优化器，对步骤三中的条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ和步骤四中的判别器D的编码网络f_d(·)_θ'的权重参数集合θ'进行更新；

需要说明的是，将图像损失目标函数L送入Adam优化器，Adam优化器自动进行优化运算，反传梯度，实现步骤三中的条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ和步骤四中的判别器D的编码网络f_d(·)_θ'的权重参数集合θ'的更新，能够有效结合传统先验知识方法与基于深度学习的方法的优势，具有噪声干扰小、去雾图像逼真度高、处理速度快的优势。

步骤七、调取新的单张随机有雾图像，循环步骤二至步骤六，直至此时，得到条件生成对抗网络生成器G的编码网络f_g(·)_θ的权重参数集合θ的训练结果为θ，条件生成对抗网络生成器G的编码网络f_g(·)_θ的训练结果为f_g(·)_θ，其中，Δ₁为第一真伪阈值，Δ₂为第二真伪阈值；

本实施例中，步骤七中第一真伪阈值Δ₁和第二真伪阈值Δ₂的取值范围均为0～0.1。

需要说明的是，先验知识引导条件生成对抗网络的单张图像去雾框架，可以有效融合多种传统去雾方法，而不需要显示建模多张图像之间权重系统，利用公开的标准数据集训练实验结果，方法适应性强，图像处理精度高，去雾效果好。

步骤八、单张实际有雾图像去雾：利用训练好的条件生成对抗网络生成器G的编码网络f_g(·)_θ对单张实际有雾图像去雾，得到单张实际去雾图像J_G，即其中，I_h为单张实际有雾图像，为单张实际有雾图像的初步去雾图像且

本发明使用时，如图2至图7所示，利用训练好的条件生成对抗网络生成器G的编码网络f_g(·)_θ分别对三个场景中的单张实际有雾图像去雾，即图2、图4和图6，分别得到三个场景对应的单张实际去雾图像，即图3、图5和图7，利用了先验知识来指导编码网络进行无雾结果生成，利用了先验知识得到的部分有用信息，同时又利用了深度神经网络的特征建模能力弥补了先验知识的不足，不需要在深度神经网络中显示建立大气散射模型，而是将其视为图像的条件生成，去雾效果好。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。