基于暗通道先验与颜色校正的夜间雾霾图像去雾方法

摘要

本发明公开了一种基于暗通道先验与颜色校正的夜间雾霾图像去雾方法，步骤包括：将夜间有雾图像反转得到反转图像；利用暗通道先验算法对反转图像进行去雾，然后再反转得到亮度增强图像；结合利用亮度增强图像经导向滤波得到的参考图像得到弱光晕图像I1；利用弱光晕图像I1的RGB通道对应的均值、方差得到颜色校正图像I2；利用参考图像的反转图像对颜色校正图像I2再次去光晕得到图像I3，进行颜色校正得到图像I4，之后将图像I2和I4融合得到无光晕、无色偏图像，然后利用基于局部邻域的暗通道先验去雾，最后经导向滤波得到输出图像。本发明方法不仅能极大地增加图像亮度、对比度、平均梯度等特性，而且在突出图像细节、减少图像失真方面也表现较优。

说明书

技术领域

本发明涉及一种计算机图像处理方法，尤其涉及一种基于暗通道先验与颜色校正的夜间图像雾霾去除方法。

背景技术

夜间雾霾图像去雾对于夜晚场景中的目标识别、视频监控、遥感监测、智能交通等领域有重要影响。夜间雾霾图像去雾技术一般分为两部分：夜间图像去雾和低照度图像增强。

现有的图像去雾技术多数针对白天场景，如基于深度信息的方法^[1]，基于先验信息的方法^[2]等，去雾效果较好，但对夜晚场景失效。现有低照度图像增强算法主要有直方图均衡化、Retinex算法等^[3]，这些算法对图像的亮度、对比度、饱和度等都有不同程度的提高，极大地提高了图像的视觉性和信息可读性，但增强后的图像信噪比较低。

将低照度图像增强技术与雾霾去除技术相结合的算法较少，效果较好的主要有：基于颜色转换和暗通道先验的算法^[4]，基于新的夜间图像去雾霾模型的算法^[5]。其中前者是利用目标图像(一般为白天雾霾图像)和数据统计对夜间图像进行颜色转换，然后利用暗通道先验算法去雾，最后通过基于局部对比度调整的双边滤波(BFLCC)提高图像质量，得到无雾清晰图像，但这种方法需要目标图像，且对目标图像依赖性较强，因此难以应用于实践。后者是在大气散射模型基础上，提出一种新的夜间图像去雾霾模型。首先利用Retinex算法和Gamma校正得到亮度增强图像，然后利用参考图像(根据Retinex算法求得的反射项得到)进行颜色校正，最后利用基于局部邻域的暗通道先验算法去除雾霾。通过此模型可较大程度去除雾霾，增加图像视觉性，但处理结果存在局部失真、细节模糊等缺陷。

[参考文献]

[1]ShuaiFang,XiushanXia,HuoXing,etal.Imagedehazingusingpolarizationeffectsofobjectsandairlight[J].(C)2014OSA.11August2014|Vol.22,No.16|DOI:10.1364/OE.22.019523|OPTICSEXPRESS19523

[2]Kaiming,He,Jian,Sun,Xiaoou,Tang.Guidedimagefiltering.[J].PatternAnalysis&MachineIntelligenceIEEETransactionson,2013,35(6):1397-1409.

[3]KhanMF,KhanE,AbbasiZA.Segmentdependentdynamicmulti-histogramequalizationforimagecontrastenhancement[J].DigitalSignalProcessing,2013,25(2):198–223.

[4]PeiSC,LeeTY.Nighttimehazeremovalusingcolortransferpre-processingandDarkChannelPrior[C]//ImageProcessing(ICIP),201219thIEEEInternationalConferenceon.IEEE,2012:957-960.

[5]ZhangJ,CaoY,WangZ.Nighttimehazeremovalbasedonanewimagingmodel[C]//ImageProcessing(ICIP),2014IEEEInternationalConferenceon.IEEE,2014:4557-4561.

发明内容

基于以上情况，本发明提出一种快速有效的夜间图像去雾方法，通过图像反转和暗通道先验增强图像，然后利用本发明改进的基于参考图像的去雾模型去除光晕，利用无色偏图像特性校正色偏，之后通过基于局部邻域的暗通道先验去除雾霾，最后利用导向滤波去除噪声，得到细节清晰、无失真、信噪比高的无雾图像。实验结果表明，该方法不仅能极大地增加图像亮度、对比度、平均梯度等特性，而且在挖掘图像细节、减少图像失真方面也表现较优。

为了解决上述技术问题，本发明提出的一种基于暗通道先验与颜色校正对夜间有雾图像进行雾霾去除的方法，包括以下步骤：

步骤1：输入夜间有雾图像I，将该图像I反转得到反转图像I'；

I_i^c'＝255-I_i^c(1)

式(1)中：c∈{r,g,b}；i为图像中像素的位置；

步骤2：求取反转图像I'的透射率t；

$t_i=1-{\omega }_1\underset{c\in \{r,g,b\}}{min}\left(\underset{y\in \Omega \left(i\right)}{min}\right(\frac{I_i^{c^{\prime }}}{A^c}\left)\right)---\left(2\right)$

式(2)中：ω₁为调节因子，ω₁＝0.95；Ω(i)为像素i的局部邻域；A^c为c通道大气光值，是暗原色中亮度最大的前0.1％的像素，以上这些像素对应的输入图像中强度最大的像素点处的值；

步骤3：根据去雾模型对图像I'进行去雾，得到I'对应的无雾图像J；

$J_i^c=\frac{I_i^{c^{\prime }}-A}{max({\omega }_0,t_i)}+A---\left(3\right)$

式(3)中，ω₀为调节因子，ω₀＝0.1

步骤4：对无雾图像J反转得到清晰图像I_lightenhancement：

步骤5：对清晰图像I_lightenhancement导向滤波得到参考图像t_reference；

步骤6：利用式(5)得到弱光晕图像I1；

$I{1}_i^c=I\_{\mathrm{lightenhancement}}_i^c/t\_{\mathrm{reference}}_i^c---\left(5\right)$

步骤7：利用弱光晕图像I1的RGB通道对应的均值和方差以及式(6)和式(7)求得中间变量和并利用式(8)得到颜色校正图像I2；

$s_{max}^c=s_{mean}^c+{\mathrm{\mu s}}_{\mathrm{var}}^c---\left(6\right)$

$s_{min}^c=s_{mean}^c-{\mathrm{\mu s}}_{\mathrm{var}}^c---\left(7\right)$

$I{2}_i^c=\frac{I{1}_i^c-s_{min}^c}{s_{max}^c-s_{min}^c}\times \eta ---\left(8\right)$

式(6)、式(7)和式(8)中：为弱光晕图像I1的c通道均值；为弱光晕图像I1c通道方差；μ为调节参数，μ＝4；参数η＝230；

步骤8：利用参考图像t_reference的反转图像对颜色校正图像I2再次去光晕得到图像I3，再用式(6)、式(7)和式(8)对该图像I3进行颜色校正得到图像I4，最后用式(10)得到无光晕、无色偏的图像I_Nohalo_rightcolor；

$I\_Nohalo\_{\mathrm{rightcolor}}_i^c=max(I{2}_i^c,I{4}_i^c)---\left(10\right)$

步骤9：将图像I_Nohalo_rightcolor分割成10×10大小的图像块，然后利用暗通道先验去雾，最后将图像块融合得到无雾图像I_dehaze；

步骤10：对该无雾图像I_dehaze进行导向滤波，得到输出图像output。

与现有技术相比，本发明的有益效果是：

对于直接利用利用反转图像与白天雾霾图像相似性进行图像增强存在的光晕、色偏、无法去除雾霾、噪声放大等缺陷，本发明利用改进的基于参考图像的算法去除光晕，利用白天无雾清晰图像特征进行颜色校正，利用块暗通道先验去除雾霾，最后利用导向滤波增加图像信噪比，得到亮度、清晰度、锐度等较优，且无光晕、无色偏、无雾霾的清晰图像，极大地增强了图像的视觉性、可读性，为夜晚场景中的视频监控、目标识别等领域起到了关键作用。

附图说明

图1是本发明基于暗通道先验与颜色校正的夜间雾霾图像去雾方法框架；

图2是本发明提出的改进的基于参考图像的光晕去除与颜色校正算法框架；

图3(a)为白天无雾图像；

图3(b)为夜晚雾霾图像；

图3(c)为夜晚雾霾图像对应的无雾清晰图像；

图3(d)为白天无雾图像RGB通道对应的直方图；

图3(e)为夜晚雾霾图像RGB通道对应的直方图；

图3(f)为夜晚雾霾图像对应的无雾清晰图像的RGB通道直方图；

图4(a)为夜间雾霾图像I；

图4(b)为夜间雾霾图像I的反转图像I'；

图4(c)为图像I'去雾后得到的图像J；

图4(d)为夜晚雾霾图像I对应的增强图像I_lightenhancement；

图4(e)为夜间雾霾图像I对应的参考图像t_reference；

图4(f)为夜间雾霾图像I对应的无光晕、无色偏图像I_Nohalo_rightcolor；

图4(g)为夜间雾霾图像I对应的增强、去雾后图像I_dehaze；

图4(h)为夜间雾霾图像I对应的输出图像output；

图5(a)至图5(h)为本发明方法与现有技术中其他方法的效果对比，其中：

图5(a)和图5(e)为原始图像；

图5(b)和图5(f)为原始图像对应的He^[2]的结果；

图5(c)和图5(g)为原始图像对应的Zhang^[5]的结果；

图5(d)和图5(h)为原始图像对应的本发明的结果；

图5(i)和图5(k)分别为图5(c)中左、右白框中图像对应的放大图像；

图5(j)和图5(l)分别为图5(d)中左、右白框中图像对应的放大图像；

图5(m)和图5(o)分别为图5(j)中左、右白框中图像对应的放大图像；

图5(n)和图5(p)分别为图5(h)中左、右白框中图像对应的放大图像。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

现有技术中对夜间有雾图像的处理方法通常是：

基于暗通道先验的图像去雾被普遍认为是当前最有效的图像去雾方法，Dong方法^[14]基于对弱光图像的反转图像进行去雾，实现低照度图像增强。

根据大气散射模型：

I＝Jt+A(1-t)(1)

其中，I为有雾图像，J为清晰图像，t为透射率，A为背景光强度。

根据暗通道先验理论^[2]，雾天图像的透射率为：

$t_i=1-{\omega }_1\underset{c\in \{r,g,b\}}{min}\left(\underset{y\in \Omega \left(i\right)}{min}\right(\frac{I_i^c}{A^c}\left)\right)---\left(2\right)$

进而得到去雾图像：

$J_i^c=\frac{I_i^c-A}{max({\omega }_0,t_i)}+A---\left(3\right)$

对于夜间图像I，先对其进行反转：

$I_i^{c^{\prime }}=255-I_i^c---\left(4\right)$

后将代入去式(3)得到：

$J_i^c=\frac{I_r^{c^{\prime }}-A}{max({\omega }_0,t_i)}+A---\left(5\right)$

对再次反转，得到最后的增强图像。

本发明的设计思路是：如图1所示，首先对夜间有雾图像通过反转和暗通道先验增强图像，然后对增强后图像进行光晕去除和颜色校正，进而通过基于局部邻域的暗通道先验去除雾霾，最后利用导向滤波去除噪声，得到细节清晰、无失真、信噪比高的无雾图像。其中光晕去除和颜色校正部分如图2所示，首先将增强图像经导向滤波得到参考图像，再利用参考图像和增强图像去除光晕，然后利用无雾图像的统计特征对光晕去除后的图像进行颜色校正，之后利用参考图像的反转图像和无雾图像统计特征对颜色校正后图像再次去光晕和校正色偏，最后将第一次光晕去除和颜色校正的结果和第二次光晕去除和颜色校正的结果融合得到无光晕、无色偏图像。

夜间图像的反转图像与白天雾霾图像极为相似，因此利用暗通道先验方法对夜间图像的反转图像进行去雾，然后再反转即可得到增强后的夜间图像，但增强后的图像存在光晕、色偏等缺陷，且并未去除雾霾，因此利用以下后处理即可得到无光晕、无色偏、无雾的清晰图像。

去除光晕：Zhang等^[5]提出的夜间图像去雾模型中，利用Retinex算法得到的反射项(替代反射率)和导向滤波得到的参考图像可有效去除光晕，方法简单，物理有效，但这种方法容易模糊图像细节。本发明在此基础上提出改进的基于参考图像的光晕去除算法。

校正色偏：通过对多幅无雾图像的观察发现，无雾、无色偏清晰图像(图3(a))的RGB通道直方图呈中间居多，两侧偏少的特征，而夜间雾霾图像(图3(b))的RGB通道直方图分布则普遍偏小，如图3(d)和(e)所示。本发明将上述无雾、无色偏清晰图像特征作为一般无色偏、无雾清晰图像直方图的分布特征。基于此，结合图像均值和方差即可纠正色偏^[9]。从图3(c)和(f)可以看出这种假设的正确性。

去除雾霾：由于照射条件差异，夜晚图像去雾算法无法直接利用大气散射模型，但对局部区域，光源近似恒定，大气光值近似唯一，因此利用基于局部邻域的暗通道先验可近似去除雾霾。

去除噪声：由于夜间图像噪声大，信噪比低，经颜色校正、光晕消除、雾霾去除等操作后，噪声得到增强，图像连续性减低。为了减少噪声、增加连续性，本发明选择边界保存较好、无梯度反转效应的导向滤波降低噪声、增加图像连续性。

下面以图4为例详细讲解本发明的方法步骤

1.基于暗通道先验与颜色校正的夜间雾霾图像去雾方法，包括以下步骤：

步骤1：输入夜间有雾图像I，即图4(a)，将该图像I反转得到反转图像I'，即图4(b)；

$I_i^{c^{\prime }}=255-I_i^c---\left(1\right)$

式(1)中：c∈{r,g,b}；i为图像中像素的位置；

步骤2：求取反转图像I'的透射率t；

$t_i=1-{\omega }_1\underset{c\in \{r,g,b\}}{min}\left(\underset{y\in \Omega \left(i\right)}{min}\right(\frac{I_i^{c^{\prime }}}{A^c}\left)\right)---\left(2\right)$

式(2)中：ω₁为调节因子，其目的是避免透射率接近零，试验中ω₁＝0.95；Ω(i)为像素i的局部邻域，A^c为c通道大气光值，求取方法为：选取暗原色中亮度最大的前0.1％的像素对应的输入图像中强度最大的像素点处的值。

步骤3：根据去雾模型对图像I'进行去雾，得到无雾图像J，即图4(c)；

$J_i^c=\frac{I_i^{c^{\prime }}-A}{max({\omega }_0,t_i)}+A---\left(3\right)$

式(3)中：ω₀＝0.1；为c通道中i位置处的灰度值；t_i是图像中在i位置处的透射率，在各向同性介质中β是大气散射系数，d_i为像素i处的景深；β和A在图像中恒定不变；

步骤4：对图像J反转得到清晰图像I_lightenhancement，即图4(d)：

步骤5：对清晰图像I_lightenhancement导向滤波得到参考图像t_reference，图4(e)；

步骤6：利用式(5)得到弱光晕图像I1；

$I{1}_i^c=I\_{\mathrm{lightenhancement}}_i^c/t\_{\mathrm{reference}}_i^c---\left(5\right)$

步骤7：利用弱光晕图像I1的RGB通道对应的均值和方差以及式(6)和式(7)求得中间变量和并利用式(8)得到颜色校正图像I2；

$s_{max}^c=s_{mean}^c+{\mathrm{\mu s}}_{\mathrm{var}}^c---\left(6\right)$

$s_{min}^c=s_{mean}^c-{\mathrm{\mu s}}_{\mathrm{var}}^c---\left(7\right)$

$I{2}_i^c=\frac{I{1}_i^c-s_{min}^c}{s_{max}^c-s_{min}^c}\times \eta ---\left(8\right)$

式(6)、式(7)和式(8)中：为弱光晕图像I1的c通道均值；为弱光晕图像I1c通道方差；μ为调节参数，μ＝4，参数η＝230；

步骤8：利用参考图像t_reference的反转图像对颜色校正图像I2再次去光晕得到图像I3，再用式(6)、式(7)和式(8)对该图像I3进行颜色校正得到图像I4，最后用式(10)得到无光晕、无色偏的图像I_Nohalo_rightcolor，即图4(f)；

$I\_Nohalo\_{\mathrm{rightcolor}}_i^c=max(I{2}_i^c,I{4}_i^c)---\left(10\right)$

步骤9：将图像I_Nohalo_rightcolor分割成10×10大小的图像块，然后利用暗通道先验去雾，最后将图像块融合得到无雾图像I_dehaze，即图4(g)；

步骤10：对该无雾图像I_dehaze进行导向滤波，得到输出图像output，即图4(h)。

为了验证本发明提出的基于暗通道先验与颜色校正的夜间图像雾霾去除的有效性，对算法进行试验，并与相关算法进行对比。

从图5(a)至图5(p)可以看出，暗通道先验算法有一定去雾效果，但去雾后图像与去雾前相差不大，且图像整体亮度降低。Zhang等^[5]提出的夜间图像去雾模型，不仅能对原始图像进行颜色校正，去除雾霾，而且能够较大程度地提高图像的视觉性。本发明除拥有Zhang的方法的优点外，还有以下两个优点：

其一，失真度更小。如图5(i)-(l)所示，本发明中提供的算法极少存在失真，而Zhang的算法失真度较高，这对于基于图像视觉性改善而进行的目标识别、信息采集等有较大影响；

其二，更好地保护、挖掘图像细节。如图5(m)-(p)所示，在灯周围，本方案处理结果能比较清晰的显示出树枝，这些细节信息受光源的影响较小，而Zhang的结果中灯光周围比较模糊，一些细节甚至已经无法分辨，大大影响了图像信息的可读性和可利用性。

为对本发明进行客观评价，选择清晰度、亮度、锐度、平均梯度以及时间复杂度对算法结果进行评价。从表1可知，He的算法^[2]虽然时间复杂度低，但处理后的图像不仅亮度较低，而且在清晰度、锐度、平均梯度等方面也远不如Zhang的方法和本文方法。此外，与本文方法相比，Zhang的结果在以上评价标准中都稍逊一筹。实际应用中为了获得更多的图像信息，提高图像视觉性，增强信息可读性，提高图像的对比度、饱和度、平均梯度和亮度是必须的步骤，因此，本发明中提供的算法更能满足实际应用的需求；

表1

综上所述，本发明能更有效地提高图像视觉性，增强信息可读性，去除雾霾，满足实际应用中对时间复杂度的要求。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。