一种用于复杂光照条件下有雾图像的通用增强框架

摘要

本发明公开了一种用于复杂光照条件下有雾图像的通用增强框架，包括，构建分解模型，将输入图像分解为基础层和细节层；在基础层中进行掩模1估计，得到输入图像的照度分布；提升基础层亮度，采用伽马校正策略，得到自适应的伽马因子，根据伽马因子调整基础层的照度，得到亮度提升后的基础层；对细节层进行掩模2估计，得到精细化后的细节掩模估计；在原图中进行透射图估计；设计对比度增强因子；根据对比度增强因子得到增强后的细节层；将亮度提升后的基础层、对比度提高后的细节层进行重构，得到恢复后的图像。本发明的方法具有较高的普适性和很好的鲁棒性，可以适用于具有各种照明分布的弱光场景，并显着提高水下图像的可视性。

说明书

技术领域

本发明涉及图像领域，尤其涉及用于复杂光照条件下有雾图像的通用增强框架。

背景技术

已经提出了许多去雾方法以从单个图像改善模糊场景的可见性。大多数开创性作品通过推断图像退化模型来解决这个问题，这是一个不适当的问题。需要强大的先验知识或假设来估计参数，尤其是透射率和大气光。通常，白天朦胧图像中的大气光被认为是背景中最亮的区域。但是由于夜间条件下照明不均匀，多个光源严重影响了大气光的估计精度。结果，尽管基于暗通道先验(DCP)[1]及其变体[2]–[4]的方法均取得了显著成功，这些仅在白天除雾时才充分证明了它们的有效性，而在夜间朦胧的场景中却远远不能令人满意。

为了解决这一具有挑战性的问题，一些研究人员已经关注解决夜间除雾问题。Pei和Lee[5]在基于暗通道先验(DCP)进行除雾之前，首先应用了一种色彩转移功能来减少夜间朦胧图像的偏色。但是由于原始颜色分布的变化，则会产生伪影的效果。类似地，Zhang[6]执行颜色校正并在基于DCP的除雾之前估算不均匀的入射照度。但是，光补偿将影响后续色彩校正的效果。假设局部最大强度主要由环境照明贡献，Zhang[7]提出了特定于夜间的最大反射率先验(MRP)。Li[8]通过将照明不均匀的夜间模糊图像建模为低光照背景和发光效果的线性叠加，提出了一种层分离策略来去除光源的光晕。最后，遵循基于DCP的除雾操作，以进一步提高可见性。如所观察到的，通过这些方法恢复的背景往往太暗。不幸的是，以上所有方法仅限于处理夜间条件。为了更准确地估计大气光并适用于白天和夜间的除雾，Ancuti[9]引入了一种有效的基于融合的技术，该技术使用了局部大气光估计。但是手动选择补丁的大小效率不高，并且当照明条件非常差时，该技术无法很好的工作。Zhu[10]引入了一种颜色衰减先验(CAP)，通过对大量有雾图像进行分析发现雾的浓度随景深的变化而变化，且雾浓度越高，景深越大，图像的亮度和饱和度相差就越大。

参考文献：

[1]K.He,J.Sun,and X.Tang,“Single image haze removal using darkchannel prior,”IEEE transactions on pattern analysis and machineintelligence,vol.33,no.12,pp.2341–2353,2010.

[2]H.Xu,J.Guo,Q.Liu,and L.Ye,“Fast image dehazing using improved darkchannel prior,”in 2012IEEE International Conference on Information Scienceand Technology.IEEE,2012,pp.663–667.

[3]J.-B.Wang,N.He,L.-L.Zhang,and K.Lu,“Single image dehazing with aphysical model and dark channel prior,”Neurocomputing,vol.149,pp.718–728,2015.

[4]Q.Wu,J.Zhang,W.Ren,W.Zuo,and X.Cao,“Accurate transmissionestimation for removing haze and noise from a single image,”IEEE Transactionson Image Processing,vol.29,pp.2583–2597,2019.

[5]S.C.Pei and T.Y.Lee,“Nighttime haze removal using color transferpre-processing and dark channel prior,”in Image Processing(ICIP),19th IEEEInternational Conference on,2012,pp.957–960.

[6]J.Zhang,Y.Cao,and Z.Wang,“Nighttime haze removal based on a newimaging model,”in IEEE International Conference on Image Processing(ICIP),2014,pp.4557–4561.

[7]J.Zhang,Y.Cao,S.Fang,Y.Kang,and C.W.Chen,“Fast haze removal fornighttime image using maximum reflectance prior,”in IEEE Conference onComputer Vision&Pattern Recognition(CVPR),2017,pp.7418–7426.

[8]Y.Li,R.T.Tan,and M.S.Brown,“Nighttime haze removal with glow andmultiple light colors,”in IEEE International Conference on Computer Vision(ICCV),2015,pp.226–234.

[9]C.Ancuti,C.O.Ancuti,C.D.Vleeschouwer,and A.C.Bovik,“Day and night-time dehazing by local airlight estimation,”IEEE Transactions on ImageProcessing,vol.29,no.99,pp.6264–6275,2020.

[10]Q.Zhu,J.Mai,and L.Shao,“A fast single image haze removalalgorithm using color attenuation prior,”IEEE transactions on imageprocessing,vol.24,no.11,pp.3522–3533,2015.

发明内容

本发明提供一种用于复杂光照条件下有雾图像的通用增强框架，以克服上述技术问题。

一种用于复杂光照条件下有雾图像的通用增强框架，包括，

步骤一：构建分解模型，用去雾模型来定义输入图像；

步骤二：基础-细节分解，将原始输入图像分解为基础层和细节层；

步骤三：在基础层中进行掩模1估计，对基础层中每个通道的平均值和基础层的平均值进行比较，得到输入图像的照度分布；

步骤四：对基础层进行亮度提升，采用伽马校正策略，得到自适应的伽马因子，根据伽马因子调整基础层的照度，得到亮度提升后的基础层；

步骤五：对细节层进行掩模2估计，得到精细化后的细节掩模估计；

步骤六：在原图中进行透射图估计；

步骤七：对比度增强因子估计，设计对比度增强因子；

步骤八：细节层增强，根据步骤七的对比度增强因子得到增强后的细节层；

步骤九：重构，根据步骤四得到的亮度提升后的基础层、步骤八得到的对比度提高后的细节层，得到恢复后的图像。

优选地，得到亮度提升后的基础层，是指通过公式(1)、(2)、(3)进行较正，

gamma’＝||1-β*gamma|| (2)

其中，α和β均为常量参数.

优选地，设计对比度增强因子是指通过公式(4)进行计算，

其中，

本发明提出的用于复杂光照条件下有雾图像的通用增强框架，具有较高的普适性、鲁棒性和准确性，可以适用于具有各种照明分布的弱光场景，例如非均匀光照图像、纯低照度图像、遥感图像、水下图像等；对图像进行分层，分别得到代表照度分布和有效细节区域的两个掩模，得益于此两个与权重图相似的掩模，所提出的框架可以达到区域自适应照度调整和对比度增强的效果；定性和定量比较均表明，本发明具有出色的鲁棒性，准确性和灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

图2是本发明PSNR评价结果对比图；

图3是本发明SSIM评价结果对比图；

图4是非均匀光照对比结果图；

图5是遥感图像对比结果图；

图6是水下图像对比结果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的流程图，如图1所示，本实施例的方法可以包括：一种用于复杂光照条件下有雾图像的通用增强框架，包括如下步骤：

步骤1：构建分解模型，用去雾模型来定义输入图像；

其中x是像素值，I(x)是输入图像，J(x)是增强后的图像，t(x)是透射图，B是全局背景光，I′

步骤2：基础-细节分解，

将原始输入图像视为基础层和细节层两层的叠加，即公式(1)可以简单的表示为：

其中c∈{red,green,blue}，表示RGB三个颜色通道，I

在此问题中，采用了基于RudinOsher-Fatemi方法的TV图像重建公式，基于TV正则化，通过最小化以下目标函数来获得基础层：

其中，x是像素索引，λ是调节基础层光滑程度的参数，

步骤3：在基础层中进行掩模1估计,

对基础层中每个通道的平均值和基础层的平均值进行比较，即当三通道的平均值大于基础层的平均值时，记为1，否则记为0，即可得到代表输入图像的照度分布M

其中，为了避免伪影，对M

步骤4：对基础层进行亮度提升，

由于步骤3中的M

gamma’＝||1-β*gamma|| (6)

其中，α和β均为常量参数，β是控制亮度提升程度常数，本发明中设置为1.5；而对于I

步骤5：在细节层中进行掩模2估计，

对细节层中的每个8*8色块采用离散余弦变换(DCT)，并将一个8*8块的DCT系数表示为矩阵A，则该块称为场景细节的一部分的可能性表示为：

其中，u，v表示DCT中的位置，取除A

设置阈值为0.1，即当

初始的细节掩模估计表示为M

argmin(m

其中m

步骤6：在原图中进行透射图估计，

利用暗通道估计大气光B，首先在暗通道中选取最亮的0.1％像素，然后选取这些像素中使得图像I(x)中强度最高的像素作为大气光。

首先将I(x)-B转换到空间坐标系，然后根据半径r(到原点的距离，即||I-B||)的值估计出初始透射图

其中υ、ω是加权参数，σ(x)是沿着每个雾线的标准差，N(x)表示像素x的四个近邻，t(x)是精细化后的透射图，t

步骤7：对比度增强因子估计

创建了表示场景细节信息的掩模2之后，本发明尝试在不影响微小细节(包括噪声)放大的同时，极大的增强有效细节。为了实现此目标，本发明引入了tanh函数拉伸M

其中，

步骤8：细节层增强，

根据步骤7得到的对比度增强因子可以得到增强后的细节层如下：

I′

步骤9：重构，

根据步骤4得到的亮度提升后的基础层，步骤8得到的对比度提高后的细节层，可以得到恢复后的图像：

I′＝I′

选择六种非均匀光照条件下的陆地图像，分别用DCP[1],CAP[10],Li et al.[8],Zhang et al.[6],MRP[7]和本发明共六种方法进行对比实验，对比实验结果如图4所示。选择两张遥感图像，分别使用DCP[1],CAP[10],Li et al.[8],Zhang et al.[6],MRP[7]和本发明共六种方法进行对比实验，对比实验结果如图5所示。选择四张水下图像，分别使用DCP[1],CAP[10],Li et al.[8],Zhang et al.[6],MRP[7]和本发明共六种方法进行对比实验，对比实验结果如图6所示。

整体有的有益效果：

(1)提出的增强框架，具有较高的普适性、鲁棒性和准确性，可以使用于具有各种照明分布的弱光场景，例如非均匀光照图像、纯低照度图像、遥感图像、水下图像等；

(2)对图像进行分层，分别得到代表照度分布和有效细节区域的两个掩模，得益于此两个与权重图相似的掩模，所提出的框架可以达到区域自适应照度调整和对比度增强的效果；

(3)定性和定量比较均表明，本发明具有出色的鲁棒性，准确性和灵活性。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。