基于天空区域划分加权TV透射率优化的图像雾霾去除方法

摘要

本发明公开了一种基于天空区域划分加权TV透射率优化的图像雾霾去除方法，对于输入的雾霾图像，首先对大气光进行估计，选取雾霾图像中前L行作为图像雾浓度最高的区域，在该区域内采用加权法求取大气光；利用边界约束得到透射率粗估计，然后基于加权TV对粗估透射率进行优化；最后对天空区域进行检测与分割，并对天空区域透射率进一步优化，得到最终的雾霾图像的透射率；进而采用大气散射模型的相关变形公式获得清晰的无雾霾图像。利用本发明图像雾霾去除方法获得的图像，不仅可取得更好的视觉效果，且天空区域色彩等更加自然。

说明书

技术领域

本发明涉及一种计算机图像处理方法，尤其涉及一种图像去雾方法。

背景技术

雾霾的存在不仅对人体健康造成危害，而且严重影响视觉系统的成像质量，造成 图像对比度降低、动态范围压缩、细节模糊等，直接限制和影响了目标识别与跟踪、视觉监 督、军事侦查、遥感成像等系统发挥效用。

现有的雾霾去除算法主要有基于图像增强的方法和基于物理模型的方法。其中基 于图像增强的方法不考虑雾霾图像的形成机理，以增强图像对比度，凸显图像细节特征为 目标。该类方法去雾后的图像容易出现信息丢失和色彩失真等现象，且由于未考虑雾霾图 像形成的物理过程，无法从根本上实现去雾。基于物理模型的方法根据大气散射理论，建立 雾霾图像退化数学模型，利用反演过程获得接近真实的清晰图像。雾天图像成像模型可表 示为：

I(x)＝J(x)t(x)+(1-t(x))A(1)

式(1)中，I(x)为有雾图像，J(x)为清晰图像，t(x)为透射率，A为背景光强度。

图像去雾的目的是从已知图像I(x)中恢复J(x)。通过求取透射率t和大气光值A， 结合I(x)，根据(1)式便可求取无雾图像J。

现有的透射率估计方法主要有根据硬件设备获取的方法、基于不同偏振角度的多 幅图像的方法、基于暗通道先验的方法等。这些方法都假设t(x)＝e^-βd(x)，且假设大气均匀， β恒定，取得了良好的去雾效果。但是，当图像中包含大面积天空区域时，由于以上方法对天 空区域透射率估计出现较大偏差，复原图像的天空区域出现严重的色彩失真。

发明内容

由于场景的不同，大气的介质分布也会有差别，因此针对大气介质不均匀的情况， 本发明提出一种基于天空区域划分的图像去雾新方法。首先利用边界约束对透射率进行粗 估计，然后提出基于加权TV的透射率优化算法，最后对图像天空区域进行检测和分割，改善 天空区域透射率估计。同时利用加权法估计大气光，最后得到清晰无雾图像。利用本发明图 像雾霾去除方法获得的图像，不仅可取得更好的视觉效果，且天空区域色彩等更加自然。

为了解决上述技术问题，本发明提出的一种基于天空区域划分加权TV透射率优化 的图像雾霾去除方法，其特征在于，该方法是：对于输入的雾霾图像I(x)，首先对大气光A进 行估计，选取雾霾图像I(x)中前L行作为图像雾浓度最高的区域，在该区域内采用加权法求 取大气光A；利用边界约束得到透射率t(x)粗估计，然后基于加权TV对粗估透射率t(x)进行 优化；最后对天空区域进行检测与分割，并对天空区域透射率进一步优化，得到最终的雾霾 图像I(x)的透射率考虑到使恢复出的图像视觉效果更加自然，最后采用加入参数后 的大气散射模型获得清晰的无雾霾图像J(x)。

本发明图像雾霾去除方法的具体步骤如下：

步骤一、输入雾霾图像I(x)，大小为M×N，选取雾霾图像I(x)中前L行，其中作为一幅图像m_A；

步骤二、求取图像m_A的暗原色图像m_A^dark和均值M(n)，同时，由图像m_A中像素值 大于M(n)的像素组成亮区域，像素值低于M(n)的像素组成暗区域；计算亮区域的像素点数 Nbright、暗区域的像素点数Ndark、亮区域中暗原色最大值m1和暗区域中暗原色最大值m2， 然后求得大气光值A：

$A=\frac{Nbright}{M\times L}\times m\_A\left(m1\right)+\frac{Ndark}{M\times L}\times m\_A\left(m2\right)$

步骤三、设无雾霾图像J(x)的场景辐照度的上边界值为C₁，下边界值为C₂，求出雾 霾图像I(x)的透射率的界限t_b和透射率的粗估计

$t_b\left(x\right)=min\{\underset{c\in \{r,g,b\}}{max}(\frac{A^c-I^c\left(x\right)}{A^c-C_1^c},\frac{A^c-I^c\left(x\right)}{A^c-C_2^c}),1\}$

$\hat{t}\left(x\right)=\underset{y\in \Omega \left(x\right)}{\min }\underset{z\in \Omega \left(x\right)}{\max }{t}_b\left(z\right)$

其中，I^c(x),A^c,和分别表示I(x),A,C₁和C₂的某一颜色通道值，Ω(x)是以像 素点x为中心的图像块，Ω(y)是以图像块y为中心的图像域；

步骤四、利用加权TV模型优化透射率得到雾霾图像I(x)的精确透射率t；

$\frac{\lambda }{2}\left|\right|t-\hat{t}|{|}_2^2+\underset{j\in \omega }{\Sigma }|\left|W_{j}o(D_j\otimes t)\right|{|}_1$

其中，ο表示逐元素相乘操作，表示卷积操作，D_j表示一阶微分算子，W_j表示权重 矩阵；第一项为利用边界约束得到透射率粗估计的数据保真项，第二项为透射率估计的约 束项，λ表示第一项和第二项的平衡化参数；

步骤五、为了确定雾霾图像I(x)是否包含天空区域，求取雾霾图像I(x)对应的灰 度图像I_gray(x)，以及灰度图像I_gray(x)的梯度图D(x)；假设亮度差阈值为R₀和梯度阈值为 D₀；若|A-255|≤R₀且D_x<D₀，则认为雾霾图像I(x)包含天空区域，进行下一步，否则认为该雾 霾图像I(x)为近距离场景图，不包含天空区域，大气光均匀分布，则最终的雾霾图像I(x)的 透射率直接跳到步骤七；

步骤六、对天空区域透射率进行如下优化，得到天空区域精确透射率t'(x)：

$t^{\prime }\left(x\right)=min\left(max\right(\frac{M}{|I\left(x\right)-A|},1)·t(x),1)$

步骤七：将步骤四中求得的精确透射率t(x)中的天空区域替换为t'(x)，得到最终 的雾霾图像I(x)的透射率从而获得清晰的无雾霾图像J(x)，

$J\left(x\right)=\frac{I\left(x\right)-A}{{\left[\max \left(\tilde{t}\right(x),ϵ)\right]}^{\delta }}+A$

其中，ε表示一个常量，通常取0.1，δ表示另外一个常量，用于对复原效果进行微调 整，δ取0.98。

与现有技术相比，本发明的有益效果是：

本发明提出的针对天空区域透射率优化的去雾算法不仅利用本发明图像雾霾去 除方法获得的图像，不仅可取得更好的视觉效果，且天空区域色彩等更加自然。

附图说明

图1本发明图像雾霾去除方法的流程图；

图2(a)-图2(d)为基于边界约束的透射率估计；其中，图2(a)原始雾霾图像；图2 (b)原始雾霾图像对应的边界约束图；图2(c)原始雾霾图像对应的基于边界约束的透射率 估计图；图2(d)原始雾霾图像对应的基于边界约束的去雾效果图；

图3(a)为一原始雾霾图像；

图3(b)是利用本发明方法对图3(a)所示原始雾霾图像的处理效果图；

图4(a)为另一原始雾霾图像；

图4(b)是利用He方法对图4(a)所示原始雾霾图像的处理效果图；

图4(c)是利用Tarel方法对图4(a)所示原始雾霾图像的处理效果图；

图4(d)是利用本发明方法对图4(a)所示原始雾霾图像的处理效果图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体 实施例仅对本发明进行解释说明，并不用以限制本发明。

现有的雾霾去除算法主要有传统的图像增强的方法和基于物理模型的图像复原 的方法。其中基于物理模型的图像复原的方法是根据大气散射理论，建立雾霾图像退化数 学模型，利用反演过程获得接近真实的清晰图像。雾天图像成像模型可表示为：

I(x)＝J(x)t(x)+(1-t(x))A(1)

式(1)中，I(x)为有雾图像，J(x)为清晰图像，t(x)为透射率，A为背景光强度。

图像去雾的目的是从已知图像I(x)中恢复J(x)。通过求取透射率t和大气光A，结 合I(x)，根据(1)式便可求取无雾图像J。根据上述经典雾天图像成像模型式(1)，若透射率t 及大气光A已知，则得到去雾后的图像J可以用式(2)表达。

$J\left(x\right)=\frac{I\left(x\right)-A}{t\left(x\right)}+A---\left(2\right)$

本发明图像雾霾去除方法的设计思路是：基于天空区域划分加权TV透射率优化的 图像雾霾去除方法，该方法是：对于输入的雾霾图像I(x),如图2(a)所示，首先对大气光A进 行估计，选取雾霾图像I(x)中前L行作为图像雾浓度最高的区域，在该区域内采用加权法求 取大气光A；利用边界约束得到透射率t(x)粗估计，如图2(b)所示，然后基于加权TV对粗估 透射率t(x)进行优化；最后对天空区域进行检测与分割，并对天空区域透射率进一步优化， 得到最终的雾霾图像I(x)的透射率如图2(c)所示；考虑到使恢复出的图像视觉效果 更加自然，进而采用如式(3)所示的大气散射模型的相关变形公式(即在式(2)所示的大气 散射模型加入参数后的大气散射模型)获得清晰的无雾霾图像J(x)，如图2(d)。

$J\left(x\right)=\frac{I\left(x\right)-A}{{[\max \left(\tilde{t}\right(x),ϵ)]}^{\delta }}+A---\left(3\right)$

式(3)中，ε表示一个常量，通常取0.1，δ表示另外一个常量，用于对复原效果进行 微调整，δ取0.98。

如图1所示，本发明基于天空区域划分加权TV透射率优化的图像雾霾去除方法的 具体步骤如下：

步骤一、输入雾霾图像I(x)，大小为M×N，选取雾霾图像I(x)中前L行，其中作为一幅图像m_A；

步骤二、求取图像m_A的暗原色图像m_A^dark和均值M(n)，同时将图像m_A中像素值 大于M(n)的像素划分为亮区域，像素值低于M(n)的像素划分为暗区域，计算亮区域的像素 点数Nbright、暗区域的像素点数Ndark、亮区域中暗原色最大值m1和暗区域中暗原色最大 值m2，然后根据式(4)求得大气光A：

$A=\frac{Nbright}{M\times L}\times m\_A\left(m1\right)+\frac{Ndark}{M\times L}\times m\_A\left(m2\right)---\left(4\right)$

步骤三、设无雾图像J(x)的场景辐照度的上边界值为C₁，下边界值为C₂，利用公式 (5)求出雾霾图像I(x)的透射率的界限t_b，然后得到透射率的粗估计

$t_b\left(x\right)=min\{\underset{c\in \{r,g,b\}}{max}(\frac{A^c-I^c\left(x\right)}{A^c-C_1^c},\frac{A^c-I^c\left(x\right)}{A^c-C_2^c}),1\}---\left(5\right)$

$\hat{t}\left(x\right)=\underset{y\in \Omega \left(x\right)}{min}\underset{z\in \Omega \left(y\right)}{\max }{t}_b\left(z\right)---\left(6\right)$

其中，I^c(x),A^c,和分别表示I(x),A,C₁和C₂的某一颜色通道值，Ω(x)是以像 素点x为中心的图像块，Ω(y)是以图像块y为中心的图像域；

步骤四、利用加权TV模型优化透射率得到雾霾图像I(x)的精确透射率t；

$\frac{\lambda }{2}\left|\right|t-\hat{t}|{|}_2^2+\underset{j\in \omega }{\Sigma }|\left|W_{j}o(D_j\otimes t)\right|{|}_1---\left(7\right)$

其中，ο表示逐元素相乘操作，表示卷积操作，D_j表示一阶微分算子，W_j表示权重 矩阵；第一项为利用边界约束得到透射率粗估计的数据保真项，第二项为透射率估计的约 束项，λ表示第一项和第二项的平衡化参数；

步骤五、为了确定雾霾图像I(x)是否包含天空区域，求取雾霾图像I(x)对应的灰 度图像I_gray(x)，以及灰度图像I_gray(x)的梯度图D(x)；假设亮度差阈值为R₀和梯度阈值为 D₀；若|A-255|≤R₀且D_x<D₀，则认为雾霾图像I(x)包含天空区域，进行下一步，否则认为该雾 霾图像I(x)为近距离场景图，不包含天空区域，大气光均匀分布，则最终的雾霾图像I(x)的 透射率直接跳到步骤七；

步骤六、对天空区域透射率进行如下优化，得到天空区域精确透射率t'(x)：

$t^{\prime }\left(x\right)=min\left(max\right(\frac{M}{|I\left(x\right)-A|},1)·t(x),1)---\left(8\right)$

步骤七：将步骤四中求得的精确透射率t(x)中的天空区域替换为t'(x)，得到最终 的雾霾图像I(x)的透射率利用式(3)求得清晰的无雾霾图像J(x)。

上面结合图1对发明基于天空区域划分加权TV透射率优化的图像雾霾去除方法实 现的流程进行了叙述，下面对其中的主要算法进行解释。

(1)大气光A：本发明中对大气光的估计是提取输入雾霾图像的前1/10行，认为是 雾霾图像中雾浓度最高的区域，并通过四分迭代法更加精确的找出图像中雾霾浓度最高的 区域，其运算结果会更加精确；

(2)在求解加权TV模型(式7)时，本发明中采用了变量分裂法。首先引入辅助变量 u_j，式(7)变形为式(9)：

$\frac{\lambda }{2}\left|\right|t-\hat{t}|{|}_2^2+\underset{j\in \omega }{\Sigma }|\left|W_j{\mathrm{ou}}_j\right|{|}_1+\frac{\beta }{2}\left(\underset{j\in \omega }{\Sigma }\right||u_j-D_j\otimes t|{|}_2^2)---\left(9\right)$

其中，β表示一个权重值，当β→∞时，式(9)的解收敛于式(7)；ο表示逐元素相乘操 作，表示卷积操作，D_j表示一阶微分算子，W_j表示权重矩阵。第一项为利用边界约束得到透 射率粗估计的数据保真项，第二项为透射率估计的约束项，λ表示两项的平衡化参数。然后 采用交替优化方法求解式(9)。首先固定t，最小化式(10)得到u_j的最优解u_j^*。

$\underset{j\in \omega }{\Sigma }\left|\right|W_j{\mathrm{ou}}_j|{|}_1+\frac{\beta }{2}\left(\underset{j\in \omega }{\Sigma }\right||u_j-D_j\otimes t|{|}_2^2)---\left(10\right)$

${u_j}^{*}=max\left(\right|D_j\otimes t|-\frac{W_j}{\beta },0)·sign(D_j\otimes t)---\left(11\right)$

其中，sign(·)表示符号函数。

固定u_j，通过最小化下式得到t的最优解：

$\frac{\lambda }{2}\left|\right|t-\hat{t}|{|}_2^2+\frac{\beta }{2}\left(\underset{j\in \omega }{\Sigma }\right||u_j-D_j\otimes t|{|}_2^2)---\left(12\right)$

上式是关于t的二次函数，t的最优值满足：

$\frac{\lambda }{\beta }(t-\hat{t})+{\mathrm{\Sigma D}}_j^T\otimes (D_j\otimes t-u_j)=0---\left(13\right)$

表示D_j的镜像矩阵。对上式进行二维FFT变换，得到t的最优解t^*：

$t^{*}=F^{-1}\left(\frac{\frac{\lambda }{\beta }F\left(\hat{t}\right)+\underset{j\in \omega }{\Sigma }\overline{F\left(D_j\right)}oF\left(u_j\right)}{\frac{\lambda }{\beta }+\underset{j\in \omega }{\Sigma }\overline{F\left(D_j\right)}oF\left(D_j\right)}\right)---\left(14\right)$

其中，F(·)表示傅里叶变换，F^-1(·)表示反傅里叶变换，表示共轭复数，表示逐 元素相乘。

(3)在判断出雾霾图像中包含天空区域时，通过下述过程找出天空区域：

假设θ＝0.5×mean(D(x))，利用下式得到二值函数B₁(x)：

$B_1\left(x\right)=\left(\begin{array}{c}0,D\left(x\right)<\theta \\ 1,otherwise\end{array}\right)---\left(15\right)$

用边长r＝3的正方形模板对B₁(x)进行腐蚀得到二值函数B₂(x)，标注其连通区域， 寻找平均灰度值大于阈值T的连通区域(其中T＝mean(I(x))，然后选择面积最大的区域作 为天空区域。

(4)算法效果的评价：

基于天空区域分割划分加权TV透射率优化的图像雾霾去除方法不仅对包含天空 区域的图像具有良好的复原效果，如图3(a)和图3(b)，对于不包含天空区域的雾霾图像，如 图4(a)，也同样能够获得满意的视觉效果，图4(b)和图4(c)示出的现阶段的两种方法去雾 霾效果图，He等人方法(HEKai-ming,SUNJian,TANGXiao-ou.Singleimagehaze removalusingdarkchannelprior[A].ProceedingsofIEEEConferenceon ComputerVisionandPatternRecongnition[C].Miami,2009,1956-1963.)和Tarel等人 方法(Jcan-PhilippeTarel.Fastvisibilityrestorationfromasinglecoloror graylevelimage[A].ProceedingsofIEEEConferenceonInternational ConferenceonComputerVision[C].Kyoto,Japan,2009,10:20-28.)得到的去雾霾图像 中，叶子周围的含有少量雾霾，而本发明方法有效去除了叶子周围的雾霾，并且色彩复原效 果更佳，如图4(d)。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施 方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本 发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的 保护之内。