基于自适应容差的视频图像去雾方法

摘要

本发明涉及一种基于自适应容差的视频图像去雾方法，属于视频图像处理领域。建立单帧图像雾天退化模型，利用暗原色先验估计粗略透射图，利用引导滤波器得到细化后的透射图，判定图像中是否含有大面积明亮区域，求取修正后的透射图，复原无雾图像。本发明不仅适用于像视频监控这样的场景基本不变的视频图像，也可用于场景动态变换的视频图像。本发明可以广泛应用于户外监控、遥感和智能交通等方面。

说明书

技术领域

本发明属于视频图像处理领域。

背景技术

在雾天环境下，由于场景的能见度低，所拍摄的视频图像会出现模糊不清，对比度低，颜色偏移等现象，这极大地影响了户外视频系统的正常工作，因此很有必要对视频图像进行去雾处理，以获得清晰准确的图像。目前，图像去雾已成为计算机视觉领域研究的重要内容，而自动性和实时性是视频图像去雾研究所关注的重点。

去雾方法可以被划分成两大类：图像增强和图像复原。图像增强是通过改变明亮程度和对比度来改善图像的视觉效果，例如，线性映射，直方图均衡化和伽马校正等。该方法在去除随空间变化的雾时，其作用会受限。图像复原通过构建有雾图像的物理模型，并使用辅助的条件或先验来对场景进行复原，该方法可以较好地处理随空间变化的雾，而模型中参数估计是该类方法的关键点。

基于图像复原的去雾已成为目前研究的焦点。最近何恺明等人提出了暗原色先验，并结合雾天成像模型和软抠图，可以得到高质量的无雾图像，也适用于雾很浓的情况，但该去雾方法是基于单一图像，由于处理速度的限制，使之无法直接应用于视频去雾当中，且对含有大面积明亮区域的图像会由于透射率估计不准确造成色彩失真。

目前，去雾算法多关注于单一图像，有关视频去雾的理论却很少。陈功等人提出了一种可用于视频的去雾方法，即借助一张晴天和一张雾天场景的参考图像，计算出场景各点的深度比信息，然后利用深度关系复原有雾视频图像，但该方法不能用于场景动态变换的视频图像。孙抗等人提出先通过暗原色先验来求取单帧图像的透射图，并结合双边滤波器来实现对视频图像去雾，但这种基于暗原色先验的方法并没有考虑对于含有大片明亮区域的视频图像因为透射率估计不准确而造成的色彩失真。

发明内容

本发明提出了一种基于自适应容差的视频图像去雾方法，以解决对含有大面积明亮区域的视频图像进行去雾时引起的色彩失真问题。该方法先根据暗原色先验求取每一帧的透射图，再通过引导滤波器对其进行快速细化，如果图像中含有不满足暗原色先验的大面积明亮区域，则采用自适应容差对该部分透射图进行修正，从而避免了复原过程中因为透射率估计不准确造成的色彩失真，且本发明不仅适用于像视频监控这样的场景基本不变的视频图像，也可用于场景动态变换的视频图像。

本发明采取的技术方案包括以下步骤：

1、  从原始有雾视频中读取单帧图像                                                ；

2、  建立单帧图像雾天退化模型；

这里采用大气散射模型来描述雾天图像的退化过程：

                                (1)

其中代表图像中的像素，是所观测的有雾图像，是场景辐射，它也是我们所要复原的无雾图像。是整个大气光，是描述没有被散射的那部分光线的介质透射率，该透射率的每个像素有一个标量值（0～1），该值直接代表场景物体的深度信息。去雾的目的是要从复原、、。

3、利用暗原色先验估计粗略透射图；

暗原色先验是指绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。基于这一先验，对每个颜色通道取最小值操作，即可得到

，，其中、、分别代表红、绿、蓝三个颜色通道    (2)

是为了保留一部分覆盖遥远景物的雾而引入的一个系数，且。                                      

4、利用引导滤波器得到细化后的透射图；

对于单帧图像，将有雾图像作为引导图像，则细化后的透射图是的一个线性变换。假设在以像素为中心的窗中，是该窗内的像素点，则其对应的细化了的透射图是有雾图像（引导图像）的一个线性变换，

,                                  (3)

其中                   (4)

                                            (5)

这里变量是避免太大的一个调节参数，是中的的系数矩阵，是一个单位矩阵，是窗中的输入的平均值，并且是窗中的平均向量。通过把等式（4）、（5）带入等式（3），我们可得到每个窗对应的，当每一帧图像中所有的局部区域的都得到了，即得到了每一帧细化了的透射图。

5、判定图像中是否含有大面积明亮区域，如果不含有，直接进行步骤7，如果含有，则需要先确定自适应容差，用于步骤6中对透射图的修正；

自适应容差的确定方法：对含有大面积明亮区域的单帧图像进行去雾时，在对透射图进行细化之后，只需快速搜索出该透射图直方图拟合出的曲线的左边第1个极大值点，并将其横坐标作为容差。

6、  求取修正后的透射图；

将步骤5得到的作为容差代入（6）式，可实现对明亮区域的透射图进行修正，即根据在、、三个颜色通道上的差值得到的三幅修正后的透射图，分别用于对I的三个颜色通道进行复原。

,             （6）

7、  复原无雾图像；

在单帧图像的去雾过程中，若图像中不含有大面积明亮区域，则其复原公式为：

,                      (7)

当图像中含有大面积明亮区域时，需要考虑对该区域的特殊处理，则复原公式变为：

,                   (8)

就是我们复原得到的无雾图像。其中是为了使结果免于噪声而设定的下边界，可设定。

本发明具有下述有益效果：

（1）本发明是针对有雾视频图像的快速去雾方法。

（2）当视频图像中含有大面积明亮区域时，通过引入自适容差，对视频图像中大片明亮区域对应的透射图进行修正，有效避免了复原过程中的色彩失真，使得处理结果更为自然。

（3）本发明不仅适用于像视频监控这样的场景基本不变的视频图像，也可用于场景动态变换的视频图像。

（4）本发明可以广泛应用于户外监控、遥感和智能交通等方面。

附图说明

图1为本发明实施例中使用原有雾图像；

图2为实施例中有雾图像的粗略透射图；

图3为实施例中经过引导滤波器细化后的透射图；

图4为实施例中细化后的透射图的直方图；

图5为实施例中由透射图的直方图拟合出的曲线及搜索出的左侧第一个极大值点，其中=48；

图6（a）为实施例1中修正后的透射图，具体为修正后的用于复原颜色通道的透射图；

图6（b）为实施例1中修正后的透射图，具体为修正后的用于复原颜色通道的透射图；

图6（c）为实施例1中修正后的透射图，具体为修正后的用于复原颜色通道的透射图；

图7为实施例中去雾后的图像；

图8不对大片明亮区域的透射图进行修正时的去雾后的图像。

具体实施方式

 实施例1

实施步骤如下：

1、从原始有雾视频中读取单帧图像，如图1所示，该图像的分辨率为320×240,且含有大面积明亮区域；

2、建立单帧图像雾天退化模型；

有雾图像的形成由两部分组成。第一部分是直接衰减项，通过散射介质的场景光线会被吸收或是散射到其它方向。这种衰减依赖于介质和场景的深度。第二部分是大气光，由从其它方向散射来的光线构成。这里采用大气散射模型来描述雾天图像的退化过程：

                                      (1)

这里代表图像中的像素，是所观测的有雾图像，是场景辐射，它也是我们所要复原的无雾图像。是整个大气光，是描述没有被散射的那部分光线的介质透射率，该透射率的每个像素有一个标量值（0～1），该值直接代表场景物体的深度信息。去雾的目的是要从复原、、。

3、利用暗原色先验估计粗略透射图；

暗原色先验是指绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。基于这一先验，对每个颜色通道取最小值操作，即

  ，，其中、、分别代表红、绿、蓝三个颜色通道。

是以为中心的局部区域，是该局部区域内的像素。再由，求取暗原色，从而进一步得到粗略的透射图

                                 (2)

这里对于大气光的估计，通过选取暗原色中亮度最大的0.1%的像素，然后取这些像素对应在原图中的最大强度值作为的值。注意不一定是整幅图像里最亮的点。是为了保留一部分覆盖遥远景物的雾而引入的一个系数，在本实施例中取0.95。所得到的粗略透射图如图2所示。

4、利用引导滤波器得到细化后的透射图；

如果将步骤3得到的粗略透射图直接用于单帧图像的去雾，会在图像中深度不连续的地方产生明显的晕影，本发明采用引导滤波器实现对透射图的快速细化。引导滤波器的输出在局部是引导图像的线性变换。该滤波器具有像双边滤波器那样能够在保留边缘的同时进行平滑处理的特性，但并不会造成梯度反向伪影。且时间复杂度与窗的半径是相互独立。对于单帧图像，假设在以像素为中心的窗中，是该窗内的像素点，则其对应的细化了的透射图是有雾图像（引导图像）的一个线性变换，即

,                                       (3)

这里和是线性系数，在中假设它们是恒定的，是该局部区域内的像素。为了使输出和输入之间的差异尽可能小，我们让下列的以为中心的局部窗的代价函数最小。

                                        

变量是避免太大的一个调节参数。根据线性回归求得

                      (4)

                                               (5)

这里是中的的系数矩阵，是一个单位矩阵，是窗中的输入的平均值，并且是窗中的平均向量。通过把等式（4）、（5）带入等式（3），我们可得到每个窗对应的，当每一帧图像中所有的局部区域的都得到了，即得到了每一帧细化了的透射图。由图2细化后的透射图如图3所示。

5、因为图像中含有大面积的明亮区域，需要先确定自适应容差，用于步骤6中对透射图的修正；

（1）自适应容差修正大面积明亮区域的基本原理

当图像中含有大面积的明亮区域，对该区域对应的透射图会估计不准确，需要对这些区域的透射图进行修正，本发明引入了一个参数——自适应容差。即根据有雾图像与大气光的相似程度来修正由引导滤波器细化后的透射图。对于小于或等于该容差的区域（认为是明亮区域）重新计算透射率，大于容差的区域（认为是满足暗原色先验的区域）保持透射率不变。该容差可以根据单帧图像的透射图的直方图来自适应的确定，从而满足了视频处理的自动性要求，避免了视频中的大面积明亮区域在复原过程中的色彩失真。

根据暗原色先验可知，大面积的明亮区域对应于透射图中灰度值很低的像素，并受景深等影响，这些区域的透射率并不是恒定不变的，而是在一定的范围内变化的，通过观测和曲线拟合，发现这些区域的透射图的直方图近似服从正态分布，且正态分布的顶点位于左侧的第一个极大值点附近，这里设该极大值点为，因此可以借助该极值点将这些大面积明亮区域在透射图中对应的区域划分出来，又因为透射图是基于有雾图像每个颜色通道上的强度得到的，所以大面积明亮区域中的像素与大气光的相似程度可用透射图中相应的相对于0的灰度差值来衡量（在透射图中趋近于0）。

（2）确定自适应容差的具体方法

在对透射图进行细化之后，只需快速搜索出透射图直方图中左边第1个极大值点，并将其横坐标作为容差。在该实施例中细化后的透射图的直方图如图4所示，由其拟合出的曲线如图5所示，经过搜索，该实施例中的= 48。

6、求取修正后的透射图；

将步骤5得到的= 48代入（6）式，可实现对明亮区域的透射图进行修正，即根据在、、三个颜色通道上的差值得到的三幅修正后的透射图，如图6所示。分别用于对的三个颜色通道进行复原。

,         (6)

7、复原无雾图像；

因为该图像中含有大面积明亮区域，因此需要考虑对该区域的特殊处理，则复原公式采用：

,                           (8)

其中是为了使结果免于噪声而设定的下边界，在本实施例中设定，就是我们复原得到的去雾后的图像。本实施例中复原得到的去雾后的图像如图7所示。

如果不采用本发明所提出的自适应容差法对图像中大片的明亮区域的透射图进行修正，得到的去雾结果如图8所示，可以看到在大片明亮区域存在明显的色彩失真和马赛克现象，严重影响了图像的视觉效果。通过对比可以看出，本发明克服了这些色彩失真和马赛克现象。

实施例2

对在单帧图像的去雾过程中，若图像中不含有大面积明亮区域的情况下，

复原无雾图像；则其复原公式为：

,                      (7)

其余实施步骤同实施例1的1~4步骤，

就是我们复原得到的无雾图像。其中是为了使结果免于噪声而设定的下边界，可设定。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明的原理的技术方案均属于本方面的保护范围，对于本领域的技术人员而言，在不脱离本发明的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。