基于物理模型的低照度图像增强算法

摘要

本发明公开了一种基于物理模型的低照度图像增强算法，主要是针对低照度图像增强算法在提高亮度和对比度、去除噪声及实时性之间很难达到平衡，提出将Retinex算法和暗通道先验理论相结合的改进算法，首先对BM3D算法在效率上进行改进，并将其应用在YCbCr空间，然后在HSI空间粗估计出亮度传播图，完善在低照度条件下的大气物理模型，结合Retinex算法对亮度传播图进行细化；实验表明该算法能够达到对低照度图像亮度和对比度的综合增强，运算速度也得到明显提高。

说明书

技术领域

本发明涉及一种图像增强算法，尤其涉及一种基于物理模型的低照度图像增强算法。

背景技术

在低照度条件下，如阴雨天、夜晚或是在矿井等地，如果没有辅助光，采集图像时，得到的图像质量往往很差。这些图像不但人眼看起来视觉效果不佳，很多关键要素难以看清，而且给机器识别和监控跟踪方面也带来了很大的困难，造成低照度图像的实际应用性大大降低，想要对这些画质不佳的低照度图像加以应用，就必须对低照度图像进行增强和去噪处理，以改善低照度图像的质量。传统图像增强方法没有考虑低照度图像的自身特点，效果并不理想。近几年，专门针对低照度图像增强的算法研究也有了很大的进步，这些方法可以分为以下几类：一类是基于直方图均衡化算法的改进，由于低照度图像在直方图中的信息都集中在亮度比较低的一端，而直方图均衡化算法对灰度级的合并和灰度分布范围的扩充使得这类算法的处理结果往往并不理想；基于Retinex的算法受到最广泛的关注，然而较大的计算量和难以避免的晕轮效应限制了它的应用，甚至对极低照度的图像会出现灰化；多幅图像融合的方法需要同一场景下的高质量图像信息，适用场合有限；此外，还有一类是彩色空间增强的算法，这类算法一般都因对极低照度图像不太实用而受到限制，且计算大很大。

2011年，清华大学学者提出一种基于去雾技术的低照度图像增强算法， 通过对低照度图像反转后应用去雾方法进行增强，这种思想比较新颖，但是在亮点存在或是场景深度不连续的地方会出现光斑，细节处理也不够精细。

发明内容

本发明就是针对上述问题，提出一种基于物理模型的低照度图像增强算法。该算法能够达到对低照度图像亮度和对比度的综合增强，运算速度也得到明显提高。

为达到上述技术目的，本发明采用了一种基于物理模型的低照度图像增强算法，具体算法包含如下：

(1)首先采取对低照度图像的亮度分量进行微调之后的灰度图作为粗估计的亮度传播图，如公式(3)所示：

$\tilde{t}\left(x\right)=C(255-k)L,$

其中，k值为低照度图像中亮度直方图最大的像素值，C为常数；

(2)使用Retinex算法对亮度分量处理，分离出照度分量，使用高斯函数作为中心环绕函数对亮度分量处理，公式如下：

L_m(x，y)＝G(x，y)*L(x，y),

t(x)＝C(255-k)L_m，

其中，G(x,y)为高斯函数，*表示卷积运算；

(3)根据反转去雾的思想，对低照度图像进行增强，首先要对原始图像I进行反转：

R^c(x)＝255-I^c(x)，

其中，c表示RGB颜色通道，R^c(x)是低照度图像的反转，I^c(x)是原始低照度图像；

根据物理模型公式(1)对R^c进行处理，复原图像的公式如下：

$J\left(x\right)=\frac{R\left(x\right)-A}{t\left(x\right)}+A,$

其中t(x)为第2节中估计的亮度传播图，而大气光A的值可以通过暗原色先验来估计；

(4)根据暗原色先验理论，用公式描述，对于任意的图像J，定义如下公式：

$J^{dark}\left(x\right)=\underset{y\in \Omega \left(x\right)}{\min }\left(\underset{c\in \{r,g,b\}}{\min }{J}^c\right(y\left)\right),$

其中，J^dark表示图像在局部区域Ω(x)的暗通道，Ω(x)表示以x为中心的局部区域块，c表示某一颜色通道。根据暗原色先验理论，如果J是户外的无雾图像，J^dark的强度总是很低并且趋近于0，选取暗原色中亮度最大的0.1％的像素，找出这些像素对应的原图像中像素最大的值就得到大气光A的估计值。

本发明提出用亮度传播图来替代雾天物理模型中大气透射率，弥补了原模型中透射率在应用于低照度图像时的理论不足，使低照度图像的增强效果更逼真。最后结合Retinex算法对亮度传播图进行细化，能够进一步的提高了增强后图像的亮度，而且图像细节方面也更加清晰达到更好的增强效果。

附图说明

图1所示的是本发明中BM3D去噪算法流程图；

图2所示的是本发明中HSI和YCbCr分量比较；

图3所示的是本发明中低照度图像增强效果图；

图4所示的是本发明中的算法结果比较(由上至下图像依次为建筑、植物、车辆、室内)；

图5所示的是本发明中的局部细节对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细地说明。

分析低照度图像的噪声，主要包括传输和存储过程产生的脉冲噪声，各种器件和传输通道产生的高斯噪声以及照度非常小的情况下产生的泊松噪声，其中泊松噪声对低照度图像的形象最大。3D去噪是最适用于低照度图像的去噪方法，其中Dabov K，Foi A等^[9]提出的三维块匹配去噪法(BM3D)被认为是目前最好的去噪方法，它是一种基于变换域的增强型稀疏表示的去噪方法，主要思想如下：

首先进行分组，这个过程是把相似结构的二维图像块组合在一起形成三维数组，之后采用协同滤波来得到最优估计。考虑协同滤波得到的估计值可能会重复，对重复估计的估计值应进行加权平均，并对图像块进行整合完成基础估计。最后将基础估计作为输入信号再次进行分组，并与原始信号一起进行维纳滤波，得到最终的结果。BM3D去噪算法流程图如图1所示。

由于BM3D算法由于要对每个参考模块在整幅图像中匹配相似模块，其运算量往往比较大，为了提高运算速度，可以在匹配模块时不对全局进行距离计算，将搜索区域限制在某邻域内，这样就大大提高了运算速度。

低照度图像的亮度暗是它不同于正常图像的最直观的特征，因此，在对低照度图像的处理时，应尽量考虑在亮度和颜色分离的颜色空间进行。常用的颜色和亮度分离的颜色空间有HSI颜色空间和YCbCr颜色空间。图2是低照度图像与正常图像在HSI颜色空间和YCbCr颜色空间的各分量直方图。在HSI空间，低照度图像的H分量和S分量包含的噪声比较多；从各分量直方图来 看，低照度图像的I分量是由于整体比较低使得噪声不明显。因此在HSI空间要对三个分量都进行去噪，但是H和S分量的变化对颜色影响比较大，在去噪过程中会造成颜色严重失真。在YCbCr空间，低照度图像的Cb和Cr分量的噪声比较小，Y分量是由于整体比较低使得噪声不明显，但实际上噪声最强。本文使用YCbCr空间作为图像去噪实验场景，并且只需要对Y分量进行去噪处理就可以抑制大部分的噪声，从而大大提高了处理效率。

亮度传播图的估计

使用经典的Koschmieder大气散射模型作为物理模型，估计大气模型中的参数还原图像，以完成对低照度图像的增强处理。

HSI空间对亮度传播图的粗估计

Koschmieder经典大气散射模型公式如下所示：

I(x)＝J(x)t(x)+A(1-t(x))

t(x)＝e^-βd(x)

其中，A是天空亮度，x是空间位置，I(x)是观测图像的强度也就是有雾图像，J(x)为去雾后的清晰图像，t(x)是大气传输函数，d(x)为场景景深。公式(1)中右边第一项为直接衰减项，是由于场景反射光传播至成像设备过程中大气粒子散射作用而衰减造成的；第二项为大气光成分，由自然光散射造成的。此大气物理模型中的t(x)项在雾天模式下的作用是衡量大气中的杂质对光线的影响因子，而低照度图像质量差的最重要的影响因素是光照条件，此参数应该反映的是景物在光照的影响下能够被观察者看到的能力，这种模式下天气条件对成像的影响就显得微不足道了，使用亮度传播图应用于大气物理模型来完善在低照度条件下的成像模型。

亮度传播图是与一幅图像的亮度分量紧密相关的，因此对于亮度分量的提 取同样应考虑在颜色和亮度分离的颜色空间上进行。HSI颜色空间被认为是提供最精确色调的颜色空间，可以保持颜色恒常性，在此颜色空间对亮度进行处理并不会对颜色发生改变，因此，本发明使用HSI空间的亮度分量做亮度传播图的基础。本文算法中，在对低照度图像的反转图像进行处理时，亮度传播图替代的是透射率在大气物理模型中的位置。为了保证亮度传播图与透射率的功能相似性，我们首先采取对低照度图像的亮度分量进行微调之后的灰度图作为粗估计的亮度传播图，如公式(3)所示：

$\tilde{t}\left(x\right)=C(255-k)L$

其中，k值为低照度图像中亮度直方图最大的像素值，C为常数。

Retinex算法对亮度传播图的再处理

实际应用时发现，直接使用通过对亮度分量的微调得到的灰度图作为亮度传播图对低照度图像进行处理的到的结果并不是很令人满意，其原因主要表现在该亮度传播图的场景轮廓并没有被改变，与原图像几乎一致，用这样的传播函数进行处理时反而容易对细节信息掩盖，因此需要的传播图在边缘轮廓大体上比较清晰即可。另外，直接用亮度分量来评估亮度传播函数也有一定的不合理性，因为我们的亮度传播函数是对景物本身光线的一个反映，而根据Retinex理论，实际的亮度分量是反射分量和照度分量的合成，所以我们需要对亮度传播函数进行细化处理，使用Retinex算法对亮度分量处理，分离出照度分量，使用高斯函数作为中心环绕函数对亮度分量处理，此方法估计出照度分量的同时还能够模糊轮廓，恰好满足了对亮度传播函数的要求。需要注意的是滤波半径的选择，滤波半径选择过小增强后的图像缺乏立体感。

L_m(x,y)＝G(x,y)*L(x,y)

t(x)＝C(255-k)L_m

其中，G(x,y)为高斯函数，*表示卷积运算。

低照度图像恢复

根据反转去雾的思想，对低照度图像进行增强，首先要对原始图像I进行反转：

R^c(x)＝255-I^c(x)

其中，c表示RGB颜色通道，R^c(x)是低照度图像的反转，I^c(x)是原始低照度图像。

根据物理模型公式(1)对R^c进行处理，复原图像的公式如下：

$J\left(x\right)=\frac{R\left(x\right)-A}{t\left(x\right)}+A$

其中t(x)为第2节中估计的亮度传播图，而大气光A的值可以通过暗原色先验来估计。

研究人员对5000幅图像进行观察和统计得到暗原色先验理论，该理论开创了去雾理论的新领域。用公式描述，对于任意的图像J，我们定义如下公式：

$J^{dark}\left(x\right)=\underset{y\in \Omega \left(x\right)}{\min }\left(\underset{c\in \{r,g,b\}}{\min }{J}^c\right(y\left)\right)$

其中，J^dark表示图像在局部区域Ω(x)的暗通道，Ω(x)表示以x为中心的局部区域块，c表示某一颜色通道。根据暗原色先验理论，如果J是户外的无雾图像，J^dark的强度总是很低并且趋近于0，研究人员用约5000幅去掉了天空区域部分的图像验证了该理论的正确性。选取暗原色中亮度最大的0.1％的像素，找出这些像素对应的原图像中像素最大的值就得到大气光A的估计值。

最后还原出的图像J再进行一次反转得到低照度图像的增强图像E。使用本文算法对晚上八点左右拍摄的小区街道图像处理效果如图3所示，经过处理之后的结果图可以很清晰的看到街道上的行人和车。

为了验证本文算法的实际效果，我们用手机在晚上九点拍摄的不同场景下的几组低照度图像，校园网球场边的建筑、道路边的植物、车辆以及室内的桌椅作为原始低照度图像。分别使用Retinex算法、基于去雾技术的增强算法以及本文算法对这四副图像进行处理，增强效果如图4所示。从整体增强效果上可以看出Retinex算法处理低照度图像时灰化情况非常严重，好像有一层灰色的遮盖物覆盖在图像上面，只能表现出景物的大体轮廓；基于去雾技术的增强算法对低照度图像增强后，亮度和对比度上确有提升，但是整体亮度仍然偏暗，并伴有颜色失真；而本文算法很明显的提高了亮度和对比度，将图像中的一些重要信息都显现出来。

对三种算法处理后的图像同一局部区域放大之后再观察细节处理效果，如图5所示，分别是对树枝、窗户、路灯三个细节的处理效果放大。从中我们可以观察到，本发明算法处理后很小的树枝也能够清楚地显现出来，而基于去雾技术的增强算法中树枝的细节被模糊掉了很多信息，说明本发明算法在细节处理方面有着明显的优势。对窗户的边缘轮廓进行观察，我们可以明显看到其他两种算法的轮廓有阴影存在，而本发明的算法则能够很好的还原边缘信息。

另外，在对路灯这种局部高强度的目标处理中，基于去雾技术的增强算法会在路灯的边缘形成暗环，截断了路灯的光线，显得很不自然，Retinex算法则直接模糊了路灯的信息，而本发明算法则能够很好的解决这一问题。

表1列出了三种算法的平均亮度MeanG、图像信息熵Entropy、峰值信噪比PSNR以及运行时间Time，参数定义如下：

$MeanG=\frac{\underset{j=1}{\overset{N}{\Sigma }}\underset{i=1}{\overset{M}{\Sigma }}f(i,j)}{M\times N}$

其中，f(i,j)表示点(i,j)的像素值；M和N分别表示图像的长和宽。图像 的平均亮度描述图像的明暗程度，若平均亮度值小，则图像画面整体偏暗，反之，则图像整体较亮。

$Entropy=-\underset{i=1}{\overset{n}{\Sigma }}{p}_i{\log }_2{p}_i$

其中，p_i代表第i个灰度级出现的概率。熵是反映图像信息量的标准，熵值大小与图像包含的信息量成正比，信息熵越大，图像信息量越多。

$PSNR=10\lg \frac{{255}^2}{MSE}$

$MSE=\frac{1}{M\times N}\underset{i=1}{\overset{M}{\Sigma }}\underset{j=1}{\overset{N}{\Sigma }}{\left(f\right(i,j)-g(i,j\left)\right)}^2$

其中，f(i,j)表示原始图像；g(i,j)表示去噪后的图像；M和N分别表示图像的长和宽。峰值信噪比越大，表示去噪效果越好。

本发明计算运算速度的实验环境为：程序实现采用MATLAB R2013a，主机配置为Inter(R)Core(TM)i5-3470CPU@3.20GHz，4GB内存，Window 7操作系统，图像尺寸2592×1944。

表1图4四组图像的客观参数对比结果

观察数据，除了Retinex算法由于整体雾蒙蒙的影响表现出比较高的平均亮度之外，本文的处理效果都要优于其他两种算法，处理速度上要比基于去雾技术增强算法快上很多，但是比Retinex算法要慢上一些。说明本文在平衡增强效果和处理速度上有着一定优势。