基于非线性亮度提升模型的逆光图像恢复方法

摘要

本发明涉及基于非线性亮度提升模型的逆光图像恢复方法。本发明的目的是针对逆光图像提供一种非线性自适应的亮度调节，使得处理后的图像适于人眼获取原始逆光区域信息，而又不丢失非逆光区域的原始信息，保证整幅图片自然不失真。该方法对图像的亮度进行分段，基于逆光区域所占整幅图像的面积比，计算该区域的调节系数，选取适当对数函数调节该段的亮度值；在保证调节函数连续且收敛的情况下，选取非逆光区域的调节系数，并对该区域进行非线性调节，以达到恢复逆光图像的目的。

说明书

技术领域：

本发明属于图像处理领域，具体地说是针对逆光图像采用一定的恢复手段，对逆光区域和非逆光区域的亮度进行自适应非线性调节，以实现逆光图像的有效恢复，使得处理后图像能更好地呈现原始信息，方便人眼观察和计算机识别。

背景技术：

由于相机在拍摄过程中是通过感光芯片来调节感光程度，因此当相机镜头正对光源而拍摄主体背对光源时，相机内感光芯片感应到拍摄主体的反射光线较弱，感应到周围光源的反射光线较强。导致相机成像后，图像的主体亮度较低，周围环境亮度较高。在实际的拍摄过程中，这种逆光现象经常出现。在逆光环境下得到的图像中，主体部分由于亮度较低，且与周围环境形成强烈反差，使得难以获取该部分的图像信息。

在逆光图像中，逆光条件下产生的亮度较低的区域称为逆光区域，光源较强的条件下产生的亮度较高的区域称为非逆光区域。要对逆光图像进行有效地调节，必须将逆光区域的亮度提高，并且尽量保持非逆光区域的亮度。利用普通的方法对图像整体亮度进行增强之后，虽然可以改善图像主体部分的亮度情况，但是对于原始亮度较高的周围环境部分会由于调节过度造成图像的失真和图像信息的损失。

本发明采用了非线性亮度提升模型，自动获取所需恢复图像的亮度提升系数，对逆光图像的亮度进行自适应调节，保证恢复后的图像能有效获取原逆光区域信息且原始非逆光区的信息不丢失。

发明内容：

本发明的目的是针对逆光图像提供一种非线性自适应的亮度调节，使得处理后的图像适于人眼获取原始逆光区域信息，而又不丢失非逆光区域的原始信息，保证整幅图片自然不失真。该方法对图像的亮度进行分段，基于逆光区域所占整幅图像的面积比，计算该区域的调节系数，选取适当对数函数调节该段的亮度值；在保证调节函数连续且收敛的情况下，选取非逆光区域的调节系数，并对该区域进行非线性调节，以达到恢复逆光图像的目的。

本发明采用的技术方案是：

第一步：读取原始逆光图像I₀，图像大小为M×N，M是图像I₀的宽度像素，N是图像I₀的高度像素；

第二步：将I₀中每个像素的颜色用色相h，饱和度s和明度v表示，具体分以下几步：

(1)读取I₀中每个像素点的R、G、B三个通道值，通过公式(1)作归一化处理，得到r、g、b，它们的值是在0到1之间的实数；

$\left(\begin{array}{c}r=R/255\\ g=G/255\\ b=B/255\end{array}\right)---\left(1\right)$

(2)计算r、g、b中的最大值，用max表示，r、g、b中的最小值，用min表示；

$\left(\begin{array}{c}max=max(r,g,b)\\ \min =min(r,g,b)\end{array}\right)---\left(2\right)$

(3)通过公式(3)-(6)求该像素点的h、s、v值，其中h∈[0,360°)，s,v∈[0,1]；

s＝(max-min)/max (5)

v＝max(r,g,b) (6)

第三步：通过改变明度v来调节图像亮度，令D_i为原始图像中像素点明度v的调节系数(i＝1,2)，计算调节系数D_i，具体分为以下几步：

(1)设T为分段阈值，T∈[0,1]，令v≤T表示逆光区域，v＞T表示非逆光区域，给出T的具体数值，一般T取0.3；

(2)统计图像I₀中明度v≤T的所有像素点个数num，利用公式(7)求得v≤T的像素所占面积比例A；

$A=\frac{num}{M\times N}---\left(7\right)$

(3)利用公式(8)，算出具体D_i，当v≤T时，选择D₁作为调节系数，当v＞T时，选择D₂作为调节系数；

$D_i=\left(\begin{array}{cc}A\times 50& v\le T,i=1\\ \frac{T\times A\times 50-T}{(1-T)\times v}-\frac{T\times A\times 50-1}{1-T}& v>T,i=2\end{array}\right)---\left(8\right)$

第四步：依据求得的D_i，通过公式(9)和公式(10)计算每个像素调整后的新明度值w；

$w=\left(\begin{array}{cc}{C}_1\times {\log }_2[D_1\times v+1]& v\le T\\ C_2\times {\log }_2[D_2\times v+1]& v>T\end{array}\right)---\left(9\right)$

$C_i=\frac{1}{{\log }_2(D_i+1)},i=1,2---\left(10\right)$

第五步：利用公式(11)-(16)，计算出明度调节后的每个像素点的颜色向量(r',g',b')；

p＝w×(1-s) (13)

q＝w×(1-f×s) (14)

t＝w×(1-(1-f)×s (15)

$(r^{\prime },g^{\prime },b^{\prime })=\left(\begin{array}{cc}(w,t,p)& h_{\sec }=0\\ (q,w,p)& h_{\sec }=1\\ (p,w,t)& h_{\sec }=2\\ (p,q,w)& h_{\sec }=3\\ (t,p,w)& h_{\sec }=4\\ (w,p,q)& h_{\sec }=5\end{array}\right)---\left(16\right)$

第六步：通过公式(17)恢复出图像中每个像素的颜色向量(R',G',B')，得到处理后图像I；

$\left(\begin{array}{c}{R}^{\prime }=r^{\prime }\times 255\\ G^{\prime }=g^{\prime }\times 255\\ B^{\prime }=b^{\prime }\times 255\end{array}\right)---\left(17\right)$

第七步：在图像I中，令S_xy表示中心点在(x,y)处、大小为m×n的矩阵邻域内一组坐标，利用公式(18)对图像I中明度w小于T部分像素的颜色向量(R',G',B')中各分量值进行中值滤波，R'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的R'值，G'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的G'值，B'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的B'值，median表示取中值，F(x,y)表示滤波后的图像I'在(x,y)坐标处的颜色向量；对图像I中明度w大于等于T部分的像素，不做处理；

$F(x,y)=\left(\underset{(x,y)\in S_{xy}}{median}\right\{R^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{G^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{B^{\prime }(x,y)\left\}\right),w<T---\left(18\right)$

第八步：通过上一步滤波操作，得到图像I'，并输出图像I'。

本发明优点在于：

1、全部亮度范围只分为两段，计算简单，时效性强；

2、每段亮度处理时都采用非线性调节方式，亮度提升自然，避免了因部分亮度提升过高而带来的失真；

3、基于原始逆光图像特征自动获取调节函数，无需手动设置；

4、本发明提出的方法能有效恢复逆光图像，不存在恢复过度或者欠恢复情况，一次恢复到位，不需要多次调整；

5、恢复后的图像能很容易获取原逆光区的色彩、轮廓等细节信息，并几乎不改变原始非逆光区的信息，整幅图片不失真，方便肉眼观测和计算机识别。

附图说明

图1为本发明的流程图；

图2(a)为典型逆光图像原图；

图2(b)为传统逆光恢复方法结果图；

图2(c)为本发明处理后的结果图；

图2(d)为针对图2(a)该恢复方法的调节函数曲线；

图3(a)为典型逆光图像原图；

图3(b)为传统逆光恢复方法结果图；

图3(c)为本发明处理后的结果图；

图3(d)为针对图3(a)该恢复方法的调节函数曲线。

具体实施方式：

下面结合具体实例对本发明做详细说明。

实例1：本实例是针对典型彩色逆光图2(a)进行恢复，具体过程如下所示。

1：读取原始逆光图像I₀，图像大小为408×271，408是图像I₀的宽度像素，271是图像I₀的高度像素；

2：将I₀中每个像素的颜色用色相h，饱和度s和明度v表示，具体分以下几步：

(1)读取I₀中每个像素点的R、G、B三个通道值，通过公式(1)作归一化处理，得到r、g、b，它们的值是在0到1之间的实数；

$\left(\begin{array}{c}r=R/255\\ g=G/255\\ b=B/255\end{array}\right)---\left(1\right)$

(2)计算r、g、b中的最大值，用max表示，r、g、b中的最小值，用min表示；

$\left(\begin{array}{c}max=max(r,g,b)\\ \min =min(r,g,b)\end{array}\right)---\left(2\right)$

(3)通过公式(3)-(6)求该像素点的h、s、v值，其中h∈[0,360°)，s,v∈[0,1]；

s＝(max-min)/max (5)

v＝max(r,g,b) (6)

3：通过改变明度v来调节图像亮度，令D_i为原始图像中像素点明度v的调节系数(i＝1,2)，计算调节系数D_i，具体分为以下几步：

(1)设T为分段阈值，T∈[0,1]，令v≤T表示逆光区域，v＞T表示非逆光区域，给出T的具体数值，一般T取0.3；

(2)统计图像I₀中明度v≤T的所有像素点个数num＝27448，利用公式(7)求得v≤T的像素所占面积比例A＝0.2482；

$A=\frac{num}{\mathrm{408}\times \mathrm{271}}---\left(7\right)$

(3)利用公式(8)，算出具体D_i，当v≤T时，选择D₁＝12.4123作为调节系数，当v＞T时，选择D₂＝4.8910/v-3.8910作为调节系数；

$D_i=\left(\begin{array}{cc}A\times 50& v\le T,i=1\\ \frac{T\times A\times 50-T}{(1-T)\times v}-\frac{T\times A\times 50-1}{1-T}& v>T,i=2\end{array}\right)---\left(8\right)$

4：依据求得的D_i，通过公式(9)和公式(10)计算每个像素调整后的新明度值w；

$w=\left(\begin{array}{cc}{C}_1\times {\log }_2[D_1\times v+1]& v\le T\\ C_2\times {\log }_2[D_2\times v+1]& v>T\end{array}\right)---\left(9\right)$

$C_i=\frac{1}{{\log }_2(D_i+1)},i=1,2---\left(10\right)$

5：利用公式(11)-(16)，计算出明度调节后的每个像素点的颜色向量(r',g',b')；

p＝w×(1-s) (13)

q＝w×(1-f×s) (14)

t＝w×(1-(1-f)×s (15)

$(r^{\prime },g^{\prime },b^{\prime })=\left(\begin{array}{cc}(w,t,p)& h_{\sec }=0\\ (q,w,p)& h_{\sec }=1\\ (p,w,t)& h_{\sec }=2\\ (p,q,w)& h_{\sec }=3\\ (t,p,w)& h_{\sec }=4\\ (w,p,q)& h_{\sec }=5\end{array}\right)---\left(16\right)$

6：通过公式(17)恢复出图像中每个像素的颜色向量(R',G',B')，得到处理后图像I；

$\left(\begin{array}{c}{R}^{\prime }=r^{\prime }\times 255\\ G^{\prime }=g^{\prime }\times 255\\ B^{\prime }=b^{\prime }\times 255\end{array}\right)---\left(17\right)$

7：在图像I中，令S_xy表示中心点在(x,y)处、大小为3×3的矩阵邻域内一组坐标，利用公式(18)对图像I中明度w小于T部分像素的颜色向量(R',G',B')中各分量值进行中值滤波，R'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的R'值，G'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的G'值，B'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的B'值，median表示取中值，F(x,y)表示滤波后的图像I'在(x,y)坐标处的颜色向量；对图像I中明度w大于等于T部分的像素，不做处理；

$F(x,y)=\left(\underset{(x,y)\in S_{xy}}{median}\right\{R^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{G^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{B^{\prime }(x,y)\left\}\right),w<T---\left(18\right)$

8：通过上一步滤波操作，得到图像I'，并输出图像I'。

实例2：本实例是针对典型彩色逆光图3(a)进行恢复，具体过程如下所示。

1：读取原始逆光图像I₀，图像大小为298×395，298是图像I₀的宽度像素，395是图像I₀的高度像素；

2：将I₀中每个像素的颜色用色相h，饱和度s和明度v表示，具体分以下几步：

(1)读取I₀中每个像素点的R、G、B三个通道值，通过公式(1)作归一化处理，得到r、g、b，它们的值是在0到1之间的实数；

$\left(\begin{array}{c}r=R/255\\ g=G/255\\ b=B/255\end{array}\right)---\left(1\right)$

(2)计算r、g、b中的最大值，用max表示，r、g、b中的最小值，用min表示；

$\left(\begin{array}{c}max=max(r,g,b)\\ \min =min(r,g,b)\end{array}\right)---\left(2\right)$

(3)通过公式(3)-(6)求该像素点的h、s、v值，其中h∈[0,360°)，s,v∈[0,1]；

s＝(max-min)/max (5)

v＝max(r,g,b) (6)

3：通过改变明度v来调节图像亮度，令D_i为原始图像中像素点明度v的调节系数(i＝1,2)，计算调节系数D_i，具体分为以下几步：

(1)设T为分段阈值，T∈[0,1]，令v≤T表示逆光区域，v＞T表示非逆光区域，给出T的具体数值，一般T取0.3；

(2)统计图像I₀中明度v≤T的所有像素点个数num＝46968，利用公式(7)求得v≤T的像素所占面积比例A＝0.3990；

$A=\frac{num}{298\times 395}---\left(7\right)$

(3)利用公式(8)，算出具体D_i，当v≤T时，选择D₁＝12.4123作为调节系数，当v＞T时，选择D₂＝8.1217/v-7.1217作为调节系数；

$D_i=\left(\begin{array}{cc}A\times 50& v\le T,i=1\\ \frac{T\times A\times 50-T}{(1-T)\times v}-\frac{T\times A\times 50-1}{1-T}& v>T,i=2\end{array}\right)---\left(8\right)$

4：依据求得的D_i，通过公式(9)和公式(10)计算每个像素调整后的新明度值w；

$w=\left(\begin{array}{cc}{C}_1\times {\log }_2[D_1\times v+1]& v\le T\\ C_2\times {\log }_2[D_2\times v+1]& v>T\end{array}\right)---\left(9\right)$

$C_i=\frac{1}{{\log }_2(D_i+1)},i=1,2---\left(10\right)$

5：利用公式(11)-(16)，计算出明度调节后的每个像素点的颜色向量(r',g',b')；

p＝w×(1-s) (13)

q＝w×(1-f×s) (14)

t＝w×(1-(1-f)×s (15)

$(r^{\prime },g^{\prime },b^{\prime })=\left(\begin{array}{cc}(w,t,p)& h_{\sec }=0\\ (q,w,p)& h_{\sec }=1\\ (p,w,t)& h_{\sec }=2\\ (p,q,w)& h_{\sec }=3\\ (t,p,w)& h_{\sec }=4\\ (w,p,q)& h_{\sec }=5\end{array}\right)---\left(16\right)$

6：通过公式(17)恢复出图像中每个像素的颜色向量(R',G',B')，得到处理后图像I；

$\left(\begin{array}{c}{R}^{\prime }=r^{\prime }\times 255\\ G^{\prime }=g^{\prime }\times 255\\ B^{\prime }=b^{\prime }\times 255\end{array}\right)---\left(17\right)$

7：在图像I中，令S_xy表示中心点在(x,y)处、大小为3×3的矩阵邻域内一组坐标，利用公式(18)对图像I中明度w小于T部分像素的颜色向量(R',G',B')中各分量值进行中值滤波，R'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的R'值，G'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的G'值，B'(x,y)表示图像I在(x,y)坐标处像素颜色向量中的B'值，median表示取中值，F(x,y)表示滤波后的图像I'在(x,y)坐标处的颜色向量；对图像I中明度w大于等于T部分的像素，不做处理；

$F(x,y)=\left(\underset{(x,y)\in S_{xy}}{median}\right\{R^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{G^{\prime }(x,y)\},\underset{(x,y)\in S_{xy}}{median}\{B^{\prime }(x,y)\left\}\right),w<T---\left(18\right)$

8：通过上一步滤波操作，得到图像I'，并输出图像I'。

虽然这里只说明了本发明的两个实例，但意义并非限制本发明的范围和适用性。相反，对实例的详细说明可以使本领域的技术人员更好的得以实施。