基于纹理信息重构的不同光照两帧图像融合方法

摘要

本发明公开了一种基于纹理信息重构的不同光照两帧图像融合方法，其实现步骤为：(1)输入待融合图像。(2)变换待融合图像通道。(3)重构亮度矩阵(4)采用加权最小二乘自适应滤波器对待融合图像滤波。(5)获得待融合图像纹理信息矩阵。(6)重构纹理信息矩阵。(7)对待融合图像进行融合。(8)矩阵变换。(9)输出融合后图像。本发明利用了两帧不同亮度图像的纹理信息和亮度信息对融合后图像进行自适应增强，提高了融合图像的清晰度并降低了融合图像的噪声，克服了现有图像融合技术亮度场景单一的缺点。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及图像清晰度增强技术领域中的一种 基于纹理信息重构的不同光照两帧图像融合方法。本发明可用于夜间拍照获得的一帧 高亮度的闪光灯条件下拍摄图像和一帧低亮度的无闪光灯条件下拍摄图像融合中，在 提取亮度较高图像纹理信息的同时，保留光照较低图像色彩信息，提升最终融合图像 的清晰度。

背景技术

目前，现有的图像融合方法主要有空间域图像融合方法与频域图像融合方法，最 具代表性的融合方法有空间域的梯度融合方法和频域的小波融合方法。这两种方法都 是根据一定的转换函数直接对两帧图像的像素值进行运算处理。梯度融合方法和小波 融合方法的优点在于实现简单、速度快。但是这两种方法存在的缺点是应用场景单一， 只能用于相同亮度场景下的图像融合，对亮度相差较大的图像会产生较大的噪声和色 偏。

Ali Aghagolzadeh和Hadi Seyedarabi在其发表的论文“Multi-focus image fusion for  visualsensor networks in DCT domain”(《Special Issue on Image Processing》vol.37,Issue 5,Sep.2011)中提出了一种基于小波变换的图像融合方法。该方法首先将图像从空间域 变换到小波域，再根据高频成分均值大小选取均值较大的一帧图像作为基准图像，最 后提取两帧图像中较大的高频成分到基准图像中，得到最终融合图像。该方法虽然对 图像的清晰度有一定程度的提高。但是，该方法仍然存在的不足是，该方法不适用于 两帧图像亮度差异较大时的融合，也没有考虑两帧图像的噪声大小，导致最终的融合 图像中存在较大的噪声。

微软公司申请的专利“Digital photography with flash/no flash extension”(申请日： 2005年07月15日，申请号：CN 200510092389，公开号：CN100431339C)中公开了 一种基于不同亮度的图像融合方法。该方法首先提取闪光灯条件下拍摄图像的纹理信 息到融合后图像中，有效的提高了融合图像的清晰度，其次对融合后图像进行滤波， 在降低最终融合图像噪声的同时，保留了低光照图像的色调与色温。该方法存在的不 足是，直接在红绿蓝rgb三个颜色通道中做融合，导致最终的融合图像有色偏；其次， 该方法没有考虑低光照图像中的纹理信息成分，导致最终的融合图像中部分区域发生 模糊。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于纹理信息重构的不同光 照两帧图像融合方法。本发明根据在闪光灯条件下拍摄的一帧图像的亮度矩阵和在无 闪光条件下拍摄的一帧图像的亮度矩阵，对待融合图像亮度矩阵进行重构，利用重构 亮度矩阵后的无闪光条件下拍摄的一帧图像亮度通道纹理信息矩阵和闪光灯条件下拍 摄的一帧图像亮度通道纹理信息矩阵，对待融合图像亮度通道纹理信息矩阵进行重构， 对待融合图像每一个像素点进行自适应的纹理增强，显著的提高融合图像的清晰度。

为实现上述目的，本发明包括如下主要步骤：

(1)输入待融合图像：

分别输入待融合的一幅在有闪光灯和一幅在无闪光灯条件下拍摄的图像；

(2)变换待融合图像通道：

(2a)将闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；

(2b)将无闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵；

(3)重构亮度矩阵：

按照下式，重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮 度值：

Y_i＝max(YNF_i,YF_i)

其中，Y_i表示构建后亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素点 的序号，max(·)表示取较大值操作，YNF_i表示在无闪光灯条件下拍摄的一帧图像亮度 矩阵中第i个像素的亮度值，YF_i表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i 个像素的亮度值；

(4)采用加权最小二乘自适应滤波器，分别对待融合图像的亮度、红色差、蓝色 差三个通道进行滤波；

(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像 素的纹理值；

(6)重构纹理信息矩阵：

按照下式，重新构建待融合图像纹理信息矩阵中第i个像素的纹理值：

D_i＝max(DA_i,DF_i)

其中，D_i表示构建后纹理信息矩阵中第i个像素的纹理值，i表示待融合图像中像 素的序号，max(·)表示取较大值操作，DA_i表示重构亮度矩阵后的无闪光灯条件下拍 摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，DF_i表示闪光灯条件下拍 摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值；

(7)按照下式，对待融合图像进行融合：

E_i＝D_i×Y_i；

F_i＝M_i×Z_i；

G_i＝N_i×W_i；

其中，E_i表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值，i表示待 融合图像中像素的序号，D_i表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图 像亮度通道纹理信息矩阵中第i个像素的纹理值，Y_i表示重构亮度矩阵后的无闪光灯 条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值，F_i表示融合后的图 像红色差通道红色差矩阵中第i个像素的色差值，M_i表示闪光灯条件下拍摄的一帧图 像红色差通道纹理信息矩阵中第i个像素的纹理值，Z_i表示无闪光灯条件下拍摄的一 帧图像红色差通道红色差矩阵中第i个像素的色差值，G_i表示融合后的图像蓝色差通 道蓝色差矩阵中第i个像素的色差值，N_i表示闪光灯条件下拍摄的一帧图像蓝色差通 道纹理信息矩阵中第i个像素的纹理值，W_i表示无闪光灯条件下拍摄的一帧图像蓝色 差通道蓝色差矩阵中第i个像素的色差值；

(8)矩阵变换：

将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵；

(9)输出融合后图像：

(9a)按照下式，计算融合后图像第i个像素的像素值：

I_i＝[R_i,G_i,B_i]

其中，I_i表示融合后图像第i个像素的像素值，i表示待融合图像中像素的序号，[·] 表示矩阵元素做合并操作，R_i、G_i、B_i分别表示融合后图像红绿蓝三个矩阵中第i个 像素的元素值；

(9b)输出融合后图像。

与现有的技术相比,本发明具有以下优点：

第一，本发明能够根据闪光灯图像亮度矩阵和不闪光图像亮度矩阵，对待融合图 像亮度矩阵进行重构，克服了现有技术存在的不适用于两帧待融合图像亮度差异较大 进行的图像融合，只对某一部分图像适用的不足，使得本发明具有较好的亮度场景适 应性。

第二，本发明依据无闪光灯图像亮度通道纹理信息矩阵和闪光灯图像亮度通道纹 理信息矩阵，对待融合图像亮度通道纹理信息矩阵进行重构，克服了现有技术在融合 后图像中部分区域模糊的不足，使得本发明能够显著的提高融合图像的清晰度。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图对本发明作进一步的描述。

参考附图1，对本发明实现的步骤作进一步的详细描述。

步骤1，输入待融合图像。

分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像。

步骤2，变换待融合图像通道。

利用下式，将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、 蓝色差三个矩阵：

YF＝0.2990×R_f+0.5870×G_f+0.1140×B_f

CbF＝-0.1687×R_f-0.3313×G_f+0.5000×B_f+128

CrF＝-0.5000×R_f-0.4187×G_f-0.0813×B_f+128

其中，YF、CbF、CrF表示变换后闪光灯条件下拍摄的一帧图像的亮度、红色差、 蓝色差矩阵，R_f、G_f、B_f分别表示闪光灯条件下拍摄的一帧图像的红绿蓝矩阵，f表 示闪光灯条件下拍摄的一帧图像。

利用下式，将无闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、 蓝色差三个矩阵：

YNF＝0.2990×R_nf+0.5870×G_nf+0.1140×B_nf

CbNF＝-0.1687×R_nf-0.3313×G_nf+0.5000×B_nf+128

CrNF＝-0.5000×R_nf-0.4187×G_nf-0.0813×B_nf+128

其中，YNF、CbNF、CrNF分别表示变换后无闪光灯条件下拍摄的一帧图像的亮度、红 色差、蓝色差矩阵，R_nf、G_nf、B_nf分别表示无闪光灯条件下拍摄的一帧图像的红绿 蓝矩阵，nf表示无闪光灯条件下拍摄的一帧图像。

直接在三个颜色通道来做图像融合会造成融合图像的色偏，所以本发明的图像融 合操作都是在亮度与色差通道来进行，使得图像在颜色上更加适合真实的自然场景。

步骤3，重构亮度矩阵。

按照下式，重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮 度值：

Y_i＝max(YNF_i,YF_i)

其中，Y_i表示构建后亮度矩阵中第i个像素的亮度值，i表示待融合图像中像素点 的序号，max(·)表示取较大值操作，YNF_i表示在无闪光灯条件下拍摄的一帧图像亮度 矩阵中第i个像素的亮度值，YF_i表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i 个像素的亮度值。

重构后的亮度矩阵，不仅具有闪光灯条件下拍摄图像的亮度信息，还具有无闪光 条件下拍摄图像的亮度信息，使得融合后图像亮度较大的区域不会过亮，并且提高了 融合后图像亮度较低区域的亮度，使融合后的图像的亮度协调，适合人眼观看。

步骤4，按照下式，采用加权最小二乘自适应滤波器，分别对待融合图像的亮度、 红色差、蓝色差三个通道进行滤波：

$A={(I+\lambda \times {(D_x^T\times ({\left|\frac{\partial G}{\partial x}\right|}^{\alpha }+0.001)}^{-1}\times D_x+D_y^T\times {({\left|\frac{\partial G}{\partial y}\right|}^{\alpha }+0.001)}^{-1}\times D_y))}^{-1}\times G$

其中，A表示待融合图像的滤波结果，I表示单位对角矩阵，λ表示滤波器的平 滑参数，λ的取值范围为[0,1.0]，D_x表示单位矩阵x方向的后向差分矩阵，(·)^T表示 矩阵取转置操作，表示待融合图像x方向的后向差分矩阵，|·|表示取绝对值操作， α表示待融合图像的梯度敏感因子，α的取值范围为[1.2,2.0]，D_y表示单位矩阵y方 向的后向差分矩阵，表示待融合图像y方向的后向差分矩阵，G表示待融合图像。

滤波器的平滑参数λ越大，则滤波器滤波的强度越高。图像的梯度信息反映出图 像的轮廓，滤波器的梯度敏感因子α越大，则滤波结果的轮廓越明显。滤波公式中的 0.001起到避免分母为0的作用。

步骤5，按照下式，分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信 息矩阵第i个像素的纹理值：

$L_i=\frac{Y_i+0.001}{A_i+0.001};$

$M_i=\frac{Z_i+0.001}{B_i+0.001};$

$N_i=\frac{W_i+0.001}{C_i+0.001};$

其中，L_i表示待融合图像亮度通道纹理信息矩阵中第i个像素的纹理值，i表示待 融合图像中像素的序号，Y_i表示待融合图像亮度矩阵中第i个像素的亮度值，A_i表示 滤波后的图像亮度矩阵中第i个像素的亮度值，M_i表示待融合图像红色差通道纹理信 息矩阵中第i个像素的纹理值，Z_i表示待融合图像红色差矩阵中第i个像素的色差值， B_i表示滤波后的图像红色差矩阵中第i个像素的色差值，N_i表示待融合图像蓝色差通 道纹理信息矩阵中第i个像素的纹理值，W_i表示待融合图像蓝色差矩阵中第i个像素的 色差值，C_i表示滤波后的图像蓝色差矩阵中第i个像素的色差值。

图像通过滤波器后会变得模糊，丢失了纹理信息，所以利用滤波前图像各个通道 第i个像素的像素值与滤波后图像各个通道第i个像素的像素值做减法或者除法就可 以得到纹理信息矩阵中i个像素的纹理值，通过大量实验与资料证明，采用除法获得 的纹理信息更多，所以在此选用除法获得纹理信息矩阵。上式中选用的0.001起到避 免分母为0的作用，为了使得纹理信息矩阵更加准确，分子也做了加0.001的操作。

步骤6，重构纹理信息矩阵。

按照下式，重新构建待融合图像纹理信息矩阵中第i个像素的纹理值：

D_i＝max(DA_i,DF_i)

其中，D_i表示构建后纹理信息矩阵中第i个像素的纹理值，i表示待融合图像中像 素的序号，max(·)表示取较大值操作，DA_i表示重构亮度矩阵后的无闪光灯条件下拍 摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值，DF_i表示闪光灯条件下拍 摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值。

重构后的纹理信息矩阵，不仅具有闪光灯条件下拍摄图像的纹理信息，还具有无 闪光条件下拍摄图像的纹理信息，纹理信息矩阵表征图像的清晰度，所以此步骤中的 纹理信息矩阵的重构有效的提高了融合图像的清晰度。

步骤7，按照下式，对待融合图像进行融合：

E_i＝D_i×Y_i；

F_i＝M_i×Z_i；

G_i＝N_i×W_i；

其中，E_i表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值，i表示待 融合图像中像素的序号，D_i表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图 像亮度通道纹理信息矩阵中第i个像素的纹理值，Y_i表示重构亮度矩阵后的无闪光灯 条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值，F_i表示融合后的图 像红色差通道红色差矩阵中第i个像素的色差值，M_i表示闪光灯条件下拍摄的一帧图 像红色差通道纹理信息矩阵中第i个像素的纹理值，Z_i表示无闪光灯条件下拍摄的一 帧图像红色差通道红色差矩阵中第i个像素的色差值，G_i表示融合后的图像蓝色差通 道蓝色差矩阵中第i个像素的色差值，N_i表示闪光灯条件下拍摄的一帧图像蓝色差通 道纹理信息矩阵中第i个像素的纹理值，W_i表示无闪光灯条件下拍摄的一帧图像蓝色 差通道蓝色差矩阵中第i个像素的色差值。

滤波后的图像丢失了纹理信息，步骤5中采用了除法运算，所以此步骤采用乘法 运算，将纹理信息融合到融合图像中。步骤6中对纹理信息矩阵进行的重构操作，可 以更加显著地提高融合图像的清晰度。

步骤8，矩阵变换。

按照下式，将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵：

R＝1.164×(Y-16)+1.596×(Cr-128)；

G＝1.164×(Y-16)-0.392×(Cb-128)-0.813×(Cr-128)；

B＝1.164×(Y-16)+2.017×(Cb-128)；

其中，R、G、B分别表示融合后图像红绿蓝矩阵，Y、Cr、Cb分别表示融合后图 像亮度、红色差、蓝色差矩阵。

一帧彩色图像可以分为三个通道进行表征，一帧图像既可以通过三个颜色通道来 表征，也可以通过亮度与色差通道来表征，不同的表征通道之间可以相互进行转换， 上述公式采用国际标准的通道转换公式进行通道转换。

步骤9，按照下式，输出融合后图像：

I_i＝[R_i,G_i,B_i]

其中，I_i表示融合后图像第i个像素的像素值，i表示待融合图像中像素的序号，[·] 表示矩阵元素做合并操作，R_i、G_i、B_i分别表示融合后图像红绿蓝三个矩阵中第i个 像素的元素值。

本发明的图像融合是针对三通道的彩色图像进行的，所以要将最终的颜色矩阵合 并为一个三维矩阵，图像的每一个像素值由三个颜色通道矩阵的像素值来表征。

下面结合附图2对本发明的仿真效果做进一步说明。

1.仿真条件：

本发明的仿真所使用待融合的图像分别在闪光灯和无闪光灯条件下拍摄，图像大 小为2448×3264，待融合图像为三通道彩色图像。

2.仿真结果与分析：

附图2是本发明的仿真结果图，其中，附图2(a)为在无闪光灯条件下拍摄的原图； 附图2(b)为在闪光灯条件下拍摄的原图；附图2(c)为本发明基于纹理信息重构的不同 光照两帧图像融合方法的效果图；附图2(d)为没有进行亮度矩阵和纹理信息矩阵重构 的效果图。

对比附图2(c)和附图2(d)，附图2(d)没有区分两帧待融合图像亮度之间的差异， 也没有考虑附图2(a)的纹理信息，使得整幅图出现了色偏的情况，并且图像发白，清 晰度不高，与人眼看到的场景情况不符。本发明则很好地利用了附图2(a)和附图2(b) 自身的纹理信息和亮度信息，对融合后图像进行自适应增强，尤其在附图2(c)中头像 的发丝部分，纹理增强效果表现明显。此外，附图2(c)在图像去噪方面也有很好的效 果。

综上所述，可以看出本发明能够很好的提升待融合图像的清晰度，克服了现有图 像融合技术亮度场景单一的缺点。