基于可操纵金字塔变换的图像融合方法及其装置

摘要

本发明公开了一种基于可操纵金字塔变换的图像融合方法，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的垂直、+45°、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的子带系数、以及重构后获得的子带系数进行可操纵金字塔变换获得最终的融合图像。通过本发明能够有效地提升融合图像的清晰度、对比度及信息量等，得到融合效果更好的图像。

说明书

技术领域

本发明属于图像融合处理技术领域，具体涉及一种基于可操纵金字塔变换的图像融合方法及其装置。

背景技术

图像融合在图像分析和计算机视觉方面有着重要的意义。通过图像融合技术可以将从不同成像传感器获取同一场景的图像有机组合成一幅图像，其能有效地互补不同成像传感器所获取图像的优势，形成一幅能真实清晰反映客观场景的图像，以便对图像进一步分析、理解以及目标的检测与识别等。从二十世纪八十年代开始，多传感器图像融合已引起了广泛的兴趣和研究热潮，其在机器学习、遥感、计算机视觉、医学图像处理以及军事应用中有着广泛的应用前景。经过近三十年的发展，图像融合技术已形成了一定的规模，国内外也都开发出许多用于不同领域的融合系统，但是，这并不意味着图像融合技术已相当成熟了。从国内外目前的研究情况来看，图像融合技术在理论和技术方面均存在有待解决的问题。与国外相比，国内开展图像融合研究工作起步较晚，尽管国内近几年在图像融合方面的研究取得了较大的成就；但是，相比国外仍处于较落后的状态。因此，急需我们对图像融合进行广泛深入的基础理论和基础技术的研究。

随着信息技术的快速发展，实际应用中，人们对信息量的需求越来越大。在这种条件下，传统的图像融合方法，如多分辨分析的图像融合方法，参见文章《Image sequence fusion using a shift-invariant wavelet transform》，ImageProcessing，1997.Proceedings.，International Conference on.IEEE，1997，3:288-291，因为小波变换不能很好地捕捉图像的边缘和纹理信息，而且，该方法用简单的系数绝对值取大的融合规则，得到的融合图像效果不理想；参见文章《Feature level fusion of multimodal medical images in lifting wavelet transformdomain》，Engineering in Medicine and Biology Society，2004.IEMBS'04.26thAnnual International Conference of the IEEE.IEEE，2004，1:1479-1482，该方法通过计算小波变换系数的梯度，并通过比较两幅图像的小波变换系数梯度之差与设定的阈值的大小来确定融合系数，该方法所得到的融合图像尽管效果有所改善，但是，还是难以满足要求。此后，苗启光等提出《基于改进的拉普拉斯金字塔变换的图像融合方法》，该方法是对图像金字塔各分解层分别进行融合处理，不同层可采用不同融合算子进行融合处理，最终得到融合后图像的拉普拉斯金字塔；对融合后所得到的拉普拉斯金字塔进行逆金字塔变换(即图像重构)，所得到的重构图像就是融合图像，通过该方法可有效地将来自不同图像的特征或细节融合在一起，得到的融合图像清晰度、对比度、信息量等均有所提升；但是，信息量、清晰度、对比度等依然相对较低，融合图像的整体效果还是不尽如人意。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种基于可操纵金字塔变换的图像融合方法及其装置，能够更好地捕捉原图像中的方向信息，充分利用图像的空间一致性，采用双边滤波对低频子带进行融合，提高融合图像的清晰度、对比度、信息量等，以得到图像质量更好的融合图像。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于可操纵金字塔变换的图像融合方法，该方法包括：根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。

上述方案中，所述根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解为：对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、及水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。

上述方案中，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数为：根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。

本发明实施例还提供一种基于可操纵金字塔变换的图像融合装置，其特征在于，该装置包括：

分解单元、滤波单元、融合单元、重构单元、逆变换单元，其中

所述分解单元，用于根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，发送分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数到滤波单元，发送分解后获得的所述红外图像和可见光图像的低频子带系数到融合单元；

所述滤波单元，用于对接收到的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，发送滤波后获得的非下采样方向子带系数到融合单元；

所述融合单元，用于根据融合规则融合接收到的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数，发送融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数到逆变换单元，发送融合后的非下采样方向子带系数到重构单元；

所述重构单元，用于对接收到的非下采样方向子带系数进行非下采样方向滤波重构，发送重构后获得的高频子带系数、水平方向子带系数到逆变换单元；

所述逆变换单元，用于对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。

上述方案中，所述分解单元，具体用于对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。

上述方案中，所述融合单元，具体用于根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；还用于根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。

本发明提供一种基于可操纵金字塔变换的图像融合方法及其装置，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像；通过可操纵金字塔变换分解的高频子带系数和水平方向子带系数进行非下采样方向滤波，使得其比传统的金字塔变换具有更好的方向性，能更好地捕捉源图像中的方向信息；通过经可操纵金字塔变换分解的低频子带系数采用双边滤波获得图像融合的权重，由于其充分考虑了图像的空间一致性，从而获得更优的融合权重，以便有效地提升融合图像的清晰度、对比度及信息量等，得到融合效果更好的图像。

附图说明

图1为本发明实施例提供的一种基于可操纵金字塔变换的图像融合方法的流程示意图；

图2为一种源红外图像；

图3为一种源可见光图像。

图4为另一种源红外图像；

图5为另一种源可见光图像；

图6为通过现有技术中一种方法对图2、图3的源图像融合后的结果图；

图7为通过现有技术中另一种方法对图2、图3的源图像融合后的结果图；

图8为通过现有技术中第三种方法对图2、图3的源图像融合后的结果图；

图9为通过本发明对图2、图3的源图像融合后的结果图；

图10为通过现有技术中一种方法对图4、图5的源图像融合后的结果图；

图11为通过现有技术中另一种方法对图4、图5的源图像融合后的结果图；

图12为通过现有技术中第三种方法对图4、图5的源图像融合后的结果图；

图13为通过本发明对图4、图5的源图像融合后的结果图；

图14为本发明实施例提供的一种基于可操纵金字塔变换的图像融合装置的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供一种基于可操纵金字塔变换的图像融合方法，根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及滤波后获得的非下采样方向子带系数，对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。

本发明实施例提供一种基于可操纵金字塔变换的图像融合方法，如图1所示，通过以下步骤实现：

步骤101：根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解。

具体的，对输入的红外图像I和可见光图像V进行可操纵金字塔分解，分别获得红外图像I和可见光图像V的低频子带系数C_I和C_V、高频子带系数和及方向子带系数和其中m(m取2)表示分解层数，表示分解层数为2层，每层分解为4个方向，4个方向分别为水平、垂直、+45°和-45°。

可操纵金字塔变换与其它多分辨分析对图像进行处理相类似，也是将图像分解为低频子带系数和高频子带系数。对于基于多分辨分析的图像融合方法，融合规则的优劣直接影响到融合图像质量的优劣。由于低频子带系数是源图像的近似表示，高频子带系数是源图像的细节信息。

步骤102：对分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数。

具体的，把经可操纵金字塔变换分解得到的高频子带系数和方向子带系数和输入到方向滤波器组，获得非下采样方向子带系数与与(φ＝1,5)，其中，(p,q)为子带系数的空间位置，l(l＝8)为子带系数(与及)被分解的方向数。

方向滤波是通过方向滤波器组实现的，本发明方法所使用的方向滤波器组是由树形结构滤波器组是通过采样两通道扇形滤波器组的下采样操作实现的。通过所述滤波器组对经可操纵金字塔变换得到的高频子带系数和水平方向子带系数进行滤波得到方向子带系数。本发明的方向滤波过程中没有进行下采样处理。而是对滤波器组进行了相应的上采样，因此，本发明的方向滤波过程具有平移不变性。

步骤103：根据融合规则融合分解后获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数。

具体的，对经可操纵金字塔分解后的红外图像I和可见光图像V的低频子带系数C_I和C_V进行融合，通过以下步骤实现：

步骤202：对经可操纵金字塔分解后的红外图像I和可见光图像V的低频子带系数C_I和C_V进行非局部均值滤波，获得滤波子带系数和

$>C_I^0\left(i\right)=\underset{j\in M}{\Sigma }{\omega }_I(i,j)C_I\left(i\right)$>

$>C_V^0\left(i\right)=\underset{j\in M}{\Sigma }{\omega }_V(i,j)C_V\left(i\right)$>

其中，M表示子带系数所有像素的位置，i和j表示低频子带系数中的像素的位置，权函数{ω_R(i,j)}_j(R表示I与V)依赖与像素i与j之间的相似度，并且满足0≤ω_R(i,j)≤1且∑_jω_R(i,j)＝1。

权函数依照如下公式计算：

$>{\omega }_R(i,j)=\frac{1}{Z_R\left(i\right)}{e}^{-\frac{{\left|\right|C_R\left(N_i\right)-C_R\left(N_j\right)\left|\right|}_{2,\alpha }^2}{h^2}}$>

其中，Z_R(i)是归一化因子，N_i与N_j分别表示i和j的相似窗口，h为控制指数函数衰减的参数。

步骤202：获取低频子带系数C_I和C_V的细节子带系数D_I和D_V：

$>D_I=C_I-C_I^0$>

$>D_V=C_V-C_V^0$>

步骤203：低频子带系数C_I和C_V的融合：

$>C_L(p,q)=\left(\begin{array}{cc}{C}_I(p,q)& \mathrm{if}\left|D_I(p,q)\right|<\left|D_V(p,q)\right|\\ C_V(p,q)& \mathrm{else}\end{array}\right)$>

按照步骤201～203获得融合后的低频子带系数；由于，低频子带系数是图像的近似，其反映了原图像的能量分布。鉴于红外图像是通过目标和场景的红外辐射而成的图像，而可见光图像是通过目标与场景的反射而成的图像；因此同一物体在这两种不同的图像中的灰度分布通常有很大的差异。采用传统的加权平均融合规则等，通常为降低融合图像的对比度。因此，本发明对红外与可见光图像的低频子带系数采用基于非局部均值滤波的融合规则，以提高图像融合的质量。

对红外图像I和可见光图像V的高频子带系数与与与及垂直、+45°、-45°方向子带系数和进行融合，获得融合子带系数，采用系数绝对选大的融合规则，是通过如下公式计算：

$>C_H^s(p,q,l)=\left(\begin{array}{cc}{C}_I^s(p,q,l)& \mathrm{if}\left|C_I^s(p,q,l)\right|>\left|C_V^s(p,q,l)\right|\\ C_V^s(p,q,l)& \mathrm{else}\end{array}\right)$>

$>C_H^{\phi }(p,q)=\left(\begin{array}{cc}{C}_I^{\phi }(p,q)& \mathrm{if}\left|C_I^{\phi }(p,q)\right|>\left|C_V^{\phi }(p,q)\right|\\ C_V^{\phi }(p,q)& \mathrm{else}\end{array}\right)$>

其中，s取1和5，φ＝2,3,4,6,...,4m。

步骤104：对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构。

具体的，根据非下采样方向滤波重构所述融合后的非下采样方向子带系数获得重构后的高频子带系数、水平方向子带系数。

步骤105：对融合后获得的非下采样方向子带系数进行非下采样方向滤波重构，对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。

实验数据：

1.实验条件

实验中采用的图像数据是两组已配准的红外与可见光图像，大小均为256×256，图像来源于http：//www.imagefusion.org/，第一组为City图像，如图2和图3，其中图2为红外图像，图3为可见光图像，第二组为Sea图像，如图4和图5，其中图4为红外图像，图5为可见光图像。

2.实验内容

实验1，用本发明的方法和现有的四种融合方法对City图像进行融合实验，融合结果如图6～9，其中图6为文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.，International Conferenceon.IEEE，1997，3:288-291.图7为文章《Feature level fusion of multimodal medicalimages in lifting wavelet transform domain》，Engineering in Medicine and BiologySociety，2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE，2004，1:1479-1482.图8为文章《基于改进的拉普拉斯金字塔变换的图像融合方法》，光学学报，2007，27(9):1605-1610.图9为本发明的图像融合结果图。

从图6～9可见，本发明的融合方法和现有的四种融合方法相比，视觉效果更高、目标和场景都更清晰，文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.，International Conferenceon.IEEE，1997，3:288-291、文章《Feature level fusion of multimodal medicalimages in lifting wavelet transform domain》，Engineering in Medicine and BiologySociety，2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE，2004，1:1479-1482与文章《基于改进的拉普拉斯金字塔变换的图像融合方法》，光学学报，2007，27(9):1605-1610.的融合方法的融合结果和本发明方法相比对比度较低，目标相对较暗，视觉效果较差。

实验2，用本发明的方法和现有的三种融合方法对Sea图像进行融合实验，融合结果如图10～13，其中图10为文章《Image sequence fusion using ashift-invariant wavelet transform》，Image Processing，1997.Proceedings.International Conference on.IEEE，1997，3:288-291.图11为文章《Feature level fusion of multimodal medical images in lifting wavelet transformdomain》，Engineering in Medicine and Biology Society，2004.IEMBS'04.26thAnnual International Conference of the IEEE.IEEE，2004，1:1479-1482.图12为文章《基于改进的拉普拉斯金字塔变换的图像融合方法》，光学学报，2007，27(9):1605-1610.图13为本发明的图像融合结果图。

从图10～13可见，本发明的融合方法和现有的三种融合方法相比，视觉效果更高、目标和场景都更清晰，文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.，InternationalConference on.IEEE，1997，3:288-291、文章《Feature level fusion of multimodalmedical images in lifting wavelet transform domain》，Engineering in Medicine andBiology Society，2004.IEMBS'04.26th Annual International Conference of theIEEE.IEEE，2004，1:1479-1482与文章《基于改进的拉普拉斯金字塔变换的图像融合方法》，光学学报，2007，27(9):1605-1610.的融合方法的融合结果和本发明方法相比对比度较低，目标(人与船)不清晰，目标与背景不易被区分，视觉效果较差。

将本发明的融合方法与文章《Image sequence fusion using a shift-invariantwavelet transform》，Image Processing，1997.Proceedings.，InternationalConference on.IEEE，1997，3:288-291.的融合方法、文章《Feature level fusionof multimodal medical images in lifting wavelet transform domain》，Engineering inMedicine and Biology Society，2004.IEMBS'04.26th Annual InternationalConference of the IEEE.IEEE，2004，1:1479-1482.的融合方法及文章《基于改进的拉普拉斯金字塔变换的图像融合方法》，光学学报，2007，27(9):1605-1610.的融合方法在七种图像质量评价指标上进行比较，来客观评价本发明的效果。

四种融合方法在第一组City、第二组Sea红外图像与可见光图像上的融合客观评价指标如表1与表2：

表1.第一组红外图像与可见光图像融合客观评价指标

表2.第二组红外图像与可见光图像融合客观评价指标

表1与表2中：

SWT表示文章Rockinger O，“Image sequence fusion using a shift-invariantwavelet transform，”Image Processing，1997.Proceedings.，InternationalConference on.IEEE，1997，3:288-291.的融合方法。

LWT表示文章Kor S，Tiwary U，“Feature level fusion of multimodal medicalimages in lifting wavelet transform domain，”Engineering in Medicine and BiologySociety，2004.IEMBS'04.26th Annual International Conference of the IEEE.IEEE，2004，1:1479-1482.的融合方法。

LP表示文章苗启广，王宝树.基于改进的拉普拉斯金字塔变换的图像融合方法[J].光学学报，2007，27(9):1605-1610.的融合方法。

SD表示标准差，SP表示图像清晰度，AG表示平均梯度，Entropy表示信息熵，FS表示融合对称性，SF表示空间频率，Q^AB/F表示边缘保持度。

由表1可见，本发明的方法在多项指标上明显优于上述的四篇文章的方法，另外一项指标也比较接近。

由表2可见，本发明的方法在全部指标上明显优于上述四篇文章的方法。

上述实验证明，本发明提出的基于可操纵金字塔变换的红外与可见光图像融合方法对红外与可见光图像融合问题能取得较好的视觉效果。

本发明实施例还提供一种基于可操纵金字塔变换的图像融合装置，如图14所示，该装置包括：

分解单元1、滤波单元2、融合单元3、重构单元4、逆变换单元5，其中

所述分解单元1，用于根据可操纵金字塔变换分别对红外图像和可见光图像进行2层分解，发送分解后获得的所述红外图像和可见光图像的高频子带系数及水平方向子带系数到滤波单元，发送分解后获得的所述红外图像和可见光图像的低频子带系数到融合单元2；

所述分解单元1，具体用于对输入的红外图像和可见光图像分别进行可操纵金字塔分解，分别获得红外图像和可见光图像的低频子带系数、高频子带系数、水平方向子带系数、垂直方向子带系数、+45°方向子带系数及-45°方向子带系数。。

所述滤波单元2，用于对接收到的所述红外图像和可见光图像的高频子带系数及水平方向子带系数进行非下采样方向滤波获得非下采样方向子带系数，发送滤波后获得的非下采样方向子带系数到融合单元3；

所述融合单元3，用于根据融合规则融合接收到的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数，以及滤波后获得的非下采样方向子带系数，发送融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数到逆变换单元5，发送融合后的非下采样方向子带系数到重构单元4；

所述融合单元3，具体用于根据系数绝对选大的融合规则融合获得的所述红外图像和可见光图像的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数；根据基于非局部均值滤波的融合规则融合所述红外图像和可见光图像的低频子带系数；

还用于根据系数绝对选大的融合规则融合所述滤波后获得的非下采样方向子带系数。

所述融合单元3，还用于根据方向滤波重构融合后的非下采样方向子带系数，获得最终融合的高频子带系数和融合的水平方向子带系数。

所述重构单元4，用于对接收到的非下采样方向子带系数进行非下采样方向滤波重构，发送重构后获得的高频子带系数、水平方向子带系数到逆变换单元5。

所述逆变换单元5，用于对融合后的垂直方向子带系数、+45°方向子带系数、-45°方向子带系数、低频子带系数、以及重构后获得的高频子带系数、水平方向子带系数进行可操纵金字塔逆变换获得最终的融合图像。