一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法

摘要

本发明提供了一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法，基于简化脉冲耦合网络(S-PCNN)与拉普兰拉斯金字塔算法提出一种有效的彩色图像融合算法。在HSV彩色空间中，利用S-PCNN加局部熵对H分量进行特征区域聚类后，基于脉冲震荡频图实现各源图像的H分量融合；利用拉普拉斯金字塔对S、V分量进行对分辨率分解，而后利用不同融合规则对S、V分量进行融合。最后对新的H、S、V分量进行彩色空间逆变换，实现了RGB彩色图像的融合。本发明的实验结果表明，本发明算法无论是在主观视觉效果，还是客观评价标准上都优于其他常用图像融合算法。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法。

背景技术

图像融合是信息融合的一致分支，是当前信息融合的研究热点之一。彩色图像融合使融合后的图像对同一场景的描述更为准确、全面、可靠。目前彩色图像融合的研究相对较少，而人类视觉对色彩信息的可辨识度远高于灰度图像。随着传感器技术的改进和提供，彩色图像融合会受到越来越多的重视。彩色图像将不同亮度和不同色彩组合起来表示图像信息。所以，基于彩色空间的融合一般是对各个分量分别进行融合。常用算法如IHS、加权及PCA变换法等算法容易实现但是效果不佳。而基于多分辨率分析的融合算法，一般先对待融合的多源图像进行图像变换，然后对变换后的系数进行重新组合。依据图像分解方式的不同大致可分为基于金字塔变换的融合算法、基于小波变换的融合算法和基于多尺度几何变换的融合算法，这一类算法多用于像素级的图像融合。像素级融合处于图像融合分级的最底部一层，其每一个像素都是其他源图像对应像素所决定的。脉冲耦合神经网络(PCNN)依其在图像处理、模式识别、路由求解等领域的优良性能，被誉为第三地人工神经网络。PCNN是一种不同于传统人工神经网络的新型神经网络，它是由若干个神经元互相连接而成的反馈型网络，构成PCNN神经元是一个综合的动态非线性系统，比它具有传统人工神经网络无法比拟的优势。拉普拉斯金字塔算法是一种多尺度、多分辨率的、多层分解的图像处理方法，它可以将图像的重要特征(如边缘、纹理等)按照不同的尺度分解到不同的分解层上，与简单图像融合算法相比，它能够获得更好的融合效果,已被广泛应用于图像融合当中。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法。

本发明所采用的技术方案为：

本发明的基于S-PCNN与拉普拉斯金字塔的彩色图像融合研究，包含下列步骤：

A.首先，将已经配准好的RGB彩色图像空间转换到HSV彩色空间；

B.利用S-PCNN对H分量进行特征区域聚类后，用基于脉冲震荡频图实现各源图像的H分量融合；H分量处理过程：先将H分量送入S-PCNN模型进行迭代，得到点火频图OFG，再对H分量对应的S-PCNN点火频图OFG进行局部熵计算处理，得到OFG局部熵矩阵作为H分量的特征矩阵，最后对比不同源图像的H分量对应像素局部熵LE的大小，取具有较大的局部熵的像素作为融合像素；

C.图像拉普拉斯金字塔分解，其中，S、V分量，利用拉普拉斯金字塔对S、V分量进行对分辨率分解，而后利用不同融合规则对S、V分量进行融合；

D.最后对步骤A、B、C得到的新的H、S、V分量进行HSV彩色空间逆变换，最终得到融合后的RGB彩色图像。

本发明的有益效果为：本发明基于简化脉冲耦合网络(S-PCNN)与拉普拉斯金字塔算法提出一种有效的彩色图像融合算法；首先将RGB彩色图像空间转换到HSV彩色空间；在HSV彩色空间中，利用S-PCNN+局部熵对H分量进行特征区域聚类后，基于脉冲震荡频图实现各源图像的H分量融合；利用拉普拉斯金字塔对S、V分量进行对分辨率分解，而后利用不同融合规则对S、V分量进行融合。最后对新的H、S、V分量进行HSV彩色空间逆变换，得到融合后的RGB彩色图像。本发明通过一些客观指标，与其他几种常用算法进行对比，无论从主观视觉效果还是客观评价标准上都优于其他常用图像融合算法，实验结果都表明本发明算法可以很好的保存彩色图像的细节和色彩信息，融合后的彩色图像更为清晰、可靠。

本发明提供的基于S-PCNN与拉普拉斯金字塔算法，结合适于人眼视觉的HSV颜色模型，提出了一种有效的彩色图像融合算法。该算法先将RGB彩色图像转换为符合人眼视觉特性的HSV彩色空间；使用S-PCNN和局部熵对H分量特征进行聚类，而后对其对进行融合，因其具有哺乳动物视皮层视感知机制的PCNN模型对图像具有区域特征聚类的特性；对S、V分量进行拉普拉斯金字塔分解，通过不同的策略将其融合，因其是对图像特征进行多尺度分析的有效工具，它的塔形分解数据体现了图像的带通塔形滤波过程，其大小在各层分解尺度下保持一致；最后对融合得到的HSV彩色分量进行逆变换，得到融合的RGB彩色图像。因此，本发明可以利用拉普拉斯金字塔分解与S-PCNN的优点，对RGB图像进行有效的融合。实验证明本发明提出的彩色融合算法能较好的融合不同焦点的彩色图像，且能很好的保留源图像的细节、纹理和主要特征信息。说明本发明算法无论在直观效果还是在客观上，上优于其他算法。

附图说明

图1.为本发明彩色图像融合算法流程图；

图2为本发明实施例源图1；

图3为本发明实施例源图2；

图4为本发明融合图。

具体实施方式

如图1所示，本发明提供了一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法。下面结合附图和实施例对本发明作进一步详细的说明。

实施例：一种基于S-PCNN与拉普拉斯金字塔的彩色图像融合方法，具体包含以下步骤：

A、S-PCNN与拉普拉斯金字塔的彩色图像融合；首先，RGB彩色图像空间转换为HSV图像，得到H、S、V三个分量，H、S、V三个分量分别为：色调、饱和度、亮度。H用角度度量，取值范围是0°～360°；S代表颜色纯净程度，V表示图像明亮程度，是对灰度的衡量，它们的范围都是0～l。RGB彩色图像空间转换到HSV彩色空间的变换关系式如下所示：

$>S=\frac{\max \left(R,G,B\right)-\min \left(R,G,B\right)}{\max \left(R,G,B\right)}---\left(2\right)$>

V＝max(R，G，B)(3)

上式中的R是普通RGB格式图像中的红色分量，G为绿色分量，B蓝色分量，上述公式表述的是怎样将RGB转换到HSV色彩空间，计算得到了图像在HSV域的表示方式，RGB和HSV只是同一副图像的不同表示方式。因为处理H、S、V分量比R、G、B分量更有效，所以本文采用的是对H、S、V分量处理，所以，要将RGB格式的图像转换成HSV格式的图像，然后对HSV三个分量进行处理。

B、在HSV彩色空间中，利用S-PCNN对H分量进行特征区域聚类后，用基于脉冲震荡频图实验各源图像的H分量融合。H分量处理过程：先将H分量送入S-PCNN模型进行迭代，得到OFG(点火频图)，再对H分量对应的S-PCNN点火频图(OFG)进行局部熵计算处理，得到OFG局部熵矩阵作为H分量的特征矩阵。最后对比不同源图像的H分量对应像素局部熵(LE)的大小，取具有较大的局部熵的像素作为融合像素。其中S-PCNN模型如下；

F_ij(n)＝S_ij(4)

L_ij(n)＝V^LΣ_klW_kjY_ijkl(n-1)(5)

U_ij(n)＝F_ij(n)[1+βL_ij(n)](6)

$>{\theta }_{ij}\left(n\right)=e^{-{\alpha }^{\theta }}{\theta }_{ij}(n-1)+V_{ij}^{\theta }{Y}_{ij}\left(n-1\right)---\left(7\right)$>

$>Y_{ij}\left(n\right)=step\left(U_{ij}\left(n\right)-{\theta }_{ij}\left(n\right)\right)=\left(\begin{array}{c}1,U_{ij}\left(n\right)>{\theta }_{ij}\left(n\right)\\ 0,otherwise\end{array}\right)---\left(8\right)$>

对于神经元N_ij，式(7)描述的F通道输入和式(8)描述的L通道构成了它的接受域，其中神经元的F通道接受外部激励输入S_ij，即图像的像素值，而L通道接受邻域神经元N_kl的脉冲激励输入Y_ijkl，W_kj为邻域链接权，而V^L为通道幅值。然后在调制域，神经元的F通道输出和L通道输出经过非线性的相乘调制形成了神经元的内部状态值U，β为调制域中L通道输出的链接强度。最后，当内部状态值U大于神经元的阈值时θ_ij时，神经元发出脉冲，即Y_ij＝1。在迭代计算过程中，阈值θ_ij做非线性的指数衰减变化，衰减指数为α^θ，但在发出脉冲后，θ_ij在进行指数衰减的同时还叠加了一个幅值系数。

C、图像拉普拉斯金字塔分解，图像的拉普拉斯金字塔的变换是在由高斯金字塔的基础上得到的。因此，拉普拉斯金字塔分解分为两步：先将图像进行高斯金字塔分解，然后得到拉普拉斯金字塔。将高斯算子与原图像(用G0表示)进行卷积(即高斯低通滤波)，然后进行隔行隔列的下采样，得到图像在较低分辨率上的近似，分辨率是原图的一半(高斯金字塔的第一层)。再对采样后的图像进低通滤波和下采样，得到下一层高斯金字塔。如此反复进行上述操作，得到若干层，用以构成高斯金字塔。由上述得到的高斯金字塔的本层图像大小为前一层图像的1/4，然后利用插值法对高斯金字塔进行插值膨胀，使第l层图像G_l，膨胀后的尺寸与第l-1层图像G_l-1尺寸相同，其计算方式如下：

其中，

令

其中，上式中w(m，n)为低通窗口函数，大小为5×5,LP_l为拉普拉斯金字塔第l层，LP_N为拉普拉斯金字塔第N层。

D、由拉普拉斯金字塔重建原图像；拉普拉斯金字塔的各层图像经逐步内插放大到和下一层图像一样大，然后再相加即可重建原图像；当拉普拉斯金字塔的层数在0到N时，其能量大小可以反映图像的好坏，所有采用区域能量的方式选取系数。

S-PCNN对图像的细节、边缘等信息敏感，而拉普拉斯金字塔的高层含有图像的细节和纹理变化信息，所以在高层系数采用本发明S-PCNN模型来选取以保留图像的细节和纹理信息。将S、V分量分别进行拉普拉斯金字塔分解，并通过上述策略将各层图像信息合成新的S、V分量。将得到的新的HSV彩色图像，转换为RGB空间，得到融合后的彩色图像。从表1中可以看出，本文算法在这些评价客观指标上的数值比其他算法较为有效，其中，SF表情空间频率，STD、表示标准差，EN表示熵值，AV表示平均梯度，M表示均值，这些值均是越大表示图像质量越好。图2中可以看出本发明最为清晰，且色彩与源图像最为相近，证明了本文算法对彩色图像融合的有效性和可行性。

表1.基于不同融合方法所得融合图像的融合质量评价值。

SFSTDENAVM加权12.5765.017.454.20116.97PCA12.7665.177.444.23166.67WT13.1965.397.494.31163.33PCNN17.6266.277.455.27168.50本文20.4067.087.445.85166.96

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。