基于成像机理与非采样Contourlet变换多聚焦图像融合方法

摘要

本发明公开了一种基于成像机理与非采样Contourlet变换的图像融合方法。其过程为：首先，采用非采样Contourlet变换对源图像进行多尺度、多方向分解得到不同频域子带系数；其次，针对低频子带系数构建一种基于方向向量范数的融合规则，针对带通方向子带系数构建一种基于局部方向对比度和方向向量标准方差相结合的融合规则；然后，根据构建的融合规则分别对源图像的低频子带系数和各带通方向子带系数进行组合，得到融合图像的非采样Contourlet变换系数；最后，进行非采样Contourlet逆变换重构出融合图像。本发明具有融合效果好，配准误差对融合性能的影响少，能够有效避免将噪声传输到融合图像中之优点，可用于各种成像系统的后续处理和图像显示。

说明书

技术领域

本发明涉及图像处理领域，具体的说是涉及一种图像融合方法，可用于对多聚焦图像进行融合，得到全局聚焦良好的图像。

背景技术

由于光学镜头的景深有限，使得人们在摄影时很难获取一幅所有景物均聚焦清晰的图像。解决该问题的有效方法之一是对同一场景拍摄多幅聚焦点不同的图像，然后将其融合为一幅场景内所有景物均聚焦的图像。由于聚焦点的不同，多聚焦图像中具有不同的清晰区域和模糊区域，多聚焦图像融合的目的就是选取各幅图像中的清晰区域并将其组合成一幅图像，同时避免虚假信息的引入。多聚焦图像融合技术能够有效地提高图像信息的利用率和系统对目标探测识别的可靠性，已广泛应用于机器视觉、数码相机、目标识别等领域。

目前在众多的图像融合技术中，基于多尺度分解的图像融合方法是应用非常广泛并且及其重要的一类方法，例如Z.Zhang，R.S.Blum，“A categorization ofmultiscale-decomposition-based image fusion schemes with a performance study for a digitalcamera application，”Proc.IEEE，vol.87，no.8，1999，pp.1315-1326.及G.Piella，“A generalframework for multiresolution image fusion：from pixels to regions.”Information Fusion，vol.4，no.4，2003，pp.259-280.两篇文献公开的技术均属基于多尺度分解的图像融合方法。由于图像的多尺度分解过程与计算机视觉和人眼视觉系统中由粗到细认识事物的过程十分相似，因此，与传统的图像融合方法相比，基于多尺度分解的图像融合方法能够明显改善系统的融合性能。如图1所示，基于多尺度分解的图像融合过程为：首先采用一定的图像多尺度分解工具对待融合图像进行多尺度分解，得到各自的多尺度变换系数，然后采用一定的融合规则对变换系数进行组合得到融合图像的多尺度变换系数，最后再进行多尺度重构得到最终的融合图像。图像的多尺度分解和重构工具以及融合规则是基于多尺度分解图像融合方法中两个至关重要的因素。常用的多尺度分解和重构工具包括塔式变换和小波变换。由于小波具有良好的时频局部特性以及方向特性，基于小波变换的图像融合方法相对于基于塔式变换的图像融合方法具有更高的融合性能。常用的融合规则主要包括基于像素选取的融合规则、局域窗口选取的融合规则和基于区域选取的融合规则。

尽管国内外学者对基于多尺度分解的图像融合方法进行了大量的研究工作，但目前基于多尺度分解的图像融合方法还存在以下不足：

(1)从图像的多尺度分解和重构工具角度：尽管小波变换在图像处理领域，包括图像融合领域中得到了广泛的研究和应用，并取得了巨大的成功。但利用小波对图像进行多尺度分析时，存在着两个主要的问题：①小波变换只能反映信号的零维奇异性，即反映奇异“点”的位置和特性。而在二维图像中，物体光滑边界使得图像的不连续性往往表现为光滑曲线上的奇异性而并不仅仅是点奇异。因此，用二维小波对图像进行分析时，表现为用“点”逼近“线”，这就需要更多的系数表示图像中的直线或曲线，从而无法实现对图像的稀疏表示。②采用由一维小波张量生成的二维小波对图像信号进行分析时，只能获取水平、垂直和对角三个方向上的信息，无法精确地表达图像中边缘的方向。目前，基于多尺度分解图像融合方法中采用的融合规则往往是一种近似的“模值取大”的融合规则。因此基于小波变换的图像融合方法容易引入“人为”效应或高频噪声，在一定程度上影响了融合图像的质量。

(2)从融合规则角度：一方面，目前多数方法对低频子带系数进行选择时，采用的是一种平均法，而这会在一定程度上降低融合图像的对比度；对高频子带系数进行选择时没有将噪声和图像的几何特征进行区分，这使得融合方法容易将噪声误作为有效信息提取并注入到融合图像中。另一方面，在制定融合规则时，多数融合方法没有分析源图像的成像机理，只是从图像本身入手，将待融合图像仅仅作为一种普通的二维信号来处理。因此，所得到的融合方法并不能得到最佳的融合效果。

发明的内容

本发明的目的在于克服上述已有技术的不足，提出一种基于成像机理与非采样Contourlet变换的图像融合方法，以融合多聚焦图像，提取源图像中的有用信息，得到多个目标都清晰的图像，同时降低对噪声和配准误差的敏感度。

本发明是这样实现的：

本发明是在基于多尺度分解的图像融合方法框架的基础上，采用非采样Contourlet变换作为图像的多尺度分解和重构工具，同时，结合非采样Contourlet变换的方向特性、源图像的成像机理以及人眼视觉特性等制定了有效的融合规则。

以两幅输入图像为例，本发明的具体实现方法包括如下步骤：

(1)采用非采样Contourlet变换对源图像分别进行多尺度、多方向分解，得到各自的低频子带系数和带通方向子带系数；

(2)对低频子带系数，利用构建的基于方向向量范数的低频融合公式进行组合：

$C_{j_0}^F(m,n)=\left(\begin{array}{cc}{C}_{j_0}^A(m,n)& ,{\left|\right|V_{j_0}(m,n)\left|\right|}^A-{\left|\right|V_{j_0}(m,n)\left|\right|}^B>\mathrm{th}\\ C_{j_0}^A(m,n)\times 0.5+C_{j_0}^B(m,n)\times 0.5& ,|{\left|\right|V_{j_0}(m,n)\left|\right|}^A-{\left|\right|V_{j_0}(m,n)\left|\right|}^B|\le \mathrm{th}\\ C_{j_0}^B(m,n)& ,{\left|\right|V_{j_0}(m,n)\left|\right|}^B-{\left|\right|V_{j_0}(m,n)\left|\right|}^A>\mathrm{th}\end{array}\right)$

其中，C_j0^A(m，n)、C_j0^B(m，n)、C_j0^F(m，n)分别表示源图像A、B和融合图像F的非采样Contourlet变换低频子带系数，‖V_j0(m，n)‖^A、‖V_j0(m，n)‖^B分别表示源图像A、B在最粗糙尺度j₀，位置(m，n)处的方向向量范数，th为实验阈值；

(3)对带通方向子带系数，利用构建的基于局部方向对比度与方向向量标准方差相结合的带通融合公式进行组合：

$C_{j,r}^F(m,n)=\left(\begin{array}{cc}{C}_{j,r}^A(m,n)& ,R_{j,r}^A(m,n)D{\sigma }_j^A(m,n)\ge R_{j,r}^B(m,n)D{\sigma }_j^B(m,n)\\ C_{j,r}^B(m,n)& ,R_{j,r}^A(m,n)D{\sigma }_j^A(m,n)<R_{j,r}^B(m,n)D{\sigma }_j^B(m,n)\end{array}\right)$

其中，C_j，r^A(m，n)、C_j，r^B(m，n)、C_j，r^F(m，n)分别表示源图像A、B和融合图像F在尺度j、方向r处的非采样Contourlet变换带通方向子带系数，R_j，r^A(m，n)、R_j，r^B(m，n)分别表示源图像A、B在尺度j、方向r、位置(m，n)处的局部方向对比度，Dσ_j^A(m，n)、Dσ_j^B(m，n)分别表示源图像A、B在尺度j、位置(m，n)处的方向向量标准方差；

(4)对组合后的系数进行非采样Contourlet逆变换，重构出融合图像。

本发明具有如下效果：

1)较传统的基于离散小波变换图像融合方法和基于离散小波框架变换图像融合方法具有更高的融合性能。相对于小波变换，本发明采用的非采样Contourlet变换不仅具有多尺度、良好的空域和频域局部特性，还具有多方向特性，变换后图像的能量更加集中，更利于跟踪图像中的几何特征，因此能够为图像融合提取更多的信息。同时，非采样Contourlet变换还具有平移不变特性，在融合过程中能够减少配准误差对融合性能的影响。

2)能够正确地选取源图像中的清晰区域作为融合图像的相应区域，得到与参考图像更接近的融合图像。根据多聚焦图像的成像机理，得出离焦光学系统具有低通滤波特性，可以根据图像的高频信息判断图像的聚焦性。本发明所采用的方向向量范数能够正确地表征图像的聚焦性，根据方向向量范数可以判断源图像中哪些区域为聚焦良好的区域，哪些区域为离焦区域，从而能够正确地对源图像中的清晰区域进行选择。

3)能够最大可能地提取源图像中的有用细节信息的同时，有效避免将噪声传输到融合图像中，降低了融合方法对噪声的敏感度。由于本发明定义的方向对比度符合人眼视觉系统同时具有频率选择和方向选择的特性，因此能够很好地提取源图像中的细节信息。同时，由于本发明采用的方向向量标准方差能够很好地区分噪声和图像中的几何特征，故可避免噪声的引入，降低了融合方法对噪声的敏感度。

附图说明

图1为已有基于多尺度分解图像融合方法过程图。

图2为本发明提出的图像融合方法过程图。

图3为离焦光学系统原理图。

图4为本发明第一组仿真结果图，其中，4(a)，4(b)分别为聚焦在前景和后景的源图像，4(c)为参考图像，4(d)为加权平均WAV方法的融合图像，4(e)为离散小波变换DWT方法的融合图像，4(f)为离散小波框架变换DWFT方法的融合图像，4(g)为NSCT_Simple方法的融合图像，4(h)为本发明的融合图像。

图5为图4中局部放大图像，其中，5(a)～5(f)分别对应图4(c)～4(h)。

图6为本发明第二组仿真结果图，其中，6(a)，6(b)分别为聚焦在前景和后景的源图像，6(c)为参考图像，6(d)为加权平均WAV方法的融合图像，6(e)为离散小波变换DWT方法的融合图像，6(f)为离散小波框架变换DWFT方法的融合图像，6(g)为NSCT_Simple方法的融合图像，6(h)为本发明的融合图像。

图7为图6中局部放大图像，其中，7(a)～6(f)分别对应图6(c)～6(h)。

具体实施方式

以下参照附图对本发明作进一步详细的描述。

参照图2，本发明的步骤为：

第一步：对配准后的源图像A、B采用非采样Contourlet变换分别进行多尺度、多方向分解，得到各自的子带系数{C_j0^A(m，n)，C_j，l^A(m，n)(j₀≥j≥1，l_j≥l≥1)}和{C_j0^B(m，n)，C_j，l^B(m，n)(j₀≥j≥1，l_j≥l≥1)}，其中C_j0(m，n)为低频子带系数，C_j，l(m，n)为各带通方向子带系数，尺度分解级数j₀一般取3～5，本发明中取j₀＝4，l_j为j尺度下方向分解级数，本发明中由最粗糙尺度到最精细尺度方向分解级数分别取为：2，3，3，4，即相应尺度下分别有4个、8个、8个、16个方向，以保证非采样Contourlet变换的各向异性。

第二步：制定低频子带系数的融合规则。

在几何光学条件下，离焦模糊图像函数g(x，y)与理想调焦像函数g_r(x，y)的关系可表示为：

g(x，y)＝h(x，y)*g_r(x，y)+n(x，y)

其中，*表示卷积运算，n(x，y)表示随机噪声，h(x，y)表示离焦光学系统的点扩展函数，并可以通过下述方法获得。

如图3所示，图中P点表示点物，d₀表示物距，d₁表示准焦距，z表示离焦量，Q表示P的准焦像，i表示摄像平面。在聚焦良好的情况下，即传感器器的靶面和像平面重合时，从P点出发的光线经透镜成像在像平面的调焦像Q点；当传感器的靶面和像平面不重合时，在靶面上就有一定大小的模糊光斑，称为点物P的离焦像。调焦像平面距摄像平面越远，这个模糊斑的斑点就越大。模糊斑的半径用r₀表示，则离焦光学系统的点扩展函数h(x，y)可表示为：

$h(x,y)==\left(\begin{array}{cc}1/\left(\pi r_0^2\right),& x^2+y^2\le r_0\\ 0,& x^2+y^2>r_0\end{array}\right)$

相应地，点扩展函数的傅立叶变换，即光学传输函数为：

$H(f_x,f_y)=2\pi r_0{J}_1\left(r_0\sqrt{f_x^2+f_y^2}\right)/\sqrt{f_x^2+f_y^2}$

其中，f_x、f_y分别表示频域中水平和垂直变量，J₁(x)为一阶贝塞尔函数。从上式可以得出，离焦成像系统的点扩张函数具有低通滤波特性，因而离焦成像系统可近似为一种低通滤波器。离焦成像系统作为一个低通滤波器，大大抑止了原始图像的高频细节信息，使得离焦图像变得模糊，而聚焦良好的图像则具有丰富的高频细节信息，因此，对于多聚焦图像，可以根据相应区域的高频细节信息确定该区域为离焦区域还是聚焦区域。在此基础上，本发明采用方向向量范数表征图像的聚焦性，制定了一种基于方向向量范数的“选择”和“平均”相结合的低频子带系数的融合规则，其具体过程如下：

首先，在最粗糙尺度j₀，位置(m，n)处定义2^lj0维方向向量V_j0(m，n)：

$V_{j_0}(m,n)={(\left|C_{j_0,1}(m,n)\right|,\left|C_{j_0,2}(m,n)\right|,...,\left|C_{{j_0,2}^{l_{j0}}}(m,n)\right|)}^T$

其中，C_j0，r(m，n)为图像在尺度j₀、方向r、位置(m，n)处的非采样Contourlet变换带通方向系数，l_j0为相应尺度下方向分解级数，|·|表示模值；

其次，定义方向向量范数‖V_j0(m，n)‖：

$\left|\right|V_{j_0}(m,n)\left|\right|=\sqrt{\underset{r=1}{\overset{2^{l_{j_0}}}{\Sigma }}{\left|C_{j_0,r}(m,n)\right|}^2};$

最后，定义低频子带系数的融合规则公式为：

$C_{j_0}^F(m,n)=\left(\begin{array}{cc}{C}_{j_0}^A(m,n)& ,{\left|\right|V_{j_0}(m,n)\left|\right|}^A-{\left|\right|V_{j_0}(m,n)\left|\right|}^B>\mathrm{th}\\ C_{j_0}^A(m,n)\times 0.5+C_{j_0}^B(m,n)\times 0.5& ,|{\left|\right|V_{j_0}(m,n)\left|\right|}^A-{\left|\right|V_{j_0}(m,n)\left|\right|}^B|\le \mathrm{th}\\ C_{j_0}^B(m,n)& ,{\left|\right|V_{j_0}(m,n)\left|\right|}^B-{\left|\right|V_{j_0}(m,n)\left|\right|}^A>\mathrm{th}\end{array}\right)$

其中，C_j0^A(m，n)、C_j0^B(m，n)、C_j0^F(m，n)分别表示源图像A、B和融合图像F的非采样Contourlet变换低频子带系数，‖V_j0(m，n)‖^A、‖V_j0(m，n)‖^B分别表示源图像A、B在最粗糙尺度j₀，位置(m，n)处的方向向量范数，th为实验阈值；。

第三步：制定各带通方向子带系数的融合规则。

制定该融合规则的原理是：1)根据人眼视觉系统对局部对比度比较敏感，还同时具有频率和方向选择特性，提出了局部方向对比度的概念，以最大可能地提取源图像中的细节信息；2)根据噪声和图像的几何特征在Contourlet域中的分布差异，提出了方向向量标准方差的概念，以区分图像的几何特征与噪声，提高融合方法的鲁棒性，避免噪声传输到融合结果中。由于图像中的几何特征往往表现出具有多尺度性和较强的方向性，在Contourlet域中表现为只在少数方向上具有较大的能量，而对于噪声，虽然也有局部能量极大值，但缺少方向性，在Contourlet域中表现为局部能量平坦分布在所有方向上，因此方向向量标准方差能够很好地区分图像中的几何特征与噪声。

结合局部方向对比度和方向向量标准方差，按如下过程制定了一种带通方向子带系数的融合规则：

首先，在Contourlet域中尺度j(j≥j₀)、方向r(r＝1，2，...2^lj，l_j为尺度j下方向分解级数)、位置(m，n)处定义局部方向对比度R_jr(m，n)：

$R_{j,r}(m,n)=\left(\begin{array}{cc}\frac{\left|C_{j,r}(m,n)\right|}{{\bar{I}}_j(m,n)}& ,{\bar{I}}_j(m,n)\ne 0\\ \left|C_{j,r}(m,n)\right|& ,{\bar{I}}_j(m,n)=0\end{array}\right)$

其中，C_j，r(m，n)为图像在尺度j、方向r处的非采样Contourlet变换带通方向子带系数，为该尺度下低频子带图像I_j在位置(m，n)处的局部区域均值，即：${\bar{I}}_j(m,n)=\underset{k_1=-(M_1-1)/2}{\overset{(M_1-1)/2}{\Sigma }}\underset{k_2=-(N_1-1)/2}{\overset{(N_1-1)/2}{\Sigma }}{I}_j(m+k_1,n+k_2)$，M₁×N₁一般取为3×3、5×5等，实际操作中可以用C_j0(m，n)代替以简化运算；

其次，在尺度j，位置(m，n)处，引入2^lj维向量V_j(m，n)以表示图像在该尺度下(频带范围内)各方向上的能量强度：

$V_j(m,n)={(\left|C_{j,1}(m,n)\right|,\left|C_{j,2}(m,n)\right|,...,\left|C_{{j,2}^{l_j}}(m,n)\right|)}^T;$

然后，定义向量V_j(m，n)的标准方差Dσ_j(m，n)以表征图像在该尺度下各方向上能量分布的分散情况：

$D{\sigma }_j(m,n)=\mathrm{std}\left(V_j(m,n)\right)=\sqrt{\frac{1}{2^{l_j}}\underset{r=1}{\overset{2^{l_j}}{\Sigma }}{[\left|C_{j,r}(m,n)\right|-{\bar{V}}_j(m,n)]}^2}$

其中，对向量V_j(m，n)各分量求均值得到，即：${\bar{V}}_j(m,n)=\frac{1}{2^{l_j}}\underset{r=1}{\overset{2^{l_j}}{\Sigma }}\left|C_{j,r}(m,n)\right|;$

最后，结合局部方向对比度和方向向量标准方差，得出带通方向子带系数的融合规则公式为：

$C_{j,r}^F(m,n)=\left(\begin{array}{cc}{C}_{j,r}^A(m,n)& ,R_{j,r}^A(m,n)D{\sigma }_j^A(m,n)\ge R_{j,r}^B(m,n)D{\sigma }_j^B(m,n)\\ C_{j,r}^B(m,n)& ,R_{j,r}^A(m,n)D{\sigma }_j^A(m,n)<R_{j,r}^B(m,n)D{\sigma }_j^B(m,n)\end{array}\right)$

其中，C_j，r^A(m，n)、C_j，r^B(m，n)、C_j，r^F(m，n)分别表示源图像A、B和融合图像F在尺度j、方向r处的非采样Contourlet变换带通方向子带系数，R_j，r^A(m，n)、R_j，r^B(m，n)分别表示源图像A、B在尺度j、方向r、位置(m，n)处的局部方向对比度，Dσ_j^A(m，n)、Dσ_j^B(m，n)分别表示源图像A、B在尺度j、位置(m，n)处的方向向量标准方差。

第四步：根据低频子带系数和各带通方向子带系数各自的融合规则对源图像的非采样Contourlet变换系数进行组合，得到融合图像F的非采样Contourlet变换系数{C_j0^F(m，n)，C_j，r^F(m，n)(j₀≥j≥1，l_j≥r≥1)}；

第五步：对得到的融合图像的变换系数进行非采样Contourlet逆变换，重构出融合图像F。

为验证本发明的有效性和正确性，采用了两组多聚焦图像进行融合仿真实验，所有仿真实验均在Windows XP操作系统下采用Matlab 7.0软件实现的。

仿真一

对一组完全配准过的多聚集图像进行仿真实验，所采用的图像大小为640×480灰度级为256色。并将融合结果与采用加权平均WAV方法、以及其它三种采用简单融合规则，即低频系数取平均和高频系数模值取大，的基于离散小波变换DWT方法、基于离散小波框架变换DWFT方法和基于非采样Contourlet变换NSCT_Simple方法进行比较。仿真结果及源图像如图4和图5所示。

采用均方误差E_MSE，偏差指数d_DC以及基于边缘信息的性能评价因子Q进行客观评价。评价结果如表1所示。

表1对图4中采用不同融合方法得到的性能比较数据

  方法  E_MSE  d_DC  Q(I₁，F)  Q(I₂，F)Q(I₁，I₂，F)L(I₁，I₂，F)N(I₁，I₂，F)  WAV方法  16.7927  0.1003  0.2166  0.33960.5512  0.4387  0.0231  DWT方法  9.0391  0.0567  0.2121  0.46040.6725  0.2140  0.3746  DWFT方法  5.1657  0.0443  0.2246  0.48720.7118  0.2114  0.2766  NSCT_Simple方法  4.6749  0.0425  0.2281  0.49250.7205  0.2113  0.2455  本发明方法  3.4654  0.0340  0.2301  0.49790.7279  0.2081  0.2434

表1中Q(I₁，F)、Q(I₂，F)分别表示融合图像F相对于源图像I₁、I₂边缘信息保留量；Q(I₁，I₂，F)、L(I₁，I₂，F)、N(I₁，I₂，F)分别表示融合图像相对于源图像整体边缘信息保留量、信息丢失量和虚假信息引入量。

从图4、图5以及表1可以看出本发明融合性能最高，能够从源图像中提取更多的有用信息，同时最大可能地避免虚假信息的引入，得到与参考图像最为接近的融合图像。

仿真二

对一组存在配准误差的多聚集图像进行仿真实验，所采用的图像大小为640×480，灰度级为256色。并将融合结果与采用加权平均WAV方法、基于离散小波变换DWT方法、基于离散小波框架变换DWFT方法和NSCT_Simple方法进行比较。仿真结果及源图像如图6和图7所示。

采用均方误差E_MSE，偏差指数d_DC以及基于边缘信息的性能评价因子Q进行客观评价。评价结果如表2所示。

表2对图6中采用不同融合方法得到的性能比较数据

  方法  E_MSE  d_DC  Q(I₁，F)  Q(I₂，F)Q(I₁，I₂，F)L(I₁，I₂，F)N(I₁，I₂，F)  WAV方法  13.5136  0.0653  0.2915  0.31270.60420.39060.0111  DWT方法  8.0208  0.0349  0.3291  0.37650.70550.19160.3260  DWFT方法  5.7628  0.0274  0.3416  0.39550.73710.18920.2483  NSCT-simple方法  5.4122  0.0260  0.3454  0.40060.74600.18980.2159  本发明方法  4.5542  0.0222  0.3476  0.40490.75230.18890.2043

从图6、图7以及表2可以看出，本发明对配准误差具有一定的鲁棒性，能够有效减少配准误差对融合性能的影响。