基于对比度金字塔变换的多聚焦图像融合方法

摘要

本发明涉及一种基于对比度金字塔变换的多聚焦图像融合方法，首先对输入的左聚焦源图像与右聚焦源图像进行预处理和图像增强；其次对所得增强图像分别求取信息熵并据此确定加权融合系数得到一次融合图像；然后对两幅增强图像与一次融合图像分别进行对比度塔形分解，得到分解层序列图像；对所得顶层图像根据图像间像素信息差异确定加权融合系数，其他层图像采用像素绝对值取大的融合规则；对所得的融合图像序列进行图像重构，得到融合图像；最后将该融合图像与两幅增强图像进行形态学梯度处理所得图像进行二次融合，得到最终的融合结果图像。本发明能够对多聚焦图像进行融合，其融合结果图像具有对比度强、信息全面丰富、边缘突出、细节清晰的特点。

说明书

技术领域

本发明属于数字图像处理技术领域，特别是一种基于对比度金字塔变换的多聚焦图像融合方法。

背景技术

光学传感器由于光学成像系统本身的限制在对某一场景成像时会出现聚焦范围内的物体清晰可辨，而聚焦范围外的物体模糊化的现象，将同一场景下、聚焦在不同目标上的两幅或多幅图像进行融合处理，进而得到一幅信息全面、所有目标均清晰成像、便于人眼观察分析的图像的过程称为多聚焦图像融合。多聚焦融合图像具有信息量大、准确度高、各目标清晰可辨的特点，可以有效提升人们对目标场景的理解，利于人眼观察识别目标及计算机的后续分析处理。多聚焦图像融合技术能够极大地改善图像质量，提高图像信息的利用率，增加系统对目标探测识别的可靠性，该技术正日益广泛地应用于机器视觉、遥感探测、医疗诊断、目标识别等相关领域。

评判一幅多聚焦融合结果图像的好坏需要注意以下几点，一是融合图像是否包含了各源图像中所有的重要信息，同时不人为引进错误信息；二是融合图像中各目标是否清晰可辨，便于人眼观察及识别场景目标；三是融合图像不能失真，即不能与实际图像产生过大偏差，应准确客观地反映场景信息。

从图像融合处理域来看，图像融合方法可大致分为基于空间域的图像融合和基于变换域的图像融合两大类。基于空间域的图像融合是直接对图像的像素灰度空间进行融合，如线性加权图像融合方法、主成分分析(PCA)融合方法，这些方法的优点在于算法简单，融合速度快，但缺点也是显而易见的，即图像的重要信息易被削弱，图像的细节容易丢失；基于变换域的图像融合则是先对待融合的几幅源图像进行图像变换处理，然后计算获取融合图像的变换系数，最后通过逆变换得到融合结果图像，如基于DCT变换的图像融合方法、基于FFT变换的图像融合方法、基于多尺度分解的图像融合方法等。基于变换域的融合方法是目前图像融合领域的研究热点，而基于变换域的图像融合研究中，大多数是基于多尺度分解的图像融合方法。基于多尺度变换的图像融合方法的一般步骤为：(1)将两幅或多幅输入源图像进行多尺度分解，得到具有不同分辨率和空间频率信息的序列分解层图像；(2)在所得到的各分解层上分别采用适当的融合规则，进行融合处理；(3)对各层次图像进行重构处理，得到最终的融合图像。传统方法中，顶层图像即低频域图像采用加权系数直接取平均的融合方法，其他层图像即高频域图像采用对应像素值取大的融合规则。但由于图像的绝大部分能量保存在低频域中，这种通过直接取平均进行低频图像融合及简单地利用高频图像对应像素值取大的方法易使源图像的重要信息丢失或削弱，导致图像对比度下降，会极大地影响融合图像的质量。

发明内容

本发明的目的在于提供一种基于对比度金字塔变换的多聚焦图像融合方法。

实现本发明目的的技术方案为：一种基于对比度金字塔变换的多聚焦图像融合方法，包括以下步骤：

步骤1，图像预处理：对同一场景下聚焦在不同物体上的已经经过像素级配准的左聚焦源图像与右聚焦源图像分别进行灰度化处理，得到左聚焦灰度图像与右聚焦灰度图像；

步骤2，图像增强：对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理，得到左聚焦锐化图像和右聚焦锐化图像；

步骤3，获取一次融合图像：对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵，根据信息熵确定加权融合系数，得到一次融合图像；

步骤4，对比度塔形分解：对步骤2得到的两幅锐化图像及步骤3得到的一次融合图像分别进行对比度塔形分解，将图像分解成具有不同分辨率、不同空间频率信息的多层子图像；

步骤5，顶层图像融合：对两幅锐化图像分解得到的顶层图像分别与一次融合图像分解得到的顶层图像进行交叉熵求取，确定顶层图像的加权融合系数，得到顶层的融合图像；

步骤6，其他层图像融合：比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值，将像素绝对值较大者作为对应融合层图像在对应点处的像素值；

步骤7，图像重构：对步骤5和步骤6所组成的融合图像序列进行对比度塔形逆变换，得到重构融合图像；

步骤8，二次融合：对步骤2所得两幅锐化图像分别进行形态学梯度处理，将处理得到的两幅图像与步骤7所得融合图像进行二次融合，得到最终的融合结果图像。

与现有技术相比，本发明的显著优点为：

(1)本发明对输入图像进行拉普拉斯锐化增强处理，可使图像的对比度大大提高，图像信息得到增强，可以从锐化增强后的图像中看出原图像中很多模糊的细节，有效克服了多聚焦图像部分景物模糊化的现象，同时对聚焦部分的图像也起到很大的信息增强作用，因此可使融合结果图像中目标特征更明显，景物细节更清晰；

(2)相对于拉普拉斯金字塔、比率金字塔等其他几种金字塔方法来说，图像的对比度塔形分解不仅是图像的多尺度、多分辨率塔形分解，更重要的是其每一分解层图像均反映了图像在相应尺度、相应分辨率上的对比度信息，而人眼的视觉系统对于图像的对比度变化十分敏感，本发明基于对比度塔形分解的融合方法可以获得与人的视觉特性更为接近的融合效果；

(3)本发明引进一次融合图像，并与锐化后图像同时进行塔形分解，通过顶层像素信息相关度、其他各层像素绝对值的比对，使得图像的各显著信息得到最大程度的保留利用，大大降低了使用直接平均等方法融合所造成的图像模糊及图像重要信息被削弱的缺点，融合像素的选取更公正，融合结果更为客观准确；

(4)本发明利用形态学梯度处理锐化后的图像并与重构得到的融合图像进行二次融合，可以更为有效地突出图像中景物的边缘，增加细节信息，提高对比度，使融合结果图像信息更准确、更全面，景物更清晰，获得具有更佳融合效果的结果图像。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于对比度金字塔变换的多聚焦图像融合方法的总体操作流程图。

图2是本发明顶层图像融合操作的流程图。

图3(a)是本发明方法仿真使用的左聚焦源图像。

图3(b)是本发明方法仿真使用的右聚焦源图像。

图4(a)是本发明方法经拉普拉斯锐化增强后得到的左聚焦锐化图像。

图4(b)是本发明方法经拉普拉斯锐化增强后得到的右聚焦锐化图像。

图5是本发明的一次融合结果图像。

图6是本发明的最终融合结果图像。

图7(a)是简单平均融合结果图像。

图7(b)是传统的拉普拉斯金字塔变换融合结果图像。

图7(c)是传统的对比度金字塔变换融合结果图像。

图7(d)是传统的梯度金字塔变换融合结果图像。

图7(e)是传统的形态金字塔变换融合结果图像。

图7(f)是传统的小波变换融合结果图像。

图7(g)是本发明方法最终融合结果图像。

具体实施方式

结合图1，本发明的一种基于对比度金字塔变换的多聚焦图像融合方法，包括以下步骤：

步骤1，图像预处理：对同一场景下聚焦在不同物体上的已经经过像素级配准的左聚焦源图像与右聚焦源图像分别进行灰度化处理，得到左聚焦灰度图像与右聚焦灰度图像；

步骤2，图像增强：对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理，得到左聚焦锐化图像和右聚焦锐化图像；使得图像的边缘部分得到放大，细节部分更加的锐利，从而增强图像的对比度；

拉普拉斯算子是线性二次微分算子，具有各向同性和位移不变性，一个二元图像函数f(x,y)的拉普拉斯算子定义为：

$>{▿}^{2}f(a,b)=\frac{{\partial }^{2}f(a,b)}{\partial a^2}+\frac{{\partial }^{2}f(a,b)}{\partial b^2}---\left(1\right)$>

其差分形式为：

$>{▿}^{2}f(a,b)=f(a+1,b)+f(a-1,b)+f(a,b+1)+f(a,b-1)-4f(a,b)---\left(2\right)$>

表示成模板形式为：

$>\left(\begin{array}{ccc}0& -1& 0\\ -1& 4& -1\\ 0& -1& 0\end{array}\right)---\left(3\right)$>

为得到边缘放大的锐化图像，需将上述变化表示叠加到原像素，即将原图像与经过拉普拉斯滤波后的图像做差值处理，模板算子为：

$>\left(\begin{array}{ccc}0& -1& 0\\ -1& 5& -1\\ 0& -1& 0\end{array}\right)---\left(4\right)$>

步骤3，获取一次融合图像：对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵，根据信息熵确定加权融合系数，得到一次融合图像；具体为：

步骤3-1，求取左聚焦锐化图像、右聚焦锐化图像的信息熵

在图像处理领域中，信息熵是用来表征图像信息丰富程度的一个重要指标，其值越大，代表图像所包含的信息越丰富、信息量越大；信息熵的计算方法为：

$>E=-\underset{i=0}{\overset{L-1}{\Sigma }}{p}_i{\log }_2{p}_i---\left(5\right)$>

式中，i代表图像的灰度值，p_i为灰度值等于i的像素数与图像总像素数之比，L代表所取的最大灰度级别；

根据上式对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵数值；

步骤3-2，确定一次融合图像的加权融合系数

左聚焦锐化图像和右聚焦锐化图像的融合系数分别设为α、β，则有

$>\left(\begin{array}{c}\alpha =\frac{E_{left}^{\prime }}{E_{left}^{\prime }+E_{right}^{\prime }}\\ \beta =\frac{E_{right}^{\prime }}{E_{left}^{\prime }+E_{right}^{\prime }}\end{array}\right)---\left(6\right)$>

式中，E′_left、E′_right分别为左聚焦锐化图像、右聚焦锐化图像的信息熵值；

步骤3-3，获取一次融合图像

对左聚焦锐化图像和右聚焦锐化图像进行加权融合，得到一次融合图像为

firstfusion＝F′_left*α+F′_right*β>

式中，F′_left、F′_right分别为左聚焦锐化图像、右聚焦锐化图像。

步骤4，对比度塔形分解：对步骤2得到的两幅锐化图像及步骤3得到的一次融合图像分别进行对比度塔形分解，将图像分解成具有不同分辨率、不同空间频率信息的多层子图像；具体为：

步骤4-1，建立图像的高斯塔形分解

设原图像为G₀，以G₀作为高斯金字塔的第零层图像，将高斯金字塔的第l-1层图像G_l-1和一个具有低通特性的窗口函数ω(m,n)进行卷积，再把卷积结果做隔行隔列的降采样得到高斯金字塔的第l层图像，即

$>G_l=\underset{m=-2}{\overset{2}{\Sigma }}\underset{n=-2}{\overset{2}{\Sigma }}\omega (m,n)G_{l-1}(2k+m,2j+n),0<l\le N,0\le k<C_l,0\le j<R_l---\left(8\right)$>

式中，N为高斯金字塔顶层的层号；C_l、R_l分别表示高斯金字塔第l层图像的列数、行数；ω(m,n)为二维可分离的、大小为5×5的窗口函数，表示为：

$>\omega =\frac{1}{256}\left(\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right)---\left(9\right)$>

由G₀、G₁、…、G_N即构成高斯金字塔，金字塔总层数为N+1；

步骤4-2，建立图像的对比度塔形分解

将高斯金字塔图像G_l内插放大，得到与G_l-1具有相同尺寸的放大图像即

$>G_l^{*}=4\underset{m=-2}{\overset{2}{\Sigma }}\underset{n=-2}{\overset{2}{\Sigma }}\omega (m,n)G_l^{\prime }(\frac{k+m}{2},\frac{j+n}{2}),0<l\le N,0\le k<C_l,0\le j<R_l---\left(10\right)$>

式中

>

则对比度金字塔的第l层图像CP_l可表示为

$>\left(\begin{array}{c}{\mathrm{CP}}_l=\frac{G_l}{G_{l+1}^{*}}-I,0\le l<N\\ {\mathrm{CP}}_N=G_N,l=N\end{array}\right)---\left(12\right)$>

式中，I为单位矩阵；

由CP₀、CP₁、…、CP_N即构成对比度金字塔。

步骤5，顶层图像融合：对两幅锐化图像分解得到的顶层图像分别与一次融合图像分解得到的顶层图像进行交叉熵求取，确定顶层图像的加权融合系数，得到顶层的融合图像；具体包括：

步骤5-1，求取交叉熵

交叉熵反映了两幅图像对应像素之间的差异，是对两幅图像所含信息的相对衡量。若对融合图像和源图像求交叉熵，就可得到融合图像与原始图像之间信息的差异，交叉熵值越小，表示两幅图像之间的差异越小，即融合方法从原始图像得到的信息量越多。

设源图像和融合图像的灰度分布分别为p1＝{p1₀,p1₁,...,p1_i,...,p1_L-1}和q1＝{q1₀,q1₁,...,q1_i,...,q1_L-1}，则交叉熵定义为

$>CE=\underset{i=0}{\overset{L-1}{\Sigma }}p{1}_i{\log }_2\frac{p{1}_i}{q{1}_i}---\left(13\right)$>

式中，i代表图像的灰度值，p1_i为源图像中灰度值等于i的像素数与图像总像素数之比，q1_i为融合图像中灰度值等于i的像素数与图像总像素数之比，L代表所取的最大灰度级别；

由上式分别对两幅锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像进行交叉熵求取；

步骤5-2，确定顶层图像加权融合系数

设左聚焦锐化图像和右聚焦锐化图像分解得到的顶层图像的融合系数分别设为α₂、β₂，则有

$>\left(\begin{array}{c}{\alpha }_2=\frac{{\mathrm{CE}}_{right}^{\prime }}{{\mathrm{CE}}_{left}^{\prime }+{\mathrm{CE}}_{right}^{\prime }}\\ {\beta }_2=\frac{{\mathrm{CE}}_{left}^{\prime }}{{\mathrm{CE}}_{left}^{\prime }+{\mathrm{CE}}_{right}^{\prime }}\end{array}\right)---\left(14\right)$>

式中，CE′_left、CE′_right分别代表左、右聚焦锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像之间求取的交叉熵值；

步骤5-3，获取顶层融合图像

对左聚焦锐化图像、右聚焦锐化图像分解得到的顶层图像进行加权融合，得到顶层融合图像为

toplevel＝F′_lefttop*α₂+F′_righttop*β₂(15)式中，F′_lefttop、F′_righttop分别代表左、右聚焦锐化图像分解得到的顶层图像。

步骤6，其他层图像融合：比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值，将像素绝对值较大者作为对应融合层图像在对应点处的像素值；其像素值选取规则表示为：

F′_others(x,y)＝max(|F′_leftothers(x,y)|,|F′_rightothers(x,y)|,|F′_{firstfusionothers}(x,y)|)(16)式中，F′_others代表除顶层外某一分解层融合结果图像，F′_leftothers、F′_rightothers、F′_{firstfusionothers}分别代表左聚焦锐化图像分解得到的对应层图像、右聚焦锐化图像分解得到的对应层图像、一次融合图像分解得到的对应层图像，(x,y)为图像像素点的坐标位置。

步骤7，图像重构：对步骤5和步骤6所组成的融合图像序列进行对比度塔形逆变换，得到重构融合图像；

由对比度金字塔重构原图像：

由公式(12)可得：

$>\left(\begin{array}{c}{G}_N={\mathrm{CP}}_N,l=N\\ G_l=({\mathrm{CP}}_l+I)*G_{l+1}^{*},0\le l<N\end{array}\right)---\left(17\right)$>

按照公式(17)逐层递推，即可精确重构被分解的原始图像G₀。

步骤8，二次融合：对步骤2所得两幅锐化图像分别进行形态学梯度处理，将处理得到的两幅图像与步骤7所得融合图像进行二次融合，得到最终的融合结果图像，具体为：

步骤8-1，形态学梯度处理

基本的形态学转换是膨胀与腐蚀，它们可用于消除噪声、分割独立图像元素、连接相邻图像元素等。膨胀是求局部像素最大值的过程，它会使目标物边界向外部扩张；腐蚀则是计算核区域像素的最小值，它可去除连通域中包含的边缘点，使边缘向内部收缩。设原始输入图像为F(x,y)，选取的结构元素为S(u,v)，其中(x,y)为图像像素点的坐标位置，(u,v)为结构点的坐标位置；设D_F和D_S分别是F和S的定义域，则有膨胀运算，记为

$>Dilate\left(F\right)=(F\oplus S)(u,v)=\max [F(u-x,v-y)-S(x,y)|(u-x),(v-y)\in D_F;(x,y)\in D_S]---\left(18\right)$>

腐蚀运算，记为Θ：

Erode(F)＝(FΘS)(u,v)＝min[F(u+x,v+y)-S(x,y)|(u+x),(v+y)∈D_F；(x,y)∈D_S](19)

形态学梯度可以使图像景物边缘以高亮区域突出，它定义为

Gradient(F)＝Dilate(F)-Erode(F)(20)

式中，F为原始输入图像，Dilate(F)为膨胀运算函数，Erode(F)为腐蚀运算函数；

步骤8-2，二次融合

设步骤7重构后所得融合图像为FR1，则最终的融合图像结果为

FResult＝FR1+Gradient(F′_left)+Gradient(F′_right)(21)

下面结合附图和具体实施例对本发明作进一步详细的说明。

实施例

本实施例以两幅已经过像素级配准的左聚焦图像和右聚焦图像作为源图像，MATLAB R2013a为软件平台，提出了一种基于对比度金字塔变换的多聚焦图像融合方法，并利用此方法对实际的左聚焦源图像与右聚焦源图像进行了融合处理。方法总体流程如图1所示。

本发明总体思路为基于对比度金字塔变换的融合方法，主要通过对对比度金字塔变换得到的各分解层图像采用不同的融合规则进行融合处理，并进行图像重构，得到融合图像，再与经锐化处理和形态学梯度处理的源图像之间进行二次融合得到最终融合结果图像。本发明中对比度金字塔分解层数为3层，对于顶层图像采用基于左、右聚焦锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像之间信息量的差异来确定加权系数的融合规则，具体操作流程见图2；其他层图像采用比较左、右聚焦锐化图像分解得到的其他层图像与一次融合图像分解得到的其他层图像对应分解层对应像素点的像素绝对值取大的融合规则。

本实施例所使用的左聚焦与右聚焦源图像大小均为512×512像素，所用左聚焦源图像和右聚焦源图像分别如图3(a)、3(b)所示。首先对左聚焦源图像和右聚焦源图像分别依次进行灰度化预处理与拉普拉斯锐化增强处理，锐化结果如图4(a)、4(b)；并根据两幅锐化图像得到一次融合图像，结果如图5；然后将两幅锐化图像与得到的一次融合图像进行对比度金字塔分解，得到序列层图像；对各分解层采用不同的融合规则，得到各层融合图像；重构序列图像得到融合结果；最后与左、右聚焦源图像经锐化和形态学梯度处理后的图像进行二次融合得到最终的融合结果图像，本发明方法最终融合效果图如图6所示。

为了验证本发明所提方法的有效性，分别与简单平均融合法、几种传统的金字塔变换融合方法和小波变换融合方法所得结果进行了对比分析。其中几种传统的金字塔变换融合方法均采用顶层图像直接平均融合，其他层图像取对应点像素值较大者的融合策略；小波变换融合采用低频系数取平均、高频系数取大的融合规则，且以上多尺度变换融合方法分解层数均为3层。各融合结果分别如图7(a)～(f)所示：图7(a)为简单平均融合结果图像；图7(b)为传统的拉普拉斯金字塔变换融合结果图像；图7(c)为传统的对比度金字塔变换融合结果图像；图7(d)为传统的梯度金字塔变换融合结果图像；图7(e)为传统的形态金字塔变换融合结果图像；图7(f)为小波变换融合结果图像；图7(g)为本发明的最终融合效果图。

从视觉角度观察分析各种方法所得融合结果可知，无论是从图像的内容全面丰富程度，还是从图像景物的对比度强弱，亦或目标物体的边缘、纹理等细节信息来说，均是本发明方法效果最佳。简单平均融合、几种传统方法下的金字塔变换方法以及小波变换方法所得的多聚焦融合图像均表现出不同程度的图像景物纹理等细节信息损失、目标边缘、轮廓模糊、对比度差的现象，均不能将每一处聚焦清晰的图像完好显示，甚至部分景物信息出现了失真的现象，其中图像中左、右两个钟表上的英文字母均难以识别，数字、纹路线、指针及钟表的外部轮廓均不够清晰，对比度较差，十分不利于人眼的观察识别。而本发明所得图像则具有景物清晰、边缘轮廓突出、细节信息鲜明、对比度强、信息准确全面的特点，尤其是图像中钟表上的字母、数字等细节信息清晰可辨，形成了良好的视觉观察效果，有效提升了人们对目标场景的理解。

利用图像质量评价因子对几种方法所得融合结果进行客观角度分析，首先从图像清晰度、图像所含信息量、图像的统计特性三个方面对融合结果图像进行了评价因子数值求取，其中平均梯度、空间频率表征了图像的清晰程度，信息熵代表了图像所含信息量的多少，标准差反映了灰度相对于灰度均值的离散程度，且这几种评价参数均为数值越大，融合效果越好。其计算数值结果如表1所示。

表1几种融合方法的客观评价指标结果

通过观察分析表1中的数据计算结果可知，本发明方法所得融合结果图像对应的平均梯度、空间频率、信息熵、标准差数值均为最大，且明显大于其他几种对比融合方法，因而具有最清晰、信息量最大、像素分布特性最好的特点。

综上可知，本发明方法获得的多聚焦图像融合效果无论是从主观的视觉角度上看，还是从基于图像清晰度、信息量、统计特性几个方面的客观评价角度来看均明显优于其他几种作为对比使用的融合方法。本发明方法最终所得多聚焦融合图像具有信息全面丰富、对比度强、景物清晰、边缘及纹理等细节保留完好、视觉效果自然的特点，形成了对目标场景清晰、完整、准确的信息描述。同时，本发明方法算法复杂度较低，因而可为多聚焦图像融合的实际应用提供参考。