基于梯度加权的自适应SFIM图像融合算法

摘要

本发明提供了一种基于梯度加权的自适应SFIM图像融合算法，首先求解全色图像的梯度，然后使用梯度的统计信息确定自适应的滤波窗口大小；同时利用图像像素点的梯度值构建加权滤波器，进而使用该滤波器获得滤波图像；最后使用SFIM算法的融合方法融合图像。本发明比原始的SFIM算法中均值滤波器的设计更合理，整体质量较高，在空间分辨率提高和光谱信息保持两个方面达到更好的平衡，主观评价和客观分析结果能够达到一致，而且在光谱信息保持和空间信息提高方面都优于his_dwt算法，得到的融合图像可视性更好，图片更清晰。

说明书

技术领域

本发明涉及图像处理领域的图像融合，特别是涉及一种图像融合中SFIM算法的滤 波器设计。

背景技术

遥感图像融合是近年来遥感图像处理领域热门研究内容之一。其中，利用高空间 分辨率全色图像PAN(Panchromaticimage)和低空间分辨率多光谱图像MS (Multi-spectralimages)进行融合产生高分辨率多光谱图像是其中一个重要研究方向。 国内外学者提出了很多经典融合方法，例如主成分分析(PCA)变换融合、HIS变换 融合、高通滤波融合、小波变换融合和Brovey变换融合等。在遥感图像后期应用中， 空间信息和光谱信息都有很重要的作用。基于PCA变换的融合光谱信息保持较好，但 空间细节信息增加较少。基于HIS变换、Brovey变换和高通滤波变换的融合空间信息 增加丰富，但光谱失真比较严重，其中，高通滤波融合如果滤波器选择不好，效果会 比较差。小波变换融合具有良好的空间和光谱保持能力，但是小波基的选择比较困难， 而且计算比较复杂。基于亮度平滑滤波调节SFIM(SmoothingFilter-basedIntensity Modulation,基于平滑滤波的亮度调制)(文献1“LIUJG.Smoothingfilter-based intensitymodulation：Aspectralpreserveimagefusiontechniqueforimprovingspatial details[J].InternationalJournalofRemoteSensing，2000，21(18)：3461—3472.”)的方 法是2000年由J.G.Liu提出的一种空谱结合的融合方法。SFIM融合过程简单，计算 复杂度比较小，和一些经典算法相比，具有较好的效果；但SFIM融合后图像空间分 辨率改善不多，光谱存在一定失真。

发明内容

为了克服现有技术的不足，本发明提供一种基于梯度加权平滑滤波的自适应SFIM 变换算法，对SFIM变换融合算法进行改进，通过实验结果验证，融合效果有改进，在 尽量保持多光谱信息的同时，提高了融合后图像的空间细节信息。

本发明解决其技术问题所采用的技术方案包括以下步骤：

(1)对输入的全色图像PAN进行边缘像素的扩展，对扩展后的图像计算其梯度图， 像素点(i，j)处对应的梯度值其中，像素点(i，j)在x方向 的偏导数像素点(i，j)在y方向的偏导数f(i，j) 为全色图像任意像素点(i，j)处的灰度值；

(2)根据计算的梯度图确定滤波器窗口大小，具体步骤如下：

①对G(i，j)中对应全色图像的像素部分进行处理，得到

②根据coef确定基本参数$d=\left(\begin{array}{c}3,coef\le 4\\ 4,coef=5\\ 5,coef=6\\ 6,coef=7\\ 7,coef>7\end{array}\right);$进而根据基本参数d确定滤波器窗 口的大小N＝2d+1；

(3)以像素点(i,j)为中心，在大小为N*N的窗口内，定义滤波器权重矩阵 其中任意位置的权重值 $w(i+s,j+t)=\frac{G(i,j;s,t)}{{\Sigma }_s{\Sigma }_{t}G(i,j;s,t)},$s,t为整数且在[-d，d]取值；

(4)利用滤波器权重矩阵对全色图像进行梯度加权平滑滤波，计算像素点(i，j)的 滤波输出值$P_{mean}(i,j)={\Sigma }_{i=-d}^d{\Sigma }_{j=-d}^d{P}_{high}(i,j)w(i,j),$其中，P_high(i,j)表示全色图像中 像素点(i，j)的像素值；将P_mean代入SFIM融合算法计算融合图像P_low表示任意波段的多光谱图像，P_mean表示对全色图像P_high滤波后的图像。

本发明的有益效果是：比原始的SFIM算法中均值滤波器的设计更合理，整体质量 较高，在空间分辨率提高和光谱信息保持两个方面达到更好的平衡，主观评价和客观 分析结果能够达到一致。而且在光谱信息保持和空间信息提高方面都优于his_dwt算法 (文献2“张丽侠，张力，艾海滨.改进IHS变换的图像融合方法研究[J].测绘科学， 2011.11,36(6)：149—151.”)。另外，本发明方法比其他两种算法得到的融合图像可视 性更好，图片更清晰。

附图说明

图1是本发明的融合算法技术路线示意图；

图2是全色多光谱图像及几种方法的融合结果示意图，图中，(a)是多光谱图像，(b) 是全色图像，(c)是本发明方法的图像，(d)是均值滤波方法的图像，(e)是his_dwt算法的 图像。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

针对SFIM融合算法中滤波器的设计问题，本发明提出了一种基于梯度加权的自 适应窗口滤波方法。本发明的主要思路是首先求解全色图像的梯度，然后使用梯度的 统计信息确定自适应的滤波窗口大小；同时利用图像像素点的梯度值构建加权滤波器， 进而使用该滤波器获得滤波图像；最后使用SFIM算法的融合方法融合图像。

本发明的技术方案主要包括四个步骤：

(1)梯度的计算

为了便于计算全色图像PAN边缘像素的梯度，首先对输入的全色图像PAN进行 边缘像素的扩展，然后再计算梯度图。假设全色图像任意像素点(i，j)处的灰度值为 f(i，j)，则点(i，j)处对应的梯度幅值为

$G(i,j)=\sqrt{{g_x}^2(i,j)+{g_y}^2(i,j)}---\left(1\right)$

其中，g_x和g_y分别表示该像素点x和y方向的偏导数

$g_x=\frac{f\left(i+1,j\right)-f\left(i-1,j\right)}{2}$

$g_y=\frac{f\left(i,j+1\right)-f\left(i,j-1\right)}{2}---\left(2\right)$

(2)自适应窗口的确定

根据第(1)步骤中计算的梯度图确定滤波器窗口大小，具体步骤如下：

①根据高分辨率全色图像中每个像素的梯度值G(i，j)，按以下公式对G(i，j)进行处 理，用coef表示：

②针对全色图像任意像素点(i,j)，利用公式(5)确定该像素对应的滤波器窗口大小 N。根据coef确定基本参数d：

$d=\left(\begin{array}{c}3,coef\le 4\\ 4,coef=5\\ 5,coef=6\\ 6,coef=7\\ 7,coef>7\end{array}\right)---\left(4\right)$

进而根据基本参数d，确定自适应窗口的大小N＝2d+1，即：

$N=\left(\begin{array}{c}7,coef\le 4\\ 9,coef=5\\ 11,coef=6\\ 13,coef=7\\ 15,coef>7\end{array}\right)---\left(5\right)$

(3)滤波权重的计算

由上一步骤计算出全色图像点(i，j)处的滤波器窗口大小为N，以像素点(i,j)为中 心，在大小为N*N的窗口内，定义滤波器权重矩阵W为：

其中任意位置的权重值计算如下

$w(i+s,j+t)=\frac{G(i,j;s,t)}{{\Sigma }_s{\Sigma }_{t}G(i,j;s,t)}---\left(7\right)$

式中s,t为整数且在[-d，d]取值。

(4)SFIM融合

记全色图像P_high，首先利用公式(6)对P_high进行梯度加权平滑滤波，即，利用公式 (6)对应模板中心点逐一对准全色图像P_high中每一个像素(i，j)，每一个像素处将模板元 素和它所对应的图像像素值对应相乘求和，从而计算出该像素点的滤波输出值 P_mean(i，j)，即：

$P_{mean}(i,j)={\Sigma }_{i=-d}^d{\Sigma }_{j=-d}^d{P}_{high}(i,j)w(i,j)---\left(8\right)$

P_mean表示对全色图像P_high滤波后的图像。

然后，再将P_mean代入SFIM融合算法计算融合图像P_SFIM，若使用P_low表示任意波 段的多光谱图像，融合过程为

$P_{SFIM}=\frac{P_{low}{P}_{high}}{P_{mean}}---\left(9\right)$

为了说明新算法的优越性，在分析和试验大量卫星遥感图像的基础上，发明中采 用了256灰度级，大小为300×300pixels的某地区卫星遥感图像块进行仿真和说明。 试验所用的多光谱图像(20m×20m)与全色图像(10m×10m)经过了空间配准。

按照图1所示，本发明具体实施方式如下：

(1)梯度的计算

①首先对输入的多光谱图像P_low进行RGB三波段分解，得到IR,IG,IB图像。

②然后对输入的全色图像P_high进行边缘扩展，四周分别向外扩展7个像素。则由 原来的300×300pixels变为314×314pixels大小的图像P′_high。

③对图像P′_high根据公式(1)计算其梯度图像,得到G′(i，j)。

(2)自适应窗口的确定

①根据公式(3)对G′(i，j)中对应P_high的像素部分进行计算，得到coef。

②由得到的coef,根据公式(4)、(5)计算得到相应像素的自适应窗口大小N。

(3)滤波权重的确定

①对于全色图像任一点像素P_high(i，j)，根据公式(7)计算得到该点对应的图像滤波 器权重值w(i，j)。

②由该点像素的权重值w(i，j)根据公式(6)构成权重矩阵W(i，j)。

(4)SFIM融合

①将全色图像P_high的每一个像素点用对应该像素点的滤波器权重矩阵W进行逐一 滤波，得到P_mean(i，j)。

②根据SFIM变换公式(9),将P_mean代入分别与IR、IG、IB图像进行细节融合，IR、 IG、IB依次代替公式(9)中的P_low，得到三个融合图像FR_SFIM、FG_SFIM、FB_SFIM。

③最后将FR_SFIM、FG_SFIM、FB_SFIM三个波段的图像进行RGB彩色合成，得到融合图 像P_SFIM。

表1几种融合图像的统计参数对比

表1分别为本发明、均值滤波(文献1)和his_dwt(文献2)的融合图像评价结果。 可以看出本发明方法的空间相关系数最大，在尽量保持光谱信息的前提下，提高了空 间细节信息的融入。