首页> 中国专利> 基于平移不变剪切波变换的图像融合新方法

基于平移不变剪切波变换的图像融合新方法

摘要

本发明公开了一种基于平移不变剪切波变换(SIST)的图像融合新方法。其实现步骤为:首先通过SIST对源图像进行多尺度多方向分解,获得低频子带及高频子带系数。其次,低频子带反映了图像的轮廓信息,通过局部结构张量奇异值分解方法得到辨识图像清晰度的局部结构描述子,以此作为融合策略中的活动测度函数,采用取大的策略融合。高频子带体现了图像的细节信息,本发明提出了一种新的边缘强度度量方式,并构造了一种基于sigmoid函数与边缘强度度量的多策略融合规则用于高频子带融合。最后,对得到的融合系数进行逆SIST变换得到最终融合图像。本发明克服了传统图像融合方法容易造成边缘失真的缺陷,融合图像保留了更多的边缘和细节信息。

著录项

  • 公开/公告号CN104268833A

    专利类型发明专利

  • 公开/公告日2015-01-07

    原文格式PDF

  • 申请/专利权人 江南大学;

    申请/专利号CN201410470345.3

  • 申请日2014-09-15

  • 分类号G06T5/00(20060101);G06T5/50(20060101);

  • 代理机构

  • 代理人

  • 地址 214122 江苏省无锡市滨湖区蠡湖大道1800号

  • 入库时间 2023-12-17 04:06:25

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-06-22

    授权

    授权

  • 2015-02-04

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20140915

    实质审查的生效

  • 2015-01-07

    公开

    公开

说明书

技术领域

本发明属于图像融合及其应用领域,尤其是涉及一种基于平移不变剪切波变换的图像融 合新方法。

背景技术

图像融合是数据融合的一个重要的分支,是当前信息融合研究中的一个热点。图像融合 是指对多个图像传感器获得的互补或冗余信息进行集合的过程,从而使融合图像更适合人类 的视觉感知或计算机处理。图像融合技术广泛应用于军事、遥感、医学等多个领域。

从目前研究方法来看,图像融合的方法有两大类:基于空间域和基于变换域。基于空间 域最简单的方法是直接对原始图像的像素进行加权平均,实现简单,但是融合结果对比度降 低。基于变换域的图像融合方法在图像融合领域中得到广泛应用。常用的变换域方法如拉普 拉斯金字塔变换、梯度金字塔变换,小波变换等。但是金字塔方法无法获得方向性信息。小 波变换只能捕获水平、垂直和对角三个方向的信息,且只能有效地处理含“点奇异”的函数 类,对具有“线奇异”或“面奇异”的高维函数无能为力。因此,多尺度分析得到了广泛的 关注,常用的多尺度分析方法包括脊波(Ridgelet)变换、曲波(Curvelet)变换、轮廓波(Contourlet) 变换、剪切波(Shearlet)变换等。Ridgelet适合捕捉直线信息,在处理曲线时效果不好。Curvelet 实现过于复杂。Contourlet变换具有很强的方向选择能力,可以有效地表示信号中具有方向性 的奇异性特征,但是由于缺乏平移不变性,在奇异点附近容易引入伪Gibbs现象。为了克服 这个缺点,Cunha等人提出非下采样轮廓波变换(NSCT),NSCT具有平移不变性,但是NSCT 计算复杂度较高,实现复杂。为了解决上述变换存在的问题,Guo等人提出了具有合成膨胀 仿射系统的剪切波变换(ST),相比于其他图像融合中常用的多尺度变换工具,它能够准确的 探测奇异点的方向,并且提供图像的最优稀疏近似。然而,由于剪切波离散化过程中采用了 下采样操作,缺乏平移不变性,在图像融合时容易在奇异点附近产生伪Gibbs现象。为了克 服上述问题,Easley等人提出了平移不变剪切波变换(SIST)理论,它具备当前流行多尺度分析 的所有优点且实现过程没有下采样操作,因而具备平移不变性,这些优点使得SIST在图像融 合领域很有发展前景。

尽管SIST为图像融合提供了有效的工具,但一个好的融合算法不仅依赖于有效的分解工 具,还依赖于融合规则的设计。融合规则中常用的融合策略可以分为两大类:“取大”和“加 权平均”。“取大”融合策略根据提取的特征选择特征值大的系数作为融合系数;例如:Wang 等人提出的基于NSCT的图像融合方法,见Image fusion algorithm based on nonsubsampled  contourlet transform,Future Computer and Communication(ICFCC),20102nd International  Conference on.IEEE,2010,1:V1-220-V1-224,该方法提取空间频率特征,根据空间频率采用 “取大”融合策略选择融合系数;Li等人提出的基于Shearlet和局部能量的多聚焦图像融合方 法,见Multi-focus image fusion based on shearlet and local energy,Signal Processing Systems (ICSPS),20102nd International Conference on.IEEE,2010,1:V1-632-V1-635,该方法提取局部 能量特征,选取局部能量较大的系数作为融合系数。另一类使用较多的融合策略为“加权平 均”,“加权平均”融合策略将提取的特征值归一化作为权值经过平均加权处理得到融合系数。 例如:Bai等人提出的基于多尺度Top-hat变换的加权图像融合方法,见Weighted image fusion  based on multi-scale top-hat transform:Algorithms and a comparison study,Optik-International  Journal for Light and Electron Optics,2013,124(13):1660-1668,该方法利用提取的标准差、均 值和信息熵特征,采用“加权平均”融合策略获取融合系数;Javed等人提出的基于模糊逻辑 和图像局部特征的MRI和PET图像的融合方法,见MRI and PET Image Fusion Using Fuzzy  Logic and Image Local Features,The Scientific World Journal,2014,2014,该方法使用“加权平 均”融合策略,利用提取的局部特征和模糊逻辑计算权值进行融合。

从上述融合规则的设计可以看出,当图像之间表现为互补性时,往往采用“取大”策略, 当图像之间表现为冗余性时,常常采用“加权平均”策略。但是考虑到多源图像之间既有互 补性又有冗余性。因此,仅仅依靠单一的融合策略并不能有效提取图像的信息。

发明内容

针对上述现有技术中存在的缺陷或不足,本发明的目的在于,提出一种基于平移不变剪 切波变换的图像融合新方法,从而达到提高融合图像质量的目的。

本发明的技术方案是,基于平移不变剪切波变换的图像融合新方法,其特征是:包括如 下步骤:

1)准备待融合的两幅源图像,利用SIST分别将两幅图像分解为低频子带与高频子带系 数;

2)对低频子带系数和高频子带系数分别采用不同的融合规则进行融合:

2.1)对于低频子带系数,通过局部结构张量奇异值分解方法得到辨识图像清晰度的局部 结构描述子,以此作为融合策略中的活动测度函数,采用取大的融合策略进行融合;

2.2)对于高频子带系数,构造了一种新的边缘强度度量方式,采用基于sigmoid函数与边 缘强度度量的多策略融合规则进行融合;

3)对步骤2)得到的融合系数进行SIST逆变换得到融合图像。

所述步骤1)具体为:将待融合的两幅M×N源图像A和B,利用SIST分别将两幅图像分解 为低频子带与高频子带系数:和其中,和为低频子带系数;和为一系列高频子带系数。

所述步骤2.1)包括如下步骤:

a)对于图像中的某一点f(x,y),其梯度为g=▽f(x,y),在f(x,y)的t×t邻域,这点的局部 梯度向量为:

J=······gx(k)gy(k)······

其中,k=1,2,…,t2;和分别为x和y方向的导数;

则点f(x,y)的局部结构张量为:

T=JTJ=Σk=1t2gx(k)gx(k)Σk=1t2gx(k)gy(k)Σk=1t2gx(k)gy(k)Σk=1t2gy(k)gy(k)

其中,k=1,2,…,t2;和分别为x和y方向的导数;

局部结构张量T进行SVD分解为:

T=USVT=Us100s2[v1,v2]

其中,U和V是正交矩阵;s1和s2是特征值;v1和v2是特征值对应的特征向量;

度量图像清晰度的局部描述子Q为:

Q=(s1-s2)2(s1-s2s1+s2)2

b)采用基于局部描述子Q取大的融合策略进行融合:

Gj0F(x,y)=Cj0AifQj0A(x,y)Qj0B(x,y)Gj0B(x,y)otherwise

其中,和分别表示源图像A、B以及融合图像F在点(x,y)处对 应的低频系数。

所述步骤2.2)包括如下步骤:

a)计算高频子带系数的边缘强度

①水平边缘强度

以点(x,y)为中心开n×n的窗口邻域,得到图像块X,xij为图像块中的像素,把图像块X 的每一行看作观测值,每一列看作变量计算它的协方差矩阵的无偏估计Ch(x)

Ch(x)=1(n-1)Σi=1n(xi-x)(xi-x)T

其中,xi为n维变量的第i个观测值;为观测值的均值;

计算矩阵Ch(x)的特征值,首先利用SVD对角化矩阵Ch(x),获得奇异值矩阵Σ,然后计 算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表Ch(x)的特征值,Ch(x)的最大特征值λh为 水平边缘强度,即

λh=max(eigenCh(x))

②垂直边缘强度

把图像块X的每一列看作观测值,每一行看作变量计算它的协方差矩阵的无偏估计Cv(y)

Cv(y)=1(n-1)Σi=1n(yi-x)(yi-x)T

其中,yi为n维变量的第i个观测值;为观测值的均值;

计算Cv(y)的最大特征值λv,首先利用SVD对角化矩阵Cv(y),获得奇异值矩阵Σ,然后 计算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表Cv(y)的特征值,Cv(y)的最大特征值λv为 垂直边缘强度,即

λv=max(eigenCv(y))

③对角边缘强度

图像块X的主对角方向像素组成图像块Z1,次对角方向像素组成图像块Z2,分别 为图像块Z1、Z2中的像素,把图像块Z1的每一行看作观测值,每一列看作变量计算协方差矩 阵的无偏估计同样地,把图像块Z2的每一行看作观测值,每一列看作变量计算协方 差矩阵的无偏估计Z1和Z2的协方差矩阵的无偏估计和的计算如下:

CD1(z1)=1(n-1)Σi=1n(zi1-z1)(zi1-z1)T

CD2(z2)=1(n-1)Σi=1n(zi2-z2)(zi2-z2)T

其中,z1=1n2Σi=1nΣj=1nzij1,z2=1n2Σi=1nΣj=1nzij2;为n维变量的第i个观测值;为观测值 的均值;

计算矩阵和的特征值,首先利用SVD对角化矩阵获得奇异值矩阵 Σ,然后计算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表的特征值,计算对角矩 阵的最大特征值同样地,计算的最大特征值和为对角边缘强度 即

λD1=max(eigenCD1(z1))

λD2=max(eigenCD2(z2))

边缘强度S为水平边缘强度λh、垂直边缘强度λv和两个对角边缘强度的和,即

S=λh+λv+λD1+λD2

b)基于sigmoid函数的多策略融合

对高频子带采用基于sigmoid函数的多策略融合规则,加权系数ω由sigmoid函数计算得 到,即

CjF(x,y)=ω(x,y)×CjA(x,y)+(1-ω(x,y))×CjB(x,y)

ω(x,y)=(SjA(x,y)/SjB(x,y))k1+(SjA(x,y)/SjB(x,y))k

其中,和分别表示源图像A、B以及融合图像F在点(x,y)处对 应的高频系数;表示高频子带系数的边缘强度;k为收缩因子。

本发明与现有技术相比,其显著优点:(1)采用有效的变换工具SIST,具有方向敏感性 和平移不变性,可以多尺度多方向地描述图像,它是图像信号(如边缘)真正的二维稀疏表示。 (2)利用局部结构张量奇异值分解方法估计图像的局部结构特征,得到一种辨识图像清晰度 的描述子。(3)构造了一种新的辨识细节的边缘强度度量方式,该度量可以有效的提取图像 的水平边缘、垂直边缘和对角边缘等边缘细节特征。(4)利用新的边缘强度度量方式和sigmoid 函数构造了多策略融合规则,该规则根据图像的互补与冗余属性利用sigmoid函数可以动态的 选择融合策略。本发明方法所生成的融合图像纹理丰富,细节突出,具有良好的稳定性和实 用性。

附图说明

图1为本发明的流程示意图。

图2a为待融合的‘Clock’右聚焦图像。

图2b为待融合的‘Clock’左聚焦图像。

图2c为本发明对图2a和图2b的融合结果。

图2d为基于梯度金字塔变换的方法对图2a和图2b的融合结果。

图2e为基于平移不变小波变换的方法对图2a和图2b的融合结果。

图2f为基于PCNN和Shearlet的方法对图2a和图2b的融合结果。

图3a为待融合的遥感3-band图像。

图3b为待融合的遥感8-band图像。

图3c为本发明对图3a和图3b的融合结果。

图3d为基于梯度金字塔变换的方法对图3a和图3b的融合结果。

图3e为基于平移不变小波变换的方法对图3a和图3b的融合结果。

图3f为基于PCNN和Shearlet的方法对图3a和图3b的融合结果。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。如图1所示,包括如下步骤:

1)准备待融合的两幅M×N(本实施例中M=256,N=256)源图像A和B,利用SIST分别 将两幅图像分解为低频子带与高频子带系数:和其中,和为低频子 带系数;和为一系列高频子带系数。SIST采用的滤波器为“maxflat”,分解的方向数为 6,6,6。

2)对低频子带系数和高频子带系数分别采用不同的融合规则进行融合:

2.1)对于低频子带系数,通过局部结构张量奇异值分解方法得到辨识图像清晰度的局部 结构描述子,以此作为融合策略中的活动测度函数,采用取大的融合策略进行融合;

a)对于图像中的某一点f(x,y),其梯度为g=▽f(x,y),在f(x,y)的t×t(本发明t=3)邻域, 这点的局部梯度向量为:

J=······gx(k)gy(k)······

其中,k=1,2,…,t2;和分别为x和y方向的导数;

则点f(x,y)的局部结构张量为:

T=JTJ=Σk=1t2gx(k)gx(k)Σk=1t2gx(k)gy(k)Σk=1t2gx(k)gy(k)Σk=1t2gy(k)gy(k)

其中,k=1,2,…,t2;和分别为x和y方向的导数;

局部结构张量T进行SVD分解为:

T=USVT=Us100s2[v1,v2]

其中,U和V是正交矩阵;s1和s2是特征值;v1和v2是特征值对应的特征向量;

度量图像清晰度的局部描述子Q为:

Q=(s1-s2)2(s1-s2s1+s2)2

b)采用基于局部描述子Q取大的策略进行融合:

Gj0F(x,y)=Cj0AifQj0A(x,y)Qj0B(x,y)Gj0B(x,y)otherwise

其中,和分别表示源图像A、B以及融合图像F在点(x,y)处对 应的低频系数。

2.2)对于高频子带系数,计算高频系数像素点的边缘强度,采用基于sigmoid函数与边缘 强度度量的多策略融合规则进行融合;

a)计算高频子带系数的边缘强度

①水平边缘强度

以点(x,y)为中心开n×n(本发明n=3)的窗口邻域,得到图像块X,xij为图像块中的像素, 把图像块X的每一行看作观测值,每一列看作变量计算它的协方差矩阵的无偏估计Ch(x)

Ch(x)=1(n-1)Σi=1n(xi-x)(xi-x)T

其中,xi为n维变量的第i个观测值;为观测值的均值;

计算矩阵Ch(x)的特征值,首先利用SVD对角化矩阵Ch(x),获得奇异值矩阵Σ,然后计 算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表Ch(x)的特征值,Ch(x)的最大特征值λh为 水平边缘强度,即

λh=max(eigenCh(x))

②垂直边缘强度

把图像块X的每一列看作观测值,每一行看作变量计算它的协方差矩阵的无偏估计Cv(y)

Cv(y)=1(n-1)Σi=1n(yi-x)(yi-x)T

其中,yi为n维变量的第i个观测值;为观测值的均值;

计算Cv(y)的最大特征值λv,首先利用SVD对角化矩阵Cv(y),获得奇异值矩阵Σ,然后 计算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表Cv(y)的特征值,Cv(y)的最大特征值λv为 垂直边缘强度,即

λv=max(eigenCv(y))

③对角边缘强度

图像块X的主对角方向像素组成图像块Z1,次对角方向像素组成图像块Z2,分别 为图像块Z1、Z2中的像素,把图像块Z1的每一行看作观测值,每一列看作变量计算协方差矩 阵的无偏估计同样地,把图像块Z2的每一行看作观测值,每一列看作变量计算协方 差矩阵的无偏估计Z1和Z2的协方差矩阵的无偏估计和的计算如下:

CD1(z1)=1(n-1)Σi=1n(zi1-z1)(zi1-z1)T

CD2(z2)=1(n-1)Σi=1n(zi2-z2)(zi2-z2)T

其中,z1=1n2Σi=1nΣj=1nzij1,z2=1n2Σi=1nΣj=1nzij2;为n维变量的第i个观测值;为观测值 的均值;

计算矩阵和的特征值,首先利用SVD对角化矩阵获得奇异值矩阵 Σ,然后计算对角特征值矩阵Λ,Λ=ΣTΣ,矩阵Λ的对角代表的特征值,计算对角矩 阵的最大特征值同样地,计算的最大特征值和为对角边缘强度 即

λD1=max(eigenCD1(z1))

λD2=max(eigenCD2(z2))

边缘强度S为水平边缘强度λh、垂直边缘强度λv和两个对角边缘强度的和,即

S=λh+λv+λD1+λD2

b)基于sigmoid函数的多策略融合

对高频子带采用基于sigmoid函数的多策略融合规则,加权系数ω由sigmoid函数计算得 到,即

CjF(x,y)=ω(x,y)×CjA(x,y)+(1-ω(x,y))×CjB(x,y)

ω(x,y)=(SjA(x,y)/SjB(x,y))k1+(SjA(x,y)/SjB(x,y))k

其中,和分别表示源图像A、B以及融合图像F在点(x,y)处对 应的高频系数;表示高频子带系数的边缘强度;k为收缩因子(本实施例中 k=80)。

3)对融合系数进行SIST逆变换得到融合图像F。

本发明的效果可以通过以下实验结果作进一步说明:

1、实验条件与方法

硬件平台为:Intel(R)处理器,CPU主频1.80GHz,内存1.0GB;

软件平台为:MATLAB R2009a;实验中采用两组已配准的源图像,即多聚焦‘Clock’ 图像和遥感‘Band’图像,图像大小均为256×256,bmp格式。‘Clock’源图像见图2(a)和图 2(b),图2(a)为‘Clock’图像聚焦在右侧的源图像,图2(b)为‘Clock’图像聚焦在左侧的源 图像。‘Band’源图像见图3(a)和3(b),图3(a)为‘Band’遥感3-band源图像,图3(b)为‘Band’ 遥感8-band源图像。

实验时采用现有的三种融合方法作为对比方法,其中:

方法1为基于梯度金字塔变换的融合方法;

方法2为基于平移不变小波变换的融合方法;

方法3为基于PCNN和Shearlet的融合方法,参见文章《A Novel Algorithm of Image Fusion  Based on PCNN and Shearlet》,International Journal of Digital Content Technology&its  Applications,2011,5(12)。

2、仿真内容

仿真一:遵循本发明的技术方案,对‘Clock’多聚焦源图像(见图2(a)和图2(b))进行融合, 图2(c)-图2(f)为本发明方法和对比方法的仿真实验结果。从主观视觉效果来看,方法1的融合 图像对比度较低;方法2的融合图像比较模糊;方法3的融合图像左侧闹钟比较模糊;本发明 的融合图像整体亮度适中,图像清晰,保留了图像的边缘和细节信息。

仿真二:遵循本发明的技术方案,对一组不同波段的遥感图像(见图3(a)和图3(b))进行融 合,图3(c)-图3(f)为本发明方法和对比方法的仿真实验结果。从主观视觉效果来看,方法1的 融合图像对比度降低,细节模糊;方法2的融合图像视觉效果有所改善,但是仍不理想;方法 3的融合图像对比度降低;本发明的融合图像特征丰富,细节清晰,整体效果理想。

将本发明的融合结果与对比方法的融合结果进行客观指标评价。

表1给出了多聚焦图像‘Clock’融合结果的客观评价指标,

表2给出了遥感图像‘Band’融合结果的客观评价指标,

其中,最优数据以加粗的形式表示。

表1.多聚焦图像融合结果的客观评价指标

算法 STD En AG SF QAB/F方法1 46.7559 7.2604 8.5311 14.7576 0.5113 方法2 48.9593 7.2860 9.0084 15.8921 0.5815 方法3 49.9596 7.3751 9.5936 17.4871 0.5835 本发明 50.8390 7.3564 11.6653 21.6307 0.6548

表2.遥感图像融合结果的客观评价指标

算法 STD En AG SF QAB/F方法1 57.5358 7.2013 10.2872 21.9183 0.4807 方法2 61.7093 7.1090 11.9365 26.2345 0.5731 方法3 61.5508 7.3671 13.0376 27.8268 0.5812 本发明 64.2883 7.2732 16.0422 34.2710 0.6213

表1、表2中的STD为标准差,En为信息熵,AG为平均梯度,SF为空间频率,QAB/F为边缘 转换率。

标准差STD:表示灰度值相对灰度均值的离散程度,标准差越大,灰度级越分散,图像 包含信息越多。

信息熵En:表示图像携带信息量的多少,熵值越大,包含的信息量越多,融合效果越好。

平均梯度AG:表示图像的清晰度,其值越大,图像越清晰。

空间频率SF:表示空间域的总体活跃程度,其值越大,融合效果越好。

边缘转换率QAB/F:表示边缘信息从源图像转移到融合图像的信息量,其值越大,融合图 像的边缘越清晰,融合效果越好。

从表1和表2可以看出,本发明的客观指标除了En外其他指标都优于对比方法。

从各仿真实验的融合结果可以看出,本发明的融合图像全局清晰,融合图像信息丰富, 含有丰富的边缘和细节信息。无论是主观视觉与客观评价上都检验了本发明的有效性。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号