法律状态公告日
法律状态信息
法律状态
2019-10-18
未缴年费专利权终止 IPC(主分类):G06T5/50 授权公告日:20171219 终止日期:20181022 申请日:20141022
专利权的终止
2017-12-19
授权
授权
2015-02-11
实质审查的生效 IPC(主分类):G06T5/50 申请日:20141022
实质审查的生效
2015-01-14
公开
公开
技术领域
本发明属于图像处理领域,尤其涉及一种基于非采样的轮廓波变换(NSCT)自适应脉冲耦合神经网络(PCNN)的医学图像融合方法。
背景技术
图像融合是指将两个或两个以上的传感器在同一时间或不同时间获得的关于某个场景的图像或图像序列的信息加以综合,从而生成一幅新的对该场景描述更全面、更精确的图像。
随着医学影像成像技术的飞速发展,图像质量已经有很大的提高,但是由于医学影像成像技术的成像原理不同,单独使用一种模态的成像技术,往往不能提供医生所需要的足够信息,通常要将不同模态的医学图像融合在一起,得到全面互补的信息以便了解病变组织的综合信息,从而做出准确地诊断。
多尺度图像融合的研究难点主要有两个问题,其一是多尺度分解方法的选择,其二是融合准则的选择。大量的研究表明:不同的多尺度变换分解方法和融合规则直接影响到医学图像融合的效果。
文献《一种基于区域的多分辨率图像融合算法。IEEE第五届国际会议上的信息融合[J],2002:1557-1564》表明小波变换已经广泛地应用在多模态医学图像的融合处理中。但是文献《Contourlets超越小波[M]。科学出版社,2002》研究表明小波变换对二维图像进行分析时只能分解成三个各向同性的方向,不能充分利用图像的几何特征来挖掘图像中的边缘方向信息,这使得融合后的图像容易产生方块效应,降低了融合后图像的质量。针对小波变换的缺陷,文献《Contourlet变换:一种有效的方向多分辨率图像表示[J]。IEEE图像处理事务,2005,14(12):2091-2106》中的M.N.Do和M.Vetterli提出了提出了Contourlet变换,该变换不仅具有小波变换的多尺度、时频局部特征特性,还有多方向特性,可以更好的捕捉图像的边缘信息。但是文献《基于Contourlet变换的多波段SAR图像融合[A]。IEEE国际信息获取[C]。2006:420-424》研究表明Contourlet变换需要对图像进行降采样操作,这使得Contourlet变换因缺乏平移不变性而产生伪轮廓现象。为此,文献《非下采样轮廓波变换理论,设计和应用[J]。IEEE图像处理事务,2006,15(10):3089-3101》中的A.L.Cunha等又提出了一种具有平移不变性的Contourlet变换即非采样Contourlet变换,很好的解决了伪轮廓现象,但是该变换采用拉普拉斯金字塔进行多尺度分解会产生冗余信息。文献《关于PCNN应用于图像处理的研究[J]。电讯技术,2003,3:21-24》表明人工神经网络已经广泛地应用于图像融合中,特别是Eckhorn等对猫的视觉皮层神经元脉冲串同步振荡现象的研究而形成的脉冲耦合神经网络在图像处理领域中正被广泛研究,但是传统PCNN的连接强度通常是常数,这就极大地限制了PCNN自动处理能力和使用的普遍性。
发明内容
本发明提供一种基于非采样的轮廓波变换自适应的医学图像融合方法,目的是提供一种细节清晰信息保留完全的图像融合方法。
本发明采取的技术方案是:包括下列步骤:
步骤1:初始图像的获取
采用来自同一颅脑256×256大小的核磁共振医学图像A和256×256大小的正电子发射断层医学图像B;
步骤2:图像预处理
对医学图像进行去噪预处理,采用3×3模版的算术均值滤波器G对图像A和B进行滤波处理见公式(1),得到滤波后的图像A'和B';
X'=G*X (1)
其中,>X=A,B;X'=A',B'。
步骤3:图像NSCT分解
将图像A'和B'首先用非采样的正交9-7小波滤波器组{h0,h1;g0,g1}进行多尺度分解,正交9-7小波滤波器组{h0,h1;g0,g1}满足Bezout恒等式,见公式(2),其中h0、g0为9-7小波滤波器组的低通分解滤波器和重构滤波器,h1、g1为高通分解滤波器和重构滤波器;
h0*g0+h1*g1=1 (2)
然后再用非采样的pkva滤波器组{u0,u1;v0,v1}进行多方向分解,pkva滤波器组{u0,u1;v0,v1}满足Bezout恒等式,见公式(3),其中u0、v0为pkva滤波器组的低通分解滤波器和重构滤波器,u1、v1为高通分解滤波器和重构滤波器;
u0*v0+u1*v1=1 (3)
得到A'图像分解后的低频子带系数为
其中,J表示NSCT的分解层数;
步骤4:图像融合系数选择
对低频子带采用边缘能量最大准则来选择融合低频子带系数,对各方向子带采用自适应PCNN模型来选择融合高频系数,具体如下:
(1)低频子带融合准则
用图像边缘能量作为图像融合的算法,计算公式见公式(4);
>
其中,>X=A'、B';(i,j)表示m×n大小X的低频子带中某一系数的位置;
因此,本发明的低频子带融合准则见公式(5);
>
其中,
>
>
(2)各方向子带融合准则
用自适应PCNN模型作为图像融合的算法,当PCNN用于处理二维图像时,计算公式见公式(6);
>
其中Sij为外部输入,Fij为反馈输入,Yij脉冲输出,aL和aθ分别是线性连接输入Lij和动态阈值θij的衰减时间常数,VL和Vθ分别是连接放大系数和阈值放大系数,通常为常数,本发明取aL=1,aθ=0.2,VL=1,Vθ=20,Wijkl是线性连接输入Lij的加权系数,计算公式见公式(7),其中link是PCNN的链接系数,取link=5;
其中,round函数是四舍五入功能函数;
βij为连接强度,决定了线性连接输入Lij对内部活动项Uij的贡献,传统连接强度β是常数,分别用拉普拉斯区域能量和可见度函数执行滑动邻域操作来自动设置连接强度值,拉普拉斯区域能量计算公式见公式(8),可见度计算公式见公式(9);
>
>
其中,δ为可见度函数中的权重系数,取δ=0.65;
取PCNN的迭代次数np为200次,当公式(6)运行次数为200次时,迭代停止;根据各带通方向系数的脉冲输出的点火次数
>
>
步骤5:图像重构
根据上述融合后系数,经过NSCT的逆变换得到的图像就是融合图像;
根据融合准则选择的低频子带系数
本发明优点是,首先对源图像进行NSCT得到低频子带系数和各带通方向子带系数,然后对低频子带系数采用边缘信息最大准则来选择融合低频子带系数,各带通子带系数采用基于视觉神经元模型的自适应PCNN模型来选择融合各带通子带系数,最后经NSCT的逆变换获得最终融合图像。目前的NSCT多尺度变换中还是采用拉普拉斯金字塔滤波器组,而拉普拉斯金字塔变换会产生冗余信息,所以本发明在NSCT变换中采用了非采样正交9-7小波变换滤波器组,小波滤波器组不仅分解速度快容易实现而且不会产生冗余信息,采用9-7小波滤波器组提升了分解速度和准确度,此外由于PCNN模型中的连接强度β通常被设为常数,这样就大大限制了PCNN的自动处理和使用的普遍性,本发明采用拉普拉斯区域能量和可见度来自动计算β值,这样就能充分表现PCNN的自动处理能力同时具有普遍使用性,采用自适应PCNN模型能够很好地保留原始图像信息。实验结果表明,本发明算法是非常有效并正确的,并且融合后的图像边缘和空间纹理信息清晰、颜色失真小,没有伪轮廓现象,很好的保留原有图像的特征信息。
附图说明
图1是本发明的流程图;
图2是本发明中NSCT分解的流程;
图3(a)是本发明中NSCT分解中滤波器组的组成,具体为9-7小波滤波器组的组成;
图3(b)是本发明中NSCT分解中滤波器组的组成,具体为pkva滤波器组的组成;
图4是本发明中自适应PCNN分解的流程;
图5(a)为核磁共振医学图像;
图5(b)为正电子发射断层医学图像;
图5(c)为基于DWT的图像融合效果图;
图5(d)为基于离散Curvelet的图像融合效果图;
图5(e)为基于NSCT传统PCNN的图像融合效果图;
图5(f)为本发明的图像融合效果图;
图5(g)为基于DWT的图像融合效果的局部放大图;
图5(h)为基于离散Curvelet的图像融合效果的局部放大图;
图5(i)为基于NSCT传统PCNN的图像融合效果的局部放大图;
图5(j)为本发明的图像融合效果的局部放大图。
具体实施方式
本发明包括下列步骤:
步骤1:初始图像的获取
本发明采用来自同一颅脑256×256大小的核磁共振医学图像A和256×256大小的正电子发射断层医学图像B;
步骤2:图像预处理
由于图像受到噪声等影响,需要对医学图像进行去噪预处理,本发明采用3×3模版的算术均值滤波器G对图像A和B进行滤波处理见公式(1),得到滤波后的图像A'和B';
X'=G*X (1)
其中,>X=A,B;X'=A',B';
步骤3:图像NSCT分解
本发明将图像A'和B'首先用非采样的正交9-7小波滤波器组{h0,h1;g0,g1}进行多尺度分解,正交9-7小波滤波器组{h0,h1;g0,g1}满足Bezout恒等式,见公式(2),其中h0、g0为9-7小波滤波器组的低通分解滤波器和重构滤波器,h1、g1为高通分解滤波器和重构滤波器;
h0*g0+h1*g1=1 (2)
然后再用非采样的pkva滤波器组{u0,u1;v0,v1}进行多方向分解,pkva滤波器组{u0,u1;v0,v1}满足Bezout恒等式,见公式(3),其中u0、v0为pkva滤波器组的低通分解滤波器和重构滤波器,u1、v1为高通分解滤波器和重构滤波器。
u0*v0+u1*v1=1 (3)
得到A'图像分解后的低频子带系数为
其中,J表示NSCT的分解层数;
步骤4:图像融合系数选择
本发明对低频子带采用边缘能量最大准则来选择融合低频子带系数,对各方向子带采用自适应PCNN模型来选择融合高频系数;具体如下:
1.低频子带融合准则
本发明用图像边缘能量作为图像融合的算法,计算公式见公式(4)。
>
其中,>X=A'、B';(i,j)表示m×n大小X的低频子带中某一系数的位置;
因此,本发明的低频子带融合准则见公式(5);
>
其中,
>
>
2.各方向子带融合准则
本发明用自适应PCNN模型作为图像融合的算法,当PCNN用于处理二维图像时,计算公式见公式(6)。
>
其中Sij为外部输入,Fij为反馈输入,Yij脉冲输出,aL和aθ分别是线性连接输入Lij和动态阈值θij的衰减时间常数,VL和Vθ分别是连接放大系数和阈值放大系数,通常为常数,本发明取aL=1,aθ=0.2,VL=1,Vθ=20,Wijkl是线性连接输入Lij的加权系数,计算公式见公式(7),其中link是PCNN的链接系数,本发明取link=5;
其中,round函数是四舍五入功能函数;
βij为连接强度,决定了线性连接输入Lij对内部活动项Uij的贡献,传统连接强度β是常数,本发明分别用拉普拉斯区域能量和可见度函数执行滑动邻域操作来自动设置连接强度值,拉普拉斯区域能量计算公式见公式(8),可见度计算公式见公式(9);
>
>
其中,δ为可见度函数中的权重系数,本发明取δ=0.65,
本发明取PCNN的迭代次数np为200次,当公式(6)运行次数为200次时,迭代停止,根据各带通方向系数的脉冲输出的点火次数
>
>
步骤5:图像重构
根据上述融合后系数,经过NSCT的逆变换得到的图像就是融合图像;
根据融合准则选择的低频子带系数
为了验证本发明算法的性能,对多模态医学图像进行仿真并进行评价。仿真中,除了视觉效果以外,还采用平均梯度、边缘强度、信息熵(Entropy)、互信息(MI)作为客观评价指标,其中平均梯度是反映融合图像细节信息和纹理变化,值越大表明图像所包含纹理信息更丰富,边缘强度是反映融合图像边缘轮廓信息,值越大表明图像边缘信息越明显,信息熵(Entropy)是反映融合图像包含的信息量的多少,值越大表明图像信息量越丰富,互信息(MI)是反映融合图像与源图像之间相同信息量的多少,值越大表明融合图像获取的信息越丰富,效果越好。
本仿真分别采用基于DWT的图像融合算法、基于离散Curvelet的图像融合算法、基于Contourlet传统PCNN的图像融合算法和本发明的图像融合算法,融合结果见图5(a)~(j)和表1所示。
表1不同融合算法客观评价指标对比
从图5(c)、5(d)、5(e)、5(f)可以看出,本发明融合算法的融合图像整体亮度高、边缘和空间纹理清晰、颜色失真小,整体效果明显优于其他三种算法的效果,此外从图中箭头所指区域可以表明,本发明方法更多的保留了原始图像的特征信息。从图5(g)、5(h)、5(i)、5(j)可以看出,基于DWT算法、Curvelet算法和Contourlet传统PCNN的融合图像在指头所指区域边界明显模糊,存在伪轮廓现象,而本发明算法的融合图像箭头所指区域边界轮廓很分明,没有伪轮廓现象。从表1可以看出,本发明融合算法的平均梯度、边缘强度、信息熵、互信息指标明显优于其他三种算法,表明本文融合算法不仅大大提高了融合图像的空间纹理细节而且还保留了原来图像的特征信息。
机译: 用于音频信号的非重叠变换的方法和装置,用于通过该变换对音频信号进行自适应编码的方法和装置,用于对音频信号进行逆非重叠变换的方法和装置以及用于以自适应方式对音频信号进行解码的方法和装置逆变换
机译: 用于分割医学图像数据结构的医学图像数据后处理方法,涉及基于计算出的轮廓计算结构的表面,并基于图像数据和计算出的轮廓进行连续表面计算
机译: 基于CNN的医学成像分类器诱导非刚性网格变换的方法