法律状态公告日
法律状态信息
法律状态
2017-12-08
未缴年费专利权终止 IPC(主分类):G06T5/00 授权公告日:20160518 终止日期:20161017 申请日:20131017
专利权的终止
2016-05-18
授权
授权
2014-02-26
实质审查的生效 IPC(主分类):G06T5/00 申请日:20131017
实质审查的生效
2014-01-22
公开
公开
技术领域
本发明涉及图像融合技术,具体为红外光强图像和红外偏振图像增强融合方法。
背景技术
红外成像技术具有全天候、被动式工作、抗干性强等特点,被广泛应用于军事和民用领域。传统的红外成像技术主要是利用物体的红外辐射强度来成像,得到的是红外光强图像,红外光强成像技术的飞速发展同时也推动了红外烟雾、红外隐身与伪装、红外诱饵弹、红外干扰机等红外对抗技术的发展,使得传统的红外光强成像技术面临严重挑战。而新出现的红外偏振成像与原有红外光强成像机理不同,红外偏振成像是通过对红外线的偏振度、偏振角等物理量成像,能探测到普通红外光强成像技术无法探测到的红外目标,从而大幅度提升红外对抗能力。红外偏振成像的出现,使红外成像技术从单一的光强成像向偏振态、光强两种成像发展,极大地提高了红外探测能力。研究已表明在海面油污检测、地物背景辨别、人造目标监测、医疗诊断等方面,红外偏振成像与红外光强成像具有很大的互补性,只有将两种模态图像融合,才能利于目标识别处理和人员观察、减少信息丢失,才能综合两类成像优势、满足实用需求,因而,红外光强图像和红外偏振图像融合对提高红外图像质量和目标识别具有重要意义。
有代表性的红外光强图像和红外偏振图像融合研究包括利用小波包对红外光强图像和红外偏振图像进行融合、利用支持度变换融合法对红外光强图像和红外偏振图像进行融合、利用彩色融合方法处理红外偏振图像、利用D-S证据理论融合红外偏振图像等。利用多分辨率变换进行融合被证明是一类行之有效的方法,这类变换有金字塔算法、小波包变换、支持度变换等,在各类图像融合中均取得较好效果。利用这些方法进行图像融合时,主要是把原图像分解为高频和低频图像,通过较为精细的分解以便对拥有相同或相近属性的分解图像采用同一融合规则,用这样的方法尽管可以较好地综合两幅原图像的差异信息,但仍然无法解决由于红外成像固有的边缘区域模糊、对比度低的问题,特别是在恶劣条件探测时该问题就更为突出。由于人眼在目标识别时,对对比度更为敏感,所以,在其它类型的灰度图像如可见光和红外图像融合处理中,对比度增强也有广泛需求。利用数学形态学中的顶帽变换分别从原图像中提取亮暗信息,再与原图像融合,被证明在可见光和红外图像融合中较为有效。但该方法的缺点是不仅增强效果较为有限,而且普遍存在边缘区域失真的问题,通过增加融合系数虽可以降低失真,但同时又降低了对比度,边缘区域失真与对比度提升之间存在着矛盾性,这种方法用于红外光强和红外偏振图像融合时,上述问题更为突出。
为此,需要有一种方法来专门解决红外光强图像和红外偏振图像融合中边缘区域失真和对比度低的问题。
发明内容
本发明为了解决红外光强图像和红外偏振图像融合后的图像边缘区域失真和对比度低的问题,提供了一种红外光强图像和红外偏振图像增强融合方法。
本发明是采用如下的技术方案实现的:红外光强图像和红外偏振图像增强融合方法,包括以下步骤:
红外光强图像和红外偏振图像分别用支持度变换进行分解,每幅图像都分解得到低频图像和支持度序列图像;
上述得到的两低频图像的最后一层分别用顶帽变换提取明亮信息和黯淡信息,两低频图像都分别得到明亮信息图像和黯淡信息图像,其中,明亮信息的提取方法为: ,黯淡信息的提取方法为:,式中,N=1,2,当N=1时,代表红外光强图像的低频图像的最后一层在处的像素值,当N=2时,代表红外偏振图像的低频图像的最后一层在处的像素值,表示像素值的位置,表示开运算,B是算子模版,下角标S=1,2,…m是尺度数;表示利用尺度数为S、算子模版为B在位置处提取出的像素值,即明亮信息,表示闭运算,表示利用尺度数为S、算子模版为B在位置处提取出的像素值,即黯淡信息;
对得到的明亮信息图像和黯淡信息图像分别进行灰度调整,使得与被提取的低频图像的最后一层的灰度动态范围一致,并将灰度调整后明亮信息图像用取大法融合,黯淡信息图像用取大法融合,得到增强明亮信息图像和增强黯淡信息图像;
将两低频图像的最后一层与增强明亮信息图像和增强黯淡信息图像融合,得到低频增强融合图像,融合方法为:;
将低频增强融合图像和采用取大法融合后的支持度序列合成图像进行支持度逆变换,得到红外光强图像和红外偏振图像的合成图像。
支持度变换是一种非采样的二值冗余变换,是在最小二乘支持向量机基础上提出的一种新的图像多尺度变换方法,支持度变换后得到的图像的支持度矩阵是与图像显示相关的信息,可以很好地表征图像的细节特征信息,且同小波变换相比具有平移不变性、不会产生振铃效应、运算速度快的优点,因此本发明优选了支持度变换分解红外图像,得到低频图像和支持度序列图像,并从低频图像中提取得到的明亮信息图像和黯淡信息图像,支持度序列图像提取的是原图像中灰度值突变的信息,通常反映的是不同尺度的目标边缘,低频图像提取的是原图像中灰度值变化较为平稳的信息,通常反映的是目标的纹理,多以区域的形式呈现,区域与区域之间的灰度差异就是对比度,所以,从低频图像提取明亮、黯淡信息最后与支持度序列图像融合时不会影响支持度序列图像提取到的边缘,这样就解决了边缘区域失真的问题,对两幅明亮信息图像和两幅黯淡信息图像分别进行灰度调整,进行灰度调整可以使得亮、暗对比度增强,因为红外图像是灰度图像,本身的对比度都不大,所以,提取到的亮、暗信息灰度值都较小,直接与原图像融合,引起的灰度值改变量相对也小,对对比度的影响自然不明显,所以,把明亮信息图像和黯淡信息图像与原低频图像灰度范围调整一致后,使得亮、暗对比度增强,再用灰度值取大法分别融合灰度调整后的两幅明亮信息图像和两幅黯淡信息图像,得到增强明亮信息图像和增强黯淡信息图像,增强明亮信息图像和增强黯淡信息图像再与低频图像进行融合得到低频增强融合图像,低频增强融合图像不仅综合了明亮信息图像和黯淡信息图像的信息,而且使得亮的信息(通常对应目标)更亮、暗的信息(通常对应背景)更暗,实现了目标与背景的对比度增强,同时通过支持度变换分解得到的支持度序列图像融合较好地保留了原图像的边缘,支持度序列图像和低频增强融合图像逆变换得到的合成图像自然不仅对比度增强了,而且边缘区域失真问题也解决了。
上述的红外光强图像和红外偏振图像增强融合方法,增强明亮信息图像和增强黯淡信息图像在与低频图像融的最后一层合之前先用滤波器滤波,使得图像在对比度增大的同时变得柔和,更适合人的视觉观察。
上述的红外光强图像和红外偏振图像增强融合方法,尺度数S取3~5,图像中的目标常常具有不同尺度,为了能综合处理图像中目标特征的形状尺寸,需要选用多尺度算子模版B,尺度数S选择的大,有利于提取更为精细的信息,但会导致运算量大和伪信息出现,尺度数S选择的小,算子模版B则不能完全提取目标特征,综合考虑尺度数S取3~5。
上述的红外光强图像和红外偏振图像增强融合方法,算子模版B选用圆盘形,提取效果好。
上述的红外光强图像和红外偏振图像增强融合方法,滤波器为高斯滤波器,且高斯滤波器窗口大小取以下之一:5×5、7×7、9×9、11×11、13×13或15×15,标准差取值范围为2~7,滤波效果好。
附图2-6为红外图像的实例,其中,图2为红外光强图像,图3为红外偏振图像,图4为SVT(支持度变换法的)融合图像,图5为顶帽变换法的融合图像,图6为本方法的融合图像;从图中可以看出,图6在整体效果上明显优于图2、图3、图4、图5所示的红外光强图像、红外偏振图像、直接用SVT融合的图像和顶帽变换法融合的图像,且各图像的相关数据对比如下表:
从表中可以看出:红外光强图像的细节信息(局部粗糙度)比红外偏振图像的多,但是红外偏振图像的目标背景对比度和纹理清晰程度(分形维盒子数)强于红外光强图像,说明二者有融合的必要。而采用本发明所述融合方法所得的融合图像的各项指标均优于SVT融合图像和顶帽变换方法融合图像,特别是在失真度和对比度方面。
附图说明
图1为本发明的流程图。
图2为红外光强图像。
图3为红外偏振图像。
图4为SVT融合图像。
图5为顶帽变换法的融合图像。
图6为本发明的融合图像。
具体实施方式
红外光强图像和红外偏振图像增强融合方法,包括以下步骤:
红外光强图像和红外偏振图像分别用支持度变换进行分解,每幅图像都分解得到低频图像和支持度序列图像;
上述得到的两低频图像的最后一层分别用顶帽变换提取明亮信息和黯淡信息,两低频图像都分别得到明亮信息图像和黯淡信息图像,其中,明亮信息的提取方法为:,黯淡信息的提取方法为:,式中,N=1,2,当N=1时,代表红外光强图像的低频图像的最后一层在处的像素值,当N=2时,代表红外偏振图像的低频图像的最后一层在处的像素值,表示像素值的位置,表示开运算,B是算子模版,下角标S=1,2,…m是尺度数;表示利用尺度数为S、算子模版为B在位置处提取出的像素值,即明亮信息,表示闭运算,表示利用尺度数为S、算子模版为B在位置处提取出的像素值,即黯淡信息;
对得到的明亮信息图像和黯淡信息图像分别进行灰度调整,使得与被提取的低频图像的最后一层的灰度动态范围一致,并将灰度调整后明亮信息图像用取大法融合,黯淡信息图像用取大法融合,得到增强明亮信息图像和增强黯淡信息图像;
将两低频图像的最后一层与增强明亮信息图像和增强黯淡信息图像融合,得到低频增强融合图像,融合方法为:;
将低频增强融合图像和采用取大法融合后的支持度序列合成图像进行支持度逆变换,得到红外光强图像和红外偏振图像的合成图像。
上述的红外光强图像和红外偏振图像增强融合方法,增强明亮信息图像和增强黯淡信息图像在与低频图像的最后一层融合之前先用滤波器滤波。
上述的红外光强图像和红外偏振图像增强融合方法,尺度数S取3~5。
上述的红外光强图像和红外偏振图像增强融合方法,算子模版B选用圆盘形。
上述的红外光强图像和红外偏振图像增强融合方法,滤波器为高斯滤波器,且高斯滤波器窗口大小取以下之一:5×5、7×7、9×9、11×11、13×13或15×15、标准差取值范围为2~7。
具体实施时,算子模版B在数学形态学中有方形、线形、圆盘形等可以选择,图像中的目标常常具有不同尺度,为了能综合处理图像中目标特征的形状尺寸,需要选用多尺度算子模版B,尺度数S选择的大,有利于提取更为精细的信息,但会导致运算量大和伪信息出现,综合考虑尺度数S不宜过大,一般取3~5即可。可用下式得到: ,然后,对提取出的各尺度的明亮信息用像素值取大法融合,得到最终的明亮信息图像;对提取出的各尺度的黯淡信息用像素值取大法融合,得到最终的黯淡信息图像;滤波时选用高斯滤波器,高斯滤波器窗口大小和标准差大小会对滤波效果产生一定的影响,窗口大滤波效果会使图像看上去更为柔和,但是同时会造成目标背景对比度下降,而标准差大同样会使图像平滑,综合两方面的因素,高斯滤波器窗口大小取以下之一:5×5、7×7、9×9、11×11、13×13、15×15,标准差取值范围2~7,效果较好。
机译: LWIR SWIR红外融合双红外摄像机以及使用LWIR和SWIR的图像融合算法
机译: LWIR SWIR红外融合双红外摄像机,用于具有图像融合算法的LWIR和SWIR
机译: 用于红外辐射的图像增强器,其波长在1微米以上的中红外范围内;米