基于联合稀疏与非负稀疏的红外与可见光图像融合方法

摘要

本发明提供了一种基于联合稀疏与非负稀疏的红外与可见光图像融合方法，涉及图像融合技术领域，对红外与可见光图像得到样本矩阵，并得到融合的均值结果，对去均值样本进行联合稀疏表示得到融合的去均值结果，将融合的均值结果与去均值结果结合，对红外图像进行显著性检测得到显著图，并得到红外图像的目标区域图，即可得到目标增强的红外与可见光图像融合结果，本发明在基于联合稀疏表示的融合方法基础上，引入了基于非负稀疏表示的分类融合思想，能够将公有特征与特有特征分别提取，完全保留源图像中的特有特征，能够有效指示特征类别，对均值采用分类融合的融合规则，更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。

说明书

技术领域

本发明涉及图像融合技术领域，尤其是一种红外与可见光图像融合方法。

背景技术

图像融合是指将同一对象经多个传感器成像或单一传感器多次成像的信息加以综合，以获得对该对象更全面、准确、可靠的描述，从而提高对图像信息分析和提取的能力。红外与可见光图像融合是图像融合的一个重要分支，它将红外图像的目标探测特性与可见光图像的场景保持特性相结合，既可克服单一可见光图像对光照条件的强依赖性，又能克服单一红外图像对比度低、背景模糊的缺点。红外与可见光图像融合技术能够有效提高图像识别与解译效率，在军事、监控、安防等领域有着重要的研究意义与应用前景。

近几年，红外与可见光图像融合方法中图像稀疏表示理论(SparseRepresentation，SR)受到广泛关注，该理论将过完备字典中少量原子的线性组合用以更加简洁的描述图像，这些稀疏系数及其对应的原子能够表示图像的本质结构。针对红外与可见光图像的特点，近年出现一定数量的基于稀疏的图像融合算法，如Yu N,Qiu T,Bi F,etal.Image Features Extraction and Fusion Based on Joint Sparse Representation[J].IEEE Journal of Selected Topics in Signal Processing,2011,5(5):1074-1082.以及王珺.基于稀疏表示的图像融合方法研究[D].西安,2015.前者提出了联合稀疏表示理论(Joint Sparse Representation,JSR)，将图像特征分为公有特征和特有特征两类，将公有特征完全保留的同时对特有特征采取加权融合，获得的融合图像则能够完全保留源图像中的特有特征。后者提出了将非负稀疏表示(Non-negative Sparse Representation，NNSR)的概念应用到图像融合中，将各类特征按各自特点分类融合，充分发挥了“选择”与“加权”融合规则的优势。

然而传统的基于联合稀疏表示的融合方法能够将公有特征与各自特有特征分别提出，但是其融合权重仅仅由单一的系数l₁范数或者l₂范数决定，这样并不能体现分类融合的思想，很多重要的特征会因此受损。

发明内容

为了克服现有技术的不足，提高图像融合性能，实现联合稀疏表示与非负稀疏表示优势互补，从而使红外图像中目标特性与可见光图像中的背景细节有机结合在一起。本发明提供一种基于联合稀疏表示与非负稀疏表示的红外与可见光图像融合方法。一方面联合稀疏表示能够将公有特征与特有特征分别提取，这样能够完全保留源图像中的特有特征，另一方面非负稀疏表示能够有效指示特征类别，对均值采用分类融合的融合规则，能够更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。

本发明解决其技术问题所采用的技术方案的具体步骤如下：

步骤一、分别对红外与可见光图像进行滑窗操作，得到样本矩阵；

对红外图像Iir与可见光图像Ivi分别进行滑窗操作，红外图像Iir与可见光图像Ivi的长度均为M，宽度均为N，即自左上到右下，以步长将图像分成的图像块，再将每个图像块拉直成列向量，按取出顺序排列成大小为n×L的红外样本矩阵Vir与可见光样本矩阵Vvi，取出顺序为滑窗操作将块取出的顺序，即自左上到右下，Z字型滑动取出顺序，红外样本矩阵Vir与可见光样本矩阵Vvi的列数L表示取出块的个数，即

步骤二、求样本矩阵各列的均值，得到均值样本和去均值样本；

求红外样本矩阵Vir与可见光样本矩阵Vvi中每列的均值，得到大小为1×L的均值样本Mir与Mvi，并将红外样本矩阵Vir与可见光样本矩阵Vvi中每列减去该列均值样本后得到大小为n×L的去均值样本与

步骤三、基于非负稀疏表示理论，设计得到融合指导模板Sign_f，并在该模板的指导下，得到融合的均值结果Mf，具体步骤如下：

步骤3.1：首先，准备训练样本V，即从样本矩阵[Vir,Vvi]中随机抽取m列，m取值为样本总数的1/3到1/2，作为训练样本V，v_i为训练样本V中第i列样本，Col为训练样本的总列数，α_ni为v_i的非负稀疏表示系数，λ为正则化参数；通过在线字典学习算法(OnlineDictionary>

步骤3.2：通过非负稀疏编码(Non-negative Sparse Coding,NNSC)，对样本矩阵Vir与Vvi进行稀疏编码，得到红外图像的非负稀疏系数Anir与可见光图像的非负稀疏系数Anvi，目标方程为式(1)；

其中NNSC算法，只需迭代更新Ax_t+1＝Ax_t.×(Dn^TVx)./(Dn^TDnAx_t+λ)，其中Ax_t(x＝nir,nvi)表示第t次迭代的非负稀疏系数，Ax_t+1表示第t+1次迭代的非负稀疏系数，Vx(x＝ir,vi)表示样本矩阵，正则化参数λ为与矩阵Dn^TDnAx_t中每个元素相加，即得到非负稀疏系数Anir与Anvi；

步骤3.3：计算Anir与Anvi中每列的活动水平al与稀疏度sp：

其中，al(α_i)表示非负稀疏系数α_i的活动水平，sp(α_i)表示α_i的稀疏度，K是α_i的维数；

步骤3.4：根据公式(2)的活动水平与稀疏度，分别求得红外图像中的目标特征Sign_IT、红外图像中的轮廓特征Sign_IC以及可见光图像中的纹理特征Sign_VT：

其中，α_i^IR和α_i^VI分别表示非负稀疏系数Anir与Anvi的第i列系数，τ∈(0,1]和γ∈(0,1]为常数，Sign_IT∈R^1×L为红外目标特征，Sign_IC∈R^1×L为红外轮廓特征，Sign_VT∈R^1×L为可见光细节特征，IalMax＝max(al(Anir))，IalMean＝mean(al(Anir))，VspMax＝max(sp(Anvi))，ValMax＝max(al(Anvi))；

步骤3.5：对于第i个窗口区域，融合指导模板为Sign_f(i)，具体如下：

Sign_IT(i)、Sign_IC(i)、Sign_VT(i)分别通过公式(3)、(4)和(5)求得红外目标特征图、红外轮廓特征图以及可见光细节特征图，在满足Sign_IT(i)＝＝255或Sign_IC(i)＝＝255&&Sign_VT(i)！＝255的条件下，即该处是红外目标特征或者该处仅存在红外轮廓特征而不存在可见光细节特征时，Sign_f(i)标注为255；在满足Sign_IC(i)！＝255&&Sign_VT(i)＝＝255的条件下，即该处仅存在可见光细节特征而不存在红外轮廓特征时，Sign_f(i)标注为0；在满足Sign_IC(i)＝＝255&&Sign_VT(i)＝＝255的条件下，即该处同时存在红外轮廓特征和可见光细节特征时，Sign_f(i)标注为64；

红外图像中的红外目标特征优先级最高，即只要存在红外目标特征，则始终采用公式(6)中所示255的融合规则；当无红外目标特征时，在区域仅有单一特征时，则采用选择其一规则融合，即对于第i个窗口区域，当Sign_f(i)等于255，选择对应的红外图像作为融合结果；当Sign_f(i)等于0，则选择对应的可见光图像作为融合结果；当区域存在多个特征时，则对应采用加权平均规则融合；

对于不确定区域则采用区域一致性规则处理，所述区域一致性规则即先统计不确定像素点的8邻域窗口区域内的融合规则，若周围融合规则最多的数目大于κ，其中κ≤⁸，则不确定像素点的融合规则采用周围融合规则数目最多的规则，否则认为红外与可见光图像特征都较重要，采用加权平均规则融合该位置，即设为64，更新遍历完整幅图像，得到最终的Sign_f；

根据公式(6)的结果，可得到第i列融合的均值结果Μf(i)如下：

其中，红外图像和可见光图像的均值向量中第i列均值分别为Mir(i)与Mvi(i)，β为一个正常数，根据经验取为0.01，与分别是红外图像和可见光图像样本矩阵的第i列去均值样本，按照公式(7)可得到融合的均值结果Μf；

步骤四、对去均值样本与进行联合稀疏表示，得到公有稀疏系数A^C和红外特有稀疏系数与可见光特有稀疏系数并通过加权平均规则，得到融合的去均值结果具体包括如下步骤：

步骤4.1：训练字典D，从样本矩阵[Vir,Vvi]中随机抽取n列，n取值范围为0到样本总数之间，作为训练样本V'，训练得到大小为n×K的字典D，目标方程如下：

其中，||α||₀表示α的l₀范数，即向量α中非零元素的个数，ε表示所能容忍的误差，根据经验将ε，取值范围为0.01～0.1，表示向量x的l₂范数的平方，其中x＝v-Dα；

步骤4.2：对去均值样本与进行联合稀疏表示，即对联合矩阵在联合字典上进行稀疏编码，0表示与字典D相同大小的零矩阵，以式(8)为目标方程，求得联合稀疏表示系数

步骤4.3：融合的稀疏系数通过稀疏系数Af与字典D，获得融合的去均值结果即

步骤五、将融合的均值结果Mf与去均值结果结合，对其进行滑窗逆操作，得到初步融合结果I_f：

首先，将均值Mf乘以全1向量I∈R^n×1，即Vm_f＝I×Mf，此时与Vm_f大小一致，则将V_f中每一列重塑成大小的块，再按照取块的顺序依次放回至取出位置，将重叠区域的像素进行叠加，在重叠区域求像素的均值，即将该像素点的像素求和，除以叠加的次数即可得到像素的均值，得到融合图像I_f；

步骤六、对红外图像进行显著性检测得到显著图，在显著图中选取种子点后，由区域增长法得到红外图像的目标区域图，得到目标增强的红外与可见光图像融合结果Iz_f，具体包括以下步骤：

步骤6.1：计算长度为M、宽度为N的红外图像的显著图S(x,y)：

S(x,y)＝|Ig(x,y)-Iu| (9)

Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑处理，提出噪声；Iu是红外图像的像素算数平均值；

步骤6.2：找出S(x,_y)中像素最大值的坐标，将该坐标作为区域增长的种子点，在红外图像中通过区域增长法，获得目标区域二值图，即该图中目标区域为1，非目标区域为0，将目标区域图与红外图像Iir点乘，获得目标区域，再与融合图像I_f通过选择最大像素的规则得到融合结果，所述最大像素的规则为比较两幅待融合图像对应位置的像素值大小，选择像素值大的作为该位置的融合结果，遍历整幅图像得到融合图像，即可得到目标增强的红外与可见光图像融合结果Iz_f。

步骤3.1中所述ODL算法的步骤为：

①初始化，将大小为n×K(K＞n)的DCT字典设置为初始字典D₀，K为字典的列数，设置迭代次数T以及正则化参数λ，令A₀∈R^K×K←0，B₀∈R^n×K←0；初始值矩阵A₀和B₀的大小均给定；

②从V中取v_i，进行稀疏编码：采用最小角回归(Least>

③令A_i←A_i-1+α_iα_i^T∈R^K×K，B_i←B_i-1+v_iα_i^T∈R^n×K，其中矩阵A_i为存储α_i信息的矩阵，矩阵B_i为存储v_i和α_i信息的矩阵，A_i与A_i-1的大小与A₀的大小一致，均为K×K，更新过程另一种表示为即在上一次求得的结果基础上再加上α_iα_i^T；B_i与B_i-1的大小与B₀的大小一致，均为n×K，更新过程另一种表示为即在上一次求得结果的基础上再加上v_iα_i^T；

④采用块下降法根据下式依次更新字典D_i：

其中D_i初始化为D_i-1，迭代直至到达迭代次数即满足收敛条件，返回字典D，即非负字典Dn。

步骤4.1中所述字典D通过K-SVD算法训练得到。

步骤4.2中所述联合稀疏表示系数通过OMP算法求得。

本发明的有益效果在于由于在基于联合稀疏表示的融合方法基础上，引入了基于非负稀疏表示的分类融合思想，一方面联合稀疏表示能够将公有特征与特有特征分别提取，能够完全保留源图像中的特有特征，另一方面非负稀疏表示能够有效指示特征类别，对均值采用分类融合的融合规则，能够更有效保留红外目标与背景细节，二者综合运用能够获得更优的融合结果。

附图说明

图1是本发明的图像融合流程图。

图2为测试图像，其中图2(a)为红外图像，图2(b)为可见光图像。

图3为本发明对图2融合后的结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

参照图1，本发明的图像融合步骤如下：

步骤一、分别对红外与可见光图像进行滑窗操作，得到样本矩阵；

对红外图像Iir与可见光图像Ivi分别进行滑窗操作，红外图像Iir与可见光图像Ivi的长度均为M，宽度均为N，即自左上到右下，以步长将图像分成的图像块，再将每个图像块拉直成列向量，按取出顺序排列成大小为n×L的红外样本矩阵Vir与可见光样本矩阵Vvi，取出顺序为滑窗操作将块取出的顺序，即自左上到右下，Z字型滑动取出顺序，红外样本矩阵Vir与可见光样本矩阵Vvi的列数L表示取出块的个数，即

步骤二、求样本矩阵各列的均值，得到均值样本和去均值样本；

求红外样本矩阵Vir与可见光样本矩阵Vvi中每列的均值，得到大小为1×L的均值样本Mir与Mvi，并将红外样本矩阵Vir与可见光样本矩阵Vvi中每列减去该列均值样本后得到大小为n×L的去均值样本与

步骤三、基于非负稀疏表示理论，设计得到融合指导模板Sign_f，并在该模板的指导下，得到融合的均值结果Mf，具体步骤如下：

步骤3.1：首先，准备训练样本V，即从样本矩阵[Vir,Vvi]中随机抽取m列，m取值为样本总数的1/3到1/2，本发明中m取值20000，作为训练样本V，v_i为训练样本V中第i列样本，Col为训练样本的总列数，α_ni为v_i的非负稀疏表示系数，λ为正则化参数；通过在线字典学习算法(Online Dictionary>

步骤3.2：通过非负稀疏编码(Non-negative Sparse Coding,NNSC)，对样本矩阵Vir与Vvi进行稀疏编码，得到红外图像的非负稀疏系数Anir与可见光图像的非负稀疏系数Anvi，目标方程为式(1)；

其中NNSC算法，只需迭代更新Ax_t+1＝Ax_t.×(Dn^TVx)./(Dn^TDnAx_t+λ)，其中Ax_t(x＝nir,nvi)表示第t次迭代的非负稀疏系数，Ax_t+1表示第t+1次迭代的非负稀疏系数，Vx(x＝ir,vi)表示样本矩阵，正则化参数λ为与矩阵Dn^TDnAx_t中每个元素相加，即得到非负稀疏系数Anir与Anvi；

步骤3.3：计算Anir与Anvi中每列的活动水平al与稀疏度sp：

其中，al(α_i)表示非负稀疏系数α_i的活动水平，sp(α_i)表示α_i的稀疏度，K是α_i的维数；

步骤3.4：根据公式(2)的活动水平与稀疏度，分别求得红外图像中的目标特征Sign_IT、红外图像中的轮廓特征Sign_IC以及可见光图像中的纹理特征Sign_VT：

其中，α_i^IR和α_i^VI分别表示非负稀疏系数Anir与Anvi的第i列系数，τ∈(0,1]和γ∈(0,1]为常数，Sign_IT∈R^1×L为红外目标特征，Sign_IC∈R^1×L为红外轮廓特征，Sign_VT∈R^1×L为可见光细节特征，IalMax＝max(al(Anir))，IalMean＝mean(al(Anir))，VspMax＝max(sp(Anvi))，ValMax＝max(al(Anvi))；

步骤3.5：对于第i个窗口区域，融合指导模板为Sign_f(i)，具体如下：

Sign_IT(i)、Sign_IC(i)、Sign_VT(i)分别通过公式(3)、(4)和(5)求得红外目标特征图、红外轮廓特征图以及可见光细节特征图，在满足Sign_IT(i)＝＝255或Sign_IC(i)＝＝255&&Sign_VT(i)！＝255的条件下，即该处是红外目标特征或者该处仅存在红外轮廓特征而不存在可见光细节特征时，Sign_f(i)标注为255；在满足Sign_IC(i)！＝255&&Sign_VT(i)＝＝255的条件下，即该处仅存在可见光细节特征而不存在红外轮廓特征时，Sign_f(i)标注为0；在满足Sign_IC(i)＝＝255&&Sign_VT(i)＝＝255的条件下，即该处同时存在红外轮廓特征和可见光细节特征时，Sign_f(i)标注为64，对应加权融合规则；

红外图像中的红外目标特征优先级最高，即只要存在红外目标特征，则始终采用公式(6)中所示255的融合规则；当无红外目标特征时，在区域仅有单一特征时，则采用选择其一规则融合，即对于第i个窗口区域，当Sign_f(i)等于255，选择对应的红外图像作为融合结果；当Sign_f(i)等于0，则选择对应的可见光图像作为融合结果；当区域存在多个特征时，则对应采用加权平均规则融合；

对于不确定区域则采用区域一致性规则处理，所述区域一致性规则即先统计不确定像素点的8邻域窗口区域内的融合规则，若周围融合规则最多的数目大于κ，其中κ≤8，本发明中κ取为4，则不确定像素点的融合规则采用周围融合规则数目最多的规则，否则认为红外与可见光图像特征都较重要，采用加权平均规则融合该位置，即设为64，更新遍历完整幅图像，得到最终的Sign_f；

根据公式(6)的结果，可得到第i列融合的均值结果Μf(i)如下：

其中，红外图像和可见光图像的均值向量中第i列均值分别为Mir(i)与Mvi(i)，β为一个正常数，根据经验取为0.01，与分别是红外图像和可见光图像样本矩阵的第i列去均值样本，按照公式(7)可得到融合的均值结果Μf；

步骤四、对去均值样本与进行联合稀疏表示，得到公有稀疏系数A^C和红外特有稀疏系数与可见光特有稀疏系数并通过加权平均规则，得到融合的去均值结果具体包括如下步骤：

步骤4.1：训练字典D，从样本矩阵[Vir,Vvi]中随机抽取n列，n取值范围为0到样本总数之间，本发明n取值5000，作为训练样本V'，训练得到大小为n×K的字典D，目标方程如下：

其中，||α||₀表示α的l₀范数，即向量α中非零元素的个数，ε表示所能容忍的误差，根据经验将ε，取值范围为0.01～0.1，表示向量x的l₂范数的平方，其中x＝v-Dα；

步骤4.2：对去均值样本与进行联合稀疏表示，即对联合矩阵在联合字典上进行稀疏编码，0表示与字典D相同大小的零矩阵，以式(8)为目标方程，求得联合稀疏表示系数

步骤4.3：融合的稀疏系数通过稀疏系数Af与字典D，获得融合的去均值结果即

步骤五、将融合的均值结果Mf与去均值结果结合，对其进行滑窗逆操作，得到初步融合结果I_f：

首先，将均值Mf乘以全1向量I∈R^n×1，即Vm_f＝I×Mf，此时与Vm_f大小一致，则将V_f中每一列重塑成大小的块，再按照取块的顺序依次放回至取出位置，将重叠区域的像素进行叠加，在重叠区域求像素的均值，即将该像素点的像素求和，除以叠加的次数即可得到像素的均值，得到融合图像I_f；

步骤六、对红外图像进行显著性检测得到显著图，在显著图中选取种子点后，由区域增长法得到红外图像的目标区域图，得到目标增强的红外与可见光图像融合结果Iz_f，具体包括以下步骤：

步骤6.1：计算长度为M、宽度为N的红外图像的显著图S(x,y)：

S(x,y)＝|Ig(x,y)-Iu| (9)

Ig(x,y)是红外图像经过高斯滤波后的矢量图，目的是对图像进行平滑处理，提出噪声；Iu是红外图像的像素算数平均值；

步骤6.2：找出S(x,y)中像素最大值的坐标，将该坐标作为区域增长的种子点，在红外图像中通过区域增长法，获得目标区域二值图，即该图中目标区域为1，非目标区域为0，将目标区域图与红外图像Iir点乘，获得目标区域，再与融合图像I_f通过选择最大像素的规则得到融合结果，所述最大像素的规则为比较两幅待融合图像对应位置的像素值大小，选择像素值大的作为该位置的融合结果，遍历整幅图像得到融合图像，即可得到目标增强的红外与可见光图像融合结果Iz_f。

步骤3.1中所述ODL算法的步骤为：

①初始化，将大小为n×K(K＞n)的DCT字典设置为初始字典D₀，K为字典的列数，设置迭代次数T以及正则化参数λ，令A₀∈R^K×K←0，B₀∈R^n×K←0；初始值矩阵A₀和B₀的大小均给定；

②从V中取v_i，进行稀疏编码：采用最小角回归(Least>

③令A_i←A_i-1+α_iα_i^T∈R^K×K，B_i←B_i-1+v_iα_i^T∈R^n×K，其中矩阵A_i为存储α_i信息的矩阵，矩阵B_i为存储v_i和α_i信息的矩阵，A_i与A_i-1的大小与A₀的大小一致，均为K×K，更新过程另一种表示为即在上一次求得的结果基础上再加上α_iα_i^T；B_i与B_i-1的大小与B₀的大小一致，均为n×K，更新过程另一种表示为即在上一次求得结果的基础上再加上v_iα_i^T；

④采用块下降法根据下式依次更新字典D_i：

其中D_i初始化为D_i-1，迭代直至到达迭代次数即满足收敛条件，返回字典D，即非负字典Dn。

步骤4.1中所述字典D通过K-SVD算法训练得到。

步骤4.2中所述联合稀疏表示系数通过OMP算法求得。

图2中红外与可见光图像为已经精确配准后的图像，图3是用本发明对图2(a)和图2(b)融合后的结果，图3右下角是对图中方框位置的放大显示，是由于结合了联合稀疏表示与非负稀疏表示的优势，且进一步进行了目标增强，因此有效提升了融合性能。