一种红外光强与偏振图像多类变元组合的融合方法

摘要

本发明公开了一种红外光强与偏振图像多类变元组合的融合方法，包括以下步骤：S1：对采集图像特征进行类型分类；S2：将采集的图像的融合过程分成四类变元组；S3：建立四类变元组和三类图像特征的一一映射关系；S4：将建立变元组与图像特征之间的多个独立的一一映射关系，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系；S5：利用边缘、纹理、亮度特征提取方法对图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值；S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况。

说明书

技术领域

本发明属于图像融合领域，具体为一种红外光强与偏振图像多类变元组合的融合方法。

背景技术

红外光强图像描述物体的强度信息，红外偏振图像描述物体的偏振信息，两类图像分别描述了物体的不同属性，具有很强的互补性，将两类图像融合，能够更全面的表达场景信息，提高图像视觉效果。由于场景信息日益复杂、传统融合算法不能根据图像间的不同特征动态调整融合算法中的多尺度变换方法、融合规则、融合参数、逆变换准则及其组合方式，造成原始图像的主要特征融合效果不好，不能全面的表达目标信息。

近年来，为了解决融合算法不能根据不同图像特征从而进行动态调整的问题，研究人员主要开展了如下研究：(1)调整融合算法中的部分结构：研究人员尝试利用不同类型小波与简单融合规则组合的方法进行图像融合。该方法只考虑了利用不同小波进行图像分解，没有考虑到利用目前的多尺度分解方法，而且所利用的高、低频子带融合规则只采用简单的绝对值取大或取小的方法。该方法可以实现根据图像特征变化时融合算法中的小波类型进行动态调整，但是不能调整融合规则和融合参数。由于该方法考虑从融合算法内部进行改变，解决在图像特征不同时融合算法进行动态调整。但是该方法只考虑了小波类型的变化，没有考虑融合规则、融合参数对图像特征融合效果的影响，因此该方法只能针对部分图像特征得到很好的融合效果。(2)利用图像不同差异特征，动态调整融合算法：有学者尝试利用图像的差异特征驱动图像融合算法，这种方法可以针对图像的不同差异特征改变融合算法，使多算法融合模型的融合性能得到进一步提升。该方法虽然针对图像不同差异特征，动态调整融合算法，图像差异特征可以得到较好融合效果，但是该方法只考虑了融合算法进行改变，并没有考虑融合算法内部必要组成部分的改变以及进行不同的组合，导致融合效果的提升不明显。

发明内容

本发明为解决图像融合过程中，融合方法不能根据图像差异特征不同，动态调整融合算法，导致所得到融合图像融合效果差的问题，提供一种红外光强与偏振图像多类变元组合的融合方法。

本发明为解决上述问题而采取的技术方案为：

一种红外光强与偏振图像多类变元组合的融合方法，包括以下步骤：

S1：对采集的红外光强图像和红外偏振图像的图像特征进行类型分类：根据图像特征的视觉效果，可以将图像特征分为三类：边缘特征、纹理特征和亮度特征；

S2：将采集的红外光强图像和红外偏振图像的融合过程分成多尺度分解方法变元组、融合规则变元组、融合参数变元组、逆变换准则变元组四类变元组，确定每类变元组内变元；

S3：利用公式(1)分别建立步骤S2的四类变元组和步骤S1的三类图像特征的一一映射关系，当公式(1)计算所得的数值为正时，建立映射关系；所得数值为负时，不建立映射关系，其中公式(1)如下：

公式中x_i为客观评价指标的数值，n为多尺度分解方法变元组组内变元或者融合规则变元组组内变元的总数，y_i为计算所得比较融合数值，其中y_i＞0认为其对应的变元组与所对应的图像特征融合是有效融合，数值越大融合效果越好，>i≤0证明该算法不合适该特征的融合，既为无效融合变元；

S4：将步骤S3所建立变元组与图像特征之间的多个独立的一一映射关系，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系，利用矩阵将S3所建立的独立映射关系进行量化并建立如公式(2)所示的函数化关系，其中公式(2)如下：

F＝(S^T×T×Z)×α₁L×Z×α₂H×Z(2)

F为结果矩阵、S为多尺度分解变元组矩阵、S^T为矩阵S的转置矩阵、H为高频融合规则变元矩阵、L为低频融合规则变元组矩阵、T为逆变换准则变元组矩阵、Z为过渡矩阵矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1，α₁、α₂为融合参数，其中α₁+α₂＝1，图像特征为3个，则四个矩阵的维度分别为3×10、3×4、3×4、3×10，具体矩阵如公式(3)所示；矩阵中每一个元素的数值由有效融合程度公式(1)计算，其数值在[0,1]区间内，其中小于0时按0处理，则建立四个变元组之间的有效组合关系由公式(2)>

S5：利用边缘、纹理、亮度特征提取方法对步骤S1中的红外光强图像和红外偏振图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值，并将计算所得绝对值进行降序排序，得到原始图像差异特征的顺序；

S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况，其中所选择的变元组内变元可能是单一变元或者多个变元，将所得到的变元逐次放入融合模型中，具体顺序为多尺度分解方法变元、融合规则变元、融合参数变元、逆变换变元，从而得到新的融合方法，将原始红外光强图像与红外偏振图像输入新的融合方法，可以输出融合图像。

优选地，本发明所述多尺度分解方法变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；所述的融合规则变元组的变元包括加权平均L1、邻域归一化梯度L2、局部能量匹配 L3、区域标准差L4、绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4，其中加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4属于低频子带融合规则，绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4属于高频子带融合规则；融合参数变元组内变元可以取内所有数；逆变换准则变元组的变元包括离散小波T1、双树复小波T2、顶帽分解 T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析 T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10。

本发明与现有技术相比具有以下优点：

1、本发明将多尺度图像融合过程设计成多尺度分解变元组、融合规则变元组(分为高频、低频)、融合参数变元组、逆变换变元组四部分的形式，分别建立了各变元组与图像特征之间的对应关系，使每个变元组内变元的选择都以图像特征为选择依据。根据图像特征不同，选择不同的变元，组合成不同的融合方法，解决了目前融合算法不能根据图像特征进行动态调整问题。

2、本发明通过提取原始图像特征并计算两类图像相同特征之间的量化差异值的绝对值，将差异特征绝对值利用降序排序，得出原始图像差异特征的顺序。解决了目前融合算法不考虑图像特征及图像差异特征幅值的问题。根据图像差异特征不同，更好的选择变元组内变元并进行组合。

3、本发明建立了变元组内元素选择及变元组合的函数关系式，给出了变元选择的方法解决了：变元组内变元选择与图像特征之间的关系；不同变元组间变元组合的关系。为融合方法的选择与建立给出了明确的选择依据。

附图说明

图1为本发明流程图；

图2为实施例1所用原始图像；

图3为10种多尺度分解算法对不同图像特征的比较融合度；

图4为4种低频融合规则对不同图像特征的比较融合度；

图5为4种高频融合规则对不同图像特征的比较融合度；

图6为多尺度分解变元组、融合规则变元组(高频、低频)对图像特征一一对应关系；

图7为多集值映射关系图；

图8为实验结果图。

具体实施方式

实施例1

一种红外光强与偏振图像多类变元组合的融合方法，如图1所示，以图2 (a)、2(b)为例进行，包括以下步骤：

S1：对采集的红外光强图像和红外偏振图像的图像特征进行类型分类：根据图像特征的视觉效果，可以将图像特征分为三类：边缘特征、纹理特征和亮度特征；

S2：将采集的红外光强图像和红外偏振图像的融合过程分成多尺度分解方法变元组、融合规则变元组、融合参数变元组、逆变换准则变元组四类变元组，确定每类变元组内变元，所述多尺度分解方法变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；所述的融合规则变元组的变元包括加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4、绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4，其中加权平均L1、邻域归一化梯度L2、局部能量匹配L3、区域标准差L4属于低频子带融合规则，绝对值取大H1、局部特征匹配H2、方向梯度算子H3、边缘保持H4属于高频子带融合规则；融合参数变元组内变元可以取内所有数；逆变换准则变元组的变元包括离散小波T1、双树复小波T2、顶帽分解T3、非下采样剪切波T4、非下采样轮廓波T5、曲线波分解T6、鲁棒主成分分析T7、稀疏矩阵T8、金字塔变换T9、引导滤波T10；

S3：利用公式(1)分别建立步骤S2的四类变元组和步骤S1的三类图像特征的一一映射关系，当公式(1)计算所得的数值为正时，建立映射关系；所得数值为负时，不建立映射关系，其中公式(1)如下：

公式中x_i为客观评价指标的数值，n为多尺度分解方法变元组组内变元或者融合规则变元组组内变元的总数，y_i为计算所得比较融合数值，其中y_i＞0认为其对应的变元组与所对应的图像特征融合是有效融合，数值越大融合效果越好，>i≤0证明该算法不合适该特征的融合，既为无效融合变元，具体结果如图3-图5所示；

S4：将步骤S3所建立变元组与图像特征之间的多个独立的一一映射关系如图6所示，利用决策树方法建立以图像特征为起点，以变元组内变元为子结点的多集值映射关系如图7所示，利用矩阵将S3所建立的独立映射关系进行量化并建立如公式(2)所示的函数化关系，其中公式(2)如下：

F＝(S^T×T×Z)×α₁L×Z×α₂H×Z(2)

F为结果矩阵、S为多尺度分解变元组矩阵、S^T为矩阵S的转置矩阵、H为高频融合规则变元矩阵、L为低频融合规则变元组矩阵、T为逆变换准则变元组矩阵、Z为过渡矩阵矩阵维数与上次矩阵乘法维度有关，解决矩阵不能相乘问题，矩阵内元素全部为1，α₁、α₂为融合参数，其中α₁+α₂＝1，图像特征为3个，则四个矩阵的维度分别为3×10、3×4、3×4、3×10，具体矩阵如公式(3)所示；矩阵中每一个元素的数值由有效融合程度公式(1)计算，其数值在[0,1]区间内，其中小于0时按0处理，则建立四个变元组之间的有效组合关系由公式(2)>

S41：将S3所建立各变元组与图像特征之间的多个独立关系利用决策树方法建立以图像特征为起点，以变元组内元素为子结点的多集值映射关系如图7 所示。图中，A、B、C分别代表边缘差异、纹理差异、亮度差异；T1-T10代表多尺度分解算法；L1-L4代表低频融合规则；H1-H4代表高频融合规则；[0,1] 为融合参数(本发明融合参数取值为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9)；F为最终融合图像。图中“实线”代表针对边缘差异特征较好的路径；“虚线”代表针对纹理差异特征较好的路径；“点线”代表针对亮度特征较好的路径；

S42：利用矩阵将S41所得到的多集值映射关系进行函数化表示，给定四个矩阵(多尺度分解算法、高频融合规则、低频融合规则、逆变换方法)S、H、L、 T和融合参数α₁、α₂(α₁+α₂＝1)，图像特征为3个，则四个矩阵的维度分别为>

S5：利用边缘、纹理、亮度特征提取方法对步骤S1中的红外光强图像和红外偏振图像进行特征提取并计算其特征幅值，并计算两类图像特征之间的差异特征幅值的绝对值，并将计算所得绝对值进行降序排序，得到原始图像差异特征的顺序，具体如下

利用特征提取方法对图像特征进行提取(其中边缘特征利用canny算子进行提取；纹理特征利用局部二进制算子LBP提取；亮度特征利提取原始图像的灰度直方图)，对图像特征进行特征提取后，利用客观评价计算其三类图像特征的特征量化值，所得到的结果如表(3)所示；将量化值利用公式(4)进行归一化整理(其中，D表示量化后的差异特征值，N_i表示没有量化的差异特征，max>

S6：将S5所得到的差异特征顺序关系输入到S4所得到的公式(2)中，可以得到四类变元组每个变元组内变元的选择情况，其中所选择的变元组内变元可能是单一变元或者多个变元，将所得到的变元逐次放入融合模型中，具体顺序为多尺度分解方法变元、融合规则变元、融合参数变元、逆变换变元，从而得到新的融合方法，将原始红外光强图像与红外偏振图像输入新的融合方法，可以输出融合图像具体如图8所示。

结果表明从图8中的a1-c1可以看出对比方法一融合的图像部分出现亮度过饱和情况，导致偏振信息融合较少；从图8的a2-c2可以看出对比方法二融合的图像整体偏暗，但是边缘、纹理信息较好，亮度信息融合不好，证明红外光强信息融合较少，对原始图像低频信息的提取不够；从图8的a3-c3可以看出对比方法三方法融合的图像造成局部模糊，边缘信息不明显；本发明方法融合的图像在亮度、纹理、边缘特征的融合上都取得了比较好的融合结果。第三组实验的标准差不是最高，但是优于其他两种方法；第四组实验中的边缘强度和平均梯度数据均是第二高，不是最高的。造成这三个指标融合效果不是最好的主要原因：(1)可能是因为在提取原始图像主要差异特征时，提取的不完整，造成使用拟态变换定理选择融合方法的时候所设定的权值大小存在了一定的区别；(2)所采用的融合方法和融合规则太少，因此利用公式(1)所计算得到的有效融合度普遍性不大，造成了这一问题的发生。但是在绝大多数情况下，所得融合图像的融合效果还是比较好的，也证明了本发明所提出的多类变元组合融合方法具有有效性。