一种基于小波变换的无人机图像融合规则阈值的选择方法

摘要

本发明公开了一种基于小波变换的无人机图像融合规则阈值的选择方法，应用于无人机侦察图像。该方法首先对同序列中的一幅图像进行一系列操作：区域能量测度融合、预设阈值、根据阈值确定融合算子、根据融合算子进行图像融合，然后对融合图像进行相位相关值的确定，并通过遍历阈值范围，确定最优的相位相关值，从而得到该序列图像进行融合的最佳阈值。本发明方法实现简单，且能够自动对阈值进行优化获得最佳阈值，采用本发明方法确定同序列的最佳阈值后再对同序列的图像进行图像融合操作，能够获得很好的融合效果，更适用于大数据量的无人机侦察图像。

说明书

技术领域

本发明属于卫星遥控工程技术、图像融合技术等领域，具体涉及一种基于小波变换的用 于对无人机侦察图像融合规则阈值的选择方法。

背景技术

无人驾驶飞机以其准确、高效和灵便的侦察、干扰、欺骗、搜索、校射及在非正规条件 下作战等多种作战能力，在现代战争中发挥着显著的作用。为了获得更可靠的图像情报 (IMINT)，无人机搭载了越来越多的传感器。面对众多的图像信息，需要针对无人机图像特 点将多个源图像的信息进行融合，以获取更为精确、更为全面可靠的图像描述，消除异源信 息之间的冗余和矛盾，增强影像中信息透明度，改善解释的精度、可靠性以及使用率。因此， 对无人机图像进行精确的融合，对于无人机应用研究有重要的意义。

小波变换的多分辨率融合分析是当前信号与图像融合领域的研究热点。它可以将原始图 像分解成一系列具有不同空间分辨率和频域特性的子图像，充分反映原始图像的局部变化特 征，将原始图像分解到一系列频道中，利用分解后的塔形结构，将被融合图像各自携带的特 征与细节在多个分解层、多个频带利用融合规则进行融合。融合规则的选取是基于小波变换 融合方法的重要组成部分。基于像素点区域特征的融合规则更适合应用到无人机异源图像这 一类源图像无法精确配准、光谱特征差别较大的情况，例如现有的小波区域能量测度融合规 则，但是这类规则往往只是凭经验确定阈值，无法做到自动调节，适应场景有限，且阈值选 取不好会导致无人机图像融合方法效果不佳、抗干扰能力差等问题。

发明内容

本发明针对目前无人机图像融合方法中无法自主选取最佳阈值，会导致无人机图像融合 方法效果不佳、抗干扰能力差等问题，提出了一种基于小波变换的无人机图像融合规则阈值 的选择方法。

本发明的一种基于小波变换的无人机图像融合规则阈值的选择方法，包括以下步骤：

步骤一：区域能量测度融合，包括以下步骤：

步骤1.1、读入无人机源图像A和B；

步骤1.2、根据下面公式分别确定图像A和图像B对应方向、相应分辨率上局部区域的 能量和

$E_j^{ϵ}(x,y)=\underset{n\in L,m\in K}{\Sigma }{\omega }^{ϵ}(n,m){\left[D_j^{ϵ}(x+n,y+m)\right]}^2,ϵ=\mathrm{1,2,3}$

其中，j为无人机图像分辨率；ε为方向上标，ε＝1，2，3分别表示水平、垂直和对角三个 方向；为在j分辨率下、ε方向上，以坐标点(x，y)为中心位置的局部区域能量；为 在j分辨率下、ε方向上的高频分量；为与对应的权函数；L、K为局部区域的大 小；

步骤1.3、确定图像A和图像B对应方向、对应分辨率上局部区域的匹配度

$M_{j,\mathrm{AB}}^{ϵ}(x,y)=\frac{2\underset{n\in L,m\in K}{\Sigma }{\omega }^{ϵ}(n,m)D_{j,A}^{ϵ}(x+n,y+m)D_{j,B}^{ϵ}(x+n,y+m)}{E_{j,A}^{ϵ}(x,y)+E_{j,B}^{ϵ}(x,y)}$

其中，和分别为图像A和图像B在j分辨率下、ε方向上的高频分量；

步骤1.4、预设阈值t。

步骤二：根据阈值t确定融合算子S₁与S₂：

若$M_{j,\mathrm{AB}}^{ϵ}(x,y)<t,$则

$\left(\begin{array}{cc}{S}_1=1,S_2=0& E_{j,A}^{ϵ}(x,y)\ge E_{j,B}^{ϵ}(x,y)\\ S_1=0,S_2=1& E_{j,A}^{ϵ}(x,y)<E_{j,B}^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}$

若$M_{j,\mathrm{AB}}^{ϵ}(x,y)\ge t,$则

$\left(\begin{array}{cc}{S}_1=W_{j,\max }^{ϵ}(x,y),S_2=W_{j,\min }^{ϵ}(x,y)& E_{j,A}^{ϵ}\left(x,y\right)\ge E_{j,B}^{ϵ}(x,y)\\ S_1=W_{j,\min }^{ϵ}(x,y),S_2=W_{j,\max }^{ϵ}(x,y)& E_{j,A}^{ϵ}(x,y)<E_{j,B}^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}$

式(4)中定义为：

$\left(\begin{array}{c}{W}_{j,\min }^{ϵ}(x,y)=\frac{1}{2}-\frac{1}{2}\left[\frac{1-M_{j,\mathrm{AB}}^{ϵ}(x,y)}{1-t}\right]\\ W_{j,\max }^{ϵ}(x,y)=1-W_{j,\min }^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}.$

步骤三：图像融合，具体包括以下步骤：

步骤3.1、对两幅源图像进行离散小波变换，构建小波金子塔；

步骤3.2、利用融合算子对得到的小波金字塔进行融合；

$D_{j,F}^{ϵ}(x,y)=S_1{D}_{j,A}^{ϵ}(x,y)+S_2{D}_{j,B}^{ϵ}(x,y)$

其中，为融合后得到的融合图像F在j分辨率下、ε方向上的分量在(x，y)处像 素的值；

步骤3.3、对融合图像F进行离散小波逆变换。

步骤四：确定相位相关值，具体包括以下步骤：

步骤4.1、对融合图像F做离散傅里叶变换得到频域图像U(ξ)：

$U\left(\xi \right)=\underset{x}{\Sigma }F\left(x\right)e^{-\frac{2\mathrm{i\pi }}{n}<x,\xi >}$

其中，n为融合图像中的样点个数，<x，ξ>为x与ξ的内积，x为融合图像F时域的自 变量，ξ为频域图像的自变量；

融合图像F离散傅里叶变换后的频域分布为：其中|U(ξ)|是融合图像 F离散傅里叶变换的幅度，是融合图像F离散傅里叶变换的相位；

步骤4.2、生成加入随机相位的N幅图像，N为蒙特卡罗方法仿真的次数：

每一次仿真都将相位增加一个随机偏移δS，得到一个随机相位其中δ是一个固定值，S是在(-π，π)上满足独立同分布条件的均匀分布的随机变量；则加入 随机相位的并根据式进行离散傅里叶逆变得到的重构图像空间域H_ψ(x)为：

$H_{\psi }\left(x\right)=\frac{1}{n^2}\underset{\xi }{\Sigma }\left|U\left(\xi \right)\right|·e^{\frac{2\mathrm{i\pi }}{n}<x,\xi >+\mathrm{i\psi }\left(\xi \right)}$

步骤4.3、得到相位相关值G：

$G=-{\log }_{10}\Phi \left(\frac{\mu -\mathrm{TV}\left(H_i\right)}{\sigma }\right)$

其中，Φ为正态分布的分布函数，根据确定；TV(H_i)为N幅重 构图像的第i幅图像H_i的全变差，TV(H_i)为：是散度算子，μ为 TV(H_i)的均值，σ为TV(H_i)的方差。

步骤五：判断获得的当前的相位相关值是否大于标准值，若是，则将当前的相位相关值 设为标准相位相关值，然后执行步骤六，若不是，则直接进入步骤六执行；所述的标准相位 相关值初始为0。

步骤六：以0.01为步长增大阈值t，并判断阈值t是否大于1，若没有，转步骤二执行， 若是，则设置当前阈值为标准相位相关值所对应的阈值，该阈值就是同序列中的图像进行图 像融合的最佳阈值。得到该最佳阈值后就可以采用该最佳阈值对同序列的图像进行图像融合。

本发明方法的优点和积极效果在于：

(1)相对于现有的小波区域能量测度融合规则，本发明利用相位相关值检测，能够自动 对其进行阈值优化，取到最佳阈值，从而使得同一序列中的图像可以根据该最佳阈值获得更 佳的图像融合效果；

(2)相对于现有采用经验确定阈值的图像融合方法，采用本发明方法确定了同序列的最 佳阈值后再进行图像融合，适用于具有大数据量的无人机侦察图像，且能够实现很好的融合 效果，各项客观融合质量评价指标如熵值、峰值信噪比(，Peak-to-peak Signal-to-Noise Ratio， 简称PSNR)、均方根误差(Root Mean Square Error，简称RMSE)等均优于现有图像融合方法 如SiDWT(shift invariant DWT)融合方法，并且本发明方法也易于实现。

附图说明

图1为本发明阈值的选择方法的整体流程示意图；

图2为本发明阈值的选择方法步骤1中区域能量测度融合的流程示意图；

图3为本发明阈值的选择方法步骤3中确定相位相关值的流程示意图；

图4为采用本发明方法得到最佳阈值后进行图像融合效果图：(a)为无人机可见光侦察 图像，(b)为无人机红外侦察图像，(c)为融合图像。

具体实施方式

下面结合附图和具体实施实例对本发明作进一步的说明。

本发明提出的基于小波变换的无人机图像融合规则阈值的选择方法，基于小波变换的无 人机图像融合规则，利用相位相关值检测的方法，自动进行阈值优化，使能够获得更好的图 像融化效果。如图1所示，本发明方法具体包括下面6个步骤。

步骤1：区域能量测度融合，具体包括下面步骤1.1～步骤1.4。

步骤1.1：读入两幅无人机源图像A，B。

步骤1.2：通过式(1)分别计算两幅图像A，B对应方向、相应分辨率上局部区域的能量

$E_j^{ϵ}(x,y)=\underset{n\in L,m\in K}{\Sigma }{\omega }^{ϵ}(n,m){\left[D_j^{ϵ}(x+n,y+m)\right]}^2,ϵ=\mathrm{1,2,3}---\left(1\right)$

式中，j为无人机图像分辨率，ε为方向上标，ε＝1，2，3分别表示水平、垂直和对角三个 方向；为在j分辨率下、ε方向上，以(x，y)为中心位置的局部区域能量；为在j 分辨率下、ε方向上的高频分量；ω^ε(n，m)为与对应的权函数；L、K为局部区域的大小， 通常使用的范围大小为3＊3，5＊5或者7＊7，单位是像素；m，n的变化范围在L、K内。 以某型无人机为例，可选用L、K的值都为5像素。

步骤1.3：确定两幅图像A，B对应方向、对应分辨率上局部区域的匹配度

$M_{j,\mathrm{AB}}^{ϵ}(x,y)=\frac{2\underset{n\in L,m\in K}{\Sigma }{\omega }^{ϵ}(n,m)D_{j,A}^{ϵ}(x+n,y+m)D_{j,B}^{ϵ}(x+n,y+m)}{E_{j,A}^{ϵ}(x,y)+E_{j,B}^{ϵ}(x,y)}---\left(2\right)$

其中，及按式(1)得到，分别为图像A，B的在j分辨率下、 ε方向上的高频分量。

步骤1.4：预设阈值t，一般t取0.5～1，预设阈值t＝0.5

步骤2：确定融合算子S₁与S₂：

若$M_{j,\mathrm{AB}}^{ϵ}(x,y)<t,$则

$\left(\begin{array}{cc}{S}_1=1,S_2=0& E_{j,A}^{ϵ}(x,y)\ge E_{j,B}^{ϵ}(x,y)\\ S_1=0,S_2=1& E_{j,A}^{ϵ}(x,y)<E_{j,B}^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}---\left(3\right)$

若$M_{j,\mathrm{AB}}^{ϵ}(x,y)\ge t,$则

$\left(\begin{array}{cc}{S}_1=W_{j,\max }^{ϵ}(x,y),S_2=W_{j,\min }^{ϵ}(x,y)& E_{j,A}^{ϵ}\left(x,y\right)\ge E_{j,B}^{ϵ}(x,y)\\ S_1=W_{j,\min }^{ϵ}(x,y),S_2=W_{j,\max }^{ϵ}(x,y)& E_{j,A}^{ϵ}(x,y)<E_{j,B}^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}---\left(4\right)$

式中S₁，S₂分别为图像融合中源图像A与B的权重，定义为：

$\left(\begin{array}{c}{W}_{j,\min }^{ϵ}(x,y)=\frac{1}{2}-\frac{1}{2}\left[\frac{1-M_{j,\mathrm{AB}}^{ϵ}(x,y)}{1-t}\right]\\ W_{j,\max }^{ϵ}(x,y)=1-W_{j,\min }^{ϵ}(x,y)\end{array}\right),ϵ=\mathrm{1,2,3}---\left(5\right)$

步骤3：图像融合；具体过程为：步骤3.1：将两幅源图像进行离散小波变换，分别构 建小波金子塔；步骤3.2：利用融合算子对小波金字塔进行融合，得到融合图像F；步骤3.3： 对融合图像F进行离散小波逆变换。

其中，步骤3.2具体根据式(6)利用融合算子对小波金字塔进行融合；

$D_{j,F}^{ϵ}(x,y)=S_1{D}_{j,A}^{ϵ}(x,y)+S_2{D}_{j,B}^{ϵ}(x,y)---\left(6\right)$

式中，为图像A的小波金字塔在j分辨率下、ε方向上的高频分量在(x，y)处的 值；为图像B的小波金字塔在j分辨率下、ε方向上的高频分量在(x，y)处像素的值； 为融合图像F在j分辨率下、ε方向上的高频分量在(x，y)处像素的值。

步骤4：相位相关值计算；具体包括以下三个步骤：

步骤4.1：离散傅里叶变换变换。

融合图像F的离散傅里叶变换(DFT)得到下面的频域图像U(ξ)：

$U\left(\xi \right)=\underset{x}{\Sigma }F\left(x\right)e^{-\frac{2\mathrm{i\pi }}{n}<x,\xi >}---\left(7\right)$

式中，n为融合图像中的样点个数，<x，ξ>为x与ξ的内积，x为融合图像F时域的自 变量，ξ为融合图像F经离散傅里叶变换后得到的U的自变量。这样便可以得到融合图像F 的离散傅里叶变换后的频域分布其中|U(ξ)|是融合图像F离散傅里叶变换 后的幅度，是融合图像F离散傅里叶变换后的相位；

步骤4.2：生成加入随机相位的N幅图像；

将相位增加一个随机偏移δS，得到一个新的相位函数ψ(ξ)称为 随机相位，δ是一个固定值，S是在(-π，π)上满足独立同分布条件的均匀分布的随机变量。 设用蒙特卡罗方法仿真的次数为N，则需要对相位分别做N次偏移，并根据式(8)进行离 散傅里叶逆变换得到的重构图像空间域H_ψ(x)为：

$H_{\psi }\left(x\right)=\frac{1}{n^2}\underset{\xi }{\Sigma }\left|U\left(\xi \right)\right|·e^{\frac{2\mathrm{i\pi }}{n}<x,\xi >+\mathrm{i\psi }\left(\xi \right)}---\left(8\right)$

步骤4.3：得到相位相关值；

N幅重构图像的第i幅图像H_i的全变差(ROF模型)TV(H_i)为：

$\mathrm{TV}\left(H_i\right)=\underset{x}{\Sigma }|▿H_i\left(x\right)|---\left(9\right)$

式中是散度算子。得到TV(H_i)后可进一步计算TV(H_i)的均值μ和方差σ，然后根据 式(10)得到相位相关值G：

$G=-{\log }_{10}\Phi \left(\frac{\mu -\mathrm{TV}\left(H_i\right)}{\sigma }\right)---\left(10\right)$

其中Φ为正态分布的分布函数：

$\phi \left(x\right)={\left(2\pi \right)}^{-1/2}{\int }_x^{+\infty }{e}^{-t^2/2}\mathrm{dt}---\left(11\right)$

步骤5：判断获得的当前的相位相关值是否大于标准值，若是，则将当前的相位相关值 设为标准相位相关值，然后执行步骤六，若不是，则直接进入步骤六执行。所述的标准相位 相关值初始为0。

步骤6：以0.01为步长增大阈值t，然后判断阈值t是否大于1，若没有，转步骤2执行， 若是，则此时标准相位相关值所对应的阈值最佳，设置当前阈值为标准相位相关值所对应的 阈值。得到最佳阈值后，根据该域值对同序列中的图像进行图像融合。

无人机图像通常是大量的图像序列，对同序列中的一幅图像的融合过程中利用本发明方 法得到最佳阈值后，该阈值可以适用于同序列中的任意图像，所以对同序列中的其他图像直 接采用该阈值进行融合即可，不需要再进行最佳阈值的选择，融合的方法可以根据本发明步 骤1.1～步骤1.3得到图像的匹配度，接着根据步骤2确定融合算子，然后根据步骤3进行 图像融合；也可以将所得到的最佳阈值应用在现在小波融合方法中来对这些处于同一序列的 图像进行融合。

在大量无人机图像序列的应用背景下，采用本发明方法获得最佳阈值后再进行图像融合 相对于采用现有方法根据经验值进行图像融合，获得的图像融合效果更优。下面给出了采用 本发明方法与采用经验值的现有方法的对比。

本发明实施例中与采用本发明方法做对比的采用经验值进行图像融合的现有的三种图像 融合方法是：LAP(Laplacian)金字塔融合方法，MORPH(morphological)金字塔融合 方法以及SiDWT融合方法。LAP金字塔融合方法是一种利用金字塔分解的融合方法，是一 种多尺度、多分辨率图像融合方法，融合过程可以在不同尺度、不同空间分辨率、不同分解 层上分别进行，基本思想是：对每一幅源图像进行LAP金字塔分解，然后通过从原始图像金 字塔选择系数来构成融合金字塔，再将融合金字塔进行反变换即可得到融合图像。MORPH 金字塔融合方法的基础是形态学采样策略，图像点集首先由形态学开运算或闭运算进行预处 理，然后由形态学采样建立图像金字塔，在塔层上设置一定的特征选择策略并逐级坍塌，最 后由形态学对偶运算重建图像。SiDWT融合方法通过不采用降采样过程可以得到具有平移不 变性的小波变换(SiDWT)。这三种融合方法中融合阈值均选取通常选用的阈值0.75。再采 用本发明方法获得最佳阈值后再根据上述本发明步骤1.1～步骤1.3得到图像的匹配度，根 据步骤2确定融合算子，然后根据步骤3进行图像融合。

如表1所示，为将本发明方法与上述三种现有方法分别应用于对同一序列无人机图像进 行融合得到的融合性能评价表，峰值信噪比(PSNR)越高，说明融合效果和质量越好，均 方根误差(RMSE)越小，说明融合图像与理想图像越接近，融合效果和质量越好，从表1 可以看出采用本发明方法的图像融合结果的峰值信噪比最高，均方根误差最小。

表1：应用4种方法进行无人机图像融合的融合性能评价表

  融合方法   PSNR   RMSE   LAP   42.193   3.9776   MORPH   37.6076   6.7436   SiDWT融合方法   41.7474   4.187   本发明方法   43.0585   3.6004

如图4所示，(a)为无人机可见光侦察图像，(b)为无人机红外侦察图像，(c)为将(a) 所示图像和(b)所示图像采用本发明所述的方法进行融合得到的融合图像。从图4中(c) 能看出采用本发明方法获得最佳阈值后再进行图像融合，获得的融合图像效果比较好。