基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法

摘要

本发明提供一种基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法，该方法在利用学习字典重建图像的基础上，考虑了遥感图像的非局部相似性，将低分辨率图像自身所包含的信息加入重建图像，使高频细节内容更丰富。同时，通过低秩分解的原理将多字典重建的图像进行融合，有效利用了多幅图像之间所包含的非冗余信息。最后，算法利用全局优化，进一步减小了图像的重建误差。

说明书

技术领域

本发明涉及图像处理和遥感信息智能处理领域，具体而言涉及一种基于多字典学习与非 局部信息融合的遥感图像超分辨率重建方法。

背景技术

随着遥感技术的不断发展，卫星遥感影像的空间分辨率越来越高，但是卫星遥感器依旧 面临着较高的投入成本和硬件制作技术的限制。因此，从算法和软件方面入手来提高图像分 辨率成为目前研究的热点。由此应运而生的图像超分辨率技术可以利用低分辨率图像重建出 高分辨率图像，从而克服成像设备固有的分辨率限制，在卫星遥感成像领域具有重要的应用 价值。

目前，图像超分辨算法主要包括基于插值、重建和学习三类。基于插值的超分辨率算法 并不考虑图像的内容而只是简单地进行像素点之间的计算，例如最邻近插值、双线性插值、 双三次插值，这类算法计算复杂度小、运行速度快，但细节信息不易保留。基于重建的超分 辨率算法结合图像的降质模型，改进了插值算法无法引入先验信息的问题，例如迭代反向投 影法(IBP:IterativeBackProjection)、最大后验概率法(MAP:MaximumaPosteriori)、凸集投影 法(POCS:ProjectionOntoConvexSet)，这类算法原理较为简单，对纹理结构丰富的图像重建 效果不佳。基于学习的超分辨率算法是把图像训练集中的高低分辨率图像的对应关系作为先 验信息，从而根据低分辨率图像估计出高分辨率图像，该类方法可以获得更多的高频细节信 息，是目前热门的研究方向。

Yang等人根据压缩感知理论，提出了基于稀疏编码的超分辨率算法(SparseCodingSuper Resolution,SCSR)，其基本原理是为图像的高、低分辨率块分别训练对应的高、分辨率字典并 且使它们具有相同的稀疏表示，再在重建时计算出低分辨率图像块在对应字典下的稀疏表示 系数，由高分辨率字典与之相乘，便可估计出高分辨率图像块。与传统方法相比，稀疏表示 法的重建效果取得了显著提高。

然而，传统的基于字典学习的超分辨率算法重建遥感图像时存在以下问题：

1、对训练数据比较敏感，当训练数据不同时，重建的图像也不相同，重建的结果并不稳 定。在真实情况下，遥感图像成像条件复杂，降质模型并不确定，地物类型也各部相同，利 用单一字典进行超分辨率重建的图像质量有时候甚至不如传统的插值算法。

2、只考虑了外部信息，即利用训练字典进行图像重建，而忽略了图像自身所包含的结构 信息。遥感图像纹理复杂度高，非局部自相似性强。这种有别于自然图像的特殊结构使得同 一幅遥感图像中往往存在大量非局部自相似性信息，例如道路、农田、房屋等，传统方法对 这些信息未能加以有效利用。

发明内容

本发明要解决的技术问题在于，针对传统的基于字典学习的超分辨率算法重建遥感图像 时对样本数据敏感，进行多字典学习，针对重建图像细节信息缺失，加入图像自身的非局部 信息。

为此，本发明目的在于提供一种基于多字典学习与非局部信息融合的遥感图像超分辨率 重建方法。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方 式发展独立权利要求的技术特征。

为达成上述目的，本发明提出一种基于多字典学习与非局部信息融合的遥感图像超分辨 率重建方法，包括单幅图像重建和多幅图像融合两个过程，其中：

前述的单幅图像重建过程包括以下步骤：

1)根据遥感图像地物类型训练相应的高、低分辨率字典对；

2)利用稀疏表示重建算法对低分辨率图像进行超分辨率重建；

3)在超分辨率重建图像中加入非局部信息；

前述的多幅图像融合过程包括以下步骤：

4)利用低秩分解原理对多幅重建图像进行融合；

5)对融合后的图像进行全局优化，得到最终的高分辨率图像。

进一步的实施例中，所述步骤1)包括以下具体步骤：

11)根据地物类型对遥感图像进行分类，建立相应的训练图像集；

12)对每一类训练图像集学习相应的高、低分辨率字典对。

进一步的实施例中，所述步骤2)包括以下具体步骤：

21)利用低分辨率字典求取低分辨率图像的稀疏表示系数；

22)将高分辨率字典与稀疏系数相乘得到超分辨率重建图像。

进一步的实施例中，所述步骤3)包括以下具体步骤：

31)查找与高分辨率图像块最相似的低频图像块，获取相应的高频特征图；

32)利用相似结构像素间的对应关系将高频特征加入重建图像。

进一步的实施例中，所述步骤4)包括以下具体步骤：

41)使用低秩分解算法对多幅超分辨率重建图像进行分解；

42)提取分解图像的低秩部分和稀疏部分；

43)对多幅分解图像求取平均值，得到融合后的高分辨率图像。

上述方法中，所述步骤5)包括以下具体步骤：

51)对重建的高分辨率图像进行随机下采样，得到相应的低分辨率图像；

52)根据下采样图像与原始图像的重建误差对高分辨率图像进行全局优化，得到最终的 重建结果。

有以上本发明的技术方案可知，本发明提出的基于多字典学习与非局部信息融合的遥感 图像超分辨率重建方法，与现有技术相比，其显著的优点在于：

其一，根据遥感图像尺度大，地物类型丰富的特点，针对不同的地物类型，分别训练各 自的字典，并重建出与之对应的高分辨率图像，从而尽量多地保留图像的本质特征，克服了 单一字典重建对训练集敏感的缺点；

其二，根据遥感图像纹理复杂度高，非局部自相似性强的特点，通过图像块匹配的方法 在整幅图像内搜索相似的图像块，然后对这些非局部信息加以利用，从而更好地恢复图像的 纹理特征；

其三，根据遥感图像高熵值，低冗余度的特点，通过低秩分解的方法，融合多幅重建图 像，利用其中的非冗余信息来增强高分辨率图像的细节信息。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构 思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题 的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和 特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显 见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分 可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在， 将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1为基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法总体流程示意图。

图2为字典训练流程示意图。

图3为稀疏表示超分辨率重建流程示意图。

图4为多幅图像低秩融合示意图。

图5为图1所示方法的具体实现的一个示例性流程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开 的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以 及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为 本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单 独使用，或者与本发明公开的其他方面的任何适当组合来使用。

根据本发明的公开，针对现有技术存在的缺陷与不足，

提出一种基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法，根据低分辨 率图像，在利用学习字典重建图像的基础上，加入了遥感图像的非局部信息，通过低秩分解 的原理将多字典重建的图像进行融合，并使用全局优化，重建出高分辨率图像。其实现包括 单幅图像重建和多幅图像融合两个过程。

前述的单幅图像重建过程包括以下步骤：

1)根据遥感图像地物类型训练相应的高、低分辨率字典对；

2)利用稀疏表示重建算法对低分辨率图像进行超分辨率重建；

3)在超分辨率重建图像中加入非局部信息。

前述的多幅图像融合过程包括以下步骤：

4)利用低秩分解原理对多幅重建图像进行融合；

5)对融合后的图像进行全局优化，得到最终的高分辨率图像。

如图1所示是按照本发明一实施例的基于多字典学习与非局部信息融合的遥感图像超分 辨率重建方法的流程图，该流程开始于步骤101。

然后，在步骤102，输入学习字典所需的训练样本集和待重建的低分辨率图像。

接下来在步骤103，使用步骤102给定的训练样本集，根据KSVD算法学习出多个字典 对。

然后，在步骤104中，使用OMP算法和字典重建出对应的高分辨率图像。

接下来，在步骤105中，以步骤104所得图像为基础，分别加入图像自身所包含的非局 部信息。

然后，在步骤107中，将步骤105得到的多幅重建图像使用低秩分解的方法进行融合。

接下来在步骤107，使用反向投影对融合后的图像进行全局优化。

然后，在步骤108中，进行高分辨率图像输出。

最后，在步骤109，结束流程。

在整个流程中包括单幅图像重建和多幅图像融合两个过程。

单幅图像重建过程是指通过每类学习字典重建出高分辨率图像，并加入非局部信息的过 程。

在步骤102中，根据地物类型，按照城市、山脉、农田将遥感图像分为三类，每类选取 10幅图像作为训练图像。待重建的低分辨率遥感图像没有地物类型限制，可以任意选取。

参考图2所示的字典训练流程，前述步骤1)的实现具体包括：

11)根据地物类型对遥感图像进行分类，建立相应的训练图像集；

12)对每一类训练图像集学习相应的高、低分辨率字典对。

具体地，如前述的步骤102，该步骤1)根据遥感图像地物类型训练相应的高、低分辨率 字典对，其示例性实现包括：

在步骤202中对每幅高分辨率图像进行下采样得到相应的低分辨率图像，在步骤203中 对高、低分辨率图像进行分块，例如低分辨率图像按照4×4分块，高分辨率图像按照8×8分 块，即将原始图像放大4倍；

然后进入步骤204，根据公式(1)中的四个梯度算子为低分辨率图像生成四幅梯度图像， 并组合成向量，然后在步骤205中对步骤204中的低分辨率图像块利用方差阈值进行剔除， 将剩下的图像块构成训练样本集510(如图5的示例)。

f₁＝[-1,0,1],f₂＝f₁^T(1)

$f_3=[\mathrm{1,0},-\mathrm{2,0,1}],f_4=f_3^T$

接下来，在步骤206中根据公式(2)使用KSVD算法学习出三个高分辨和低分辨字典 对502(如图5的示例)：

$\{\hat{D},Z\}=\arg \underset{\{\hat{D},Z\}}{\min }{\left|\right|\hat{X}-\hat{D}Z\left|\right|}_2^2+\lambda {\left|\right|Z\left|\right|}_1---\left(2\right)$

其中$\hat{X}=\left(\begin{array}{c}\frac{1}{\sqrt{N_h}}{X}^h\\ \frac{1}{\sqrt{N_l}}{X}^l\end{array}\right),\hat{D}=\left(\begin{array}{c}\frac{1}{\sqrt{N_h}}{D}_h\\ \frac{1}{\sqrt{N_l}}{D}_l\end{array}\right),$λ表示正则化参数，N_h和N_l分别表示向量形式的 高低分辨率图像块维数，Z表示系数矩阵。

字典学习完毕后，进入图像重建阶段。本例中，前述步骤2)的利用稀疏表示重建算法 对低分辨率图像进行超分辨率重建，其实现包括以下具体步骤：

21)利用低分辨率字典求取低分辨率图像的稀疏表示系数；

22)将高分辨率字典与稀疏系数相乘得到超分辨率重建图像。

具体地，参考图3所示，在步骤302中输入任意一幅低分辨率图像，进入步骤303，对 302中的低分辨率图像按照4×4进行分块，并计算四幅梯度图像，组合成向量y。在步骤304 中根据公式(3)使用低分辨率字典D_l求出每个分块构成的向量y的最优稀疏表示α：

$\underset{\alpha }{\min }{\left|\right|\mathrm{\Phi \alpha }-\hat{y}\left|\right|}_2^2+\lambda {\left|\right|\alpha \left|\right|}_1---\left(3\right)$

其中，$\Phi =\left(\begin{array}{c}{\mathrm{FD}}_l\\ {\mathrm{\beta PD}}_h\end{array}\right),\hat{y}=\left(\begin{array}{c}\mathrm{Fy}\\ \mathrm{\beta w}\end{array}\right),$λ表示正则化参数，参数β用来平衡低分辨块与高分辨块之 间相似性和邻域的兼容性，F用来提取高频信息，P用来提取当前重建图像块和之前已重建 图像块的重叠区域，w表示已重建图像块与当前图像块的重叠区域。

在本发明中使用正交匹配追踪OMP算法求解稀疏系数α，接下来进入步骤305，根据 公式(4)，利用高分辨字典D_h和步骤304中求得的稀疏系数α可获得高分辨图像块。在步骤 306中，将步骤305得到的高分辨率图像快放到图像的相应位置。完成所有低分辨率图像块 的超分辨重建过程，在步骤307即可获得超分辨率图像503(如图5的示例)。

x＝D_hα(4)

最后，利用非局部信息来学习低分辨率图像的像素结构，并根据最匹配的原则，查找与 高分辨率图像块最相似的低频图像块，从而获取相应的高频特征图，用来恢复图像的细节信 息。

本例中，前述步骤3)在超分辨率重建图像中加入非局部信息，其实现包括以下具体步 骤：

31)查找与高分辨率图像块最相似的低频图像块，获取相应的高频特征图；

32)利用相似结构像素间的对应关系将高频特征加入重建图像。

具体地，加入非局部信息包括以下两个步骤：

第一步：搜索相似结构的像素

把利用多字典重建出的高分辨率图像作为初始化图像，设h(i₀,j₀)是高分辨率图像中 (i₀,j₀)位置的像素，P_h(i₀,j₀)是以h(i₀,j₀)为中心的一个方形窗口。l(i,j)是低分辨率像素， P_l(i,j)是以其为中心的方形窗口。窗口大小为n×n像素，两个图像块之间的相似性通过平均 欧氏距离来度量：

${\mathrm{SIM}}_{(i,j)}=\Sigma {\left|\right|P_h(i_0,j_0)-P_l(i,j)\left|\right|}_2^2---\left(5\right)$

为了简化计算，我们在高分辨率图像中寻找相似结构时，使用固定大小的搜索窗口，如 10×10像素。在该窗口中，逐个计算低分辨率图像中以相应像素为中心的窗口的SIM值，从 中选择固定个数的相似结构像素，将这些像素归为一类，组成非局部信息504，包括原始的 高分辨率像素h(i₀,j₀)和搜索得到的具有相似结构的低分辨率像素。

第二步：利用相似结构像素间的对应关系优化高分辨率图像

该步骤在多字典学习重建的高分辨率图像中加入非局部信息，从而增强高频细节，去除 锯齿效应。利用相似结构像素的集合C来优化高分辨率图像的公式如下：

$P(i_0,j_0)=\frac{1}{a(i_0,j_0)}\underset{(i,j)\in C}{\Sigma }\omega (i,j)Q(i,j)---\left(6\right)$

其中，(i,j)代表低分辨率像素的位置，(i₀,j₀)代表高分辨率像素的位置，Q(i,j)是低分 辨率像素值，P(i₀,j₀)是加入非局部信息后的像素值。ω(i,j)＝exp(-SIM(i,j)/t)是权重，由 P_h(i₀,j₀)和P_l(i,j)的相似性决定。是归一化常数。参数t控制指数函数 的衰落速度。

在完成单幅图像的超分辨率重建后，是对多幅重建图像的融合过程。

本例中，前述步骤4)的融合过程包括：

41)使用低秩分解算法对多幅超分辨率重建图像进行分解；

42)提取分解图像的低秩部分和稀疏部分；

43)对多幅分解图像求取平均值，得到融合后的高分辨率图像。

具体地，结合前述图1所示，融合过程包括以下具体步骤：

首先，结合图4、图5所示，将三类字典重建的图像401拉成向量402，组成高维矩阵X， 根据公式(7)对其进行低秩分解403：

$\min {\left|\right|X-L-S\left|\right|}_F^{2}s.t.\mathrm{rank}\left(L\right)\le r,\mathrm{card}\left(S\right)\le k---\left(7\right)$

其中，目标函数是单调递减的，可以收敛到一个局部最小值。在具体求解时，使 用了交替最小化的思想，将上式分解为以下两个迭代式：

$L_t=\arg \underset{\mathrm{rank}\left(L\right)\le r}{\min }{\left|\right|X-L-S_{t-1}\left|\right|}_F^2$(8)

$S_t=\arg \underset{\mathrm{card}\left(S\right)\le k}{\min }{\left|\right|X-L_t-S\left|\right|}_F^2$

公式(8)通过求解奇异值，更新L_t；通过取的前k项元素得到S_t。 将矩阵分解为低秩部分404，稀疏部分405和噪声部分406，即

X＝L+S+G，rank(L)≤r，card(S)≤k(9)

其中，X为原始矩阵，L为低秩部分，S为稀疏部分，G为噪声部分。

在融合图像时，本例子中保留了低秩部分404和稀疏部分405，舍弃噪声部分406，并通 过对多幅分解图像取平均值得到融合后的重建图像505(如图5的示例)。

接下来，在步骤5)中，进行下述处理：

51)对重建的高分辨率图像进行随机下采样，得到相应的低分辨率图像；

52)根据下采样图像与原始图像的重建误差对高分辨率图像进行全局优化，得到最终的 重建结果。

具体地，结合图1所示的步骤，本例中，步骤5)的全局优化与最终输出，其具体实现 包括：

根据图像的降质模型Y＝QX和高分辨率图像与低分辨率图像之间的映射关系，可得：

Y₀-Y＝Q(X₀-X)(10) 从而根据公式(11)将X投影到QX＝Y来求解最终的高分辨率图像X^*：

$X^{*}=\arg \underset{X}{\min }{\left|\right|\mathrm{QX}-Y\left|\right|}_2^2+\lambda {\left|\right|X_0-X\left|\right|}_2^2---\left(11\right)$

公式(11)的优化问题可以利用梯度下降法进行计算，迭代过程如下：

X_t+1＝X_t+c[Q^T(Y-QX_t)+λ(X₀-X)](12)

其中，X_t是第t次迭代后高分辨率图像的估计，c是梯度下降的步长。

本例中先对重建的高分辨率图像X₀进行随机下采样，得到相应的低分辨率图像Y₀，并根 据Y₀-Y的结果估计重建误差ε。

经过全局优化处理后，即可得到最终的高分辨率重建图像506，如图5所示。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域 中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本 发明的保护范围当视权利要求书所界定者为准。