一种基于拉普拉斯金字塔网络的高光谱遥感图像超分辨率方法

摘要

本发明涉及一种基于拉普拉斯金字塔结构的高光谱遥感图像超分辨率方法，所述超分辨率方法包括：首先，对高光谱图像数据集进行裁剪和下采样，构成低分辨率图像和高分辨图像对。然后构建包括级联的光谱‑空间模块，层注意力模块及上采样模块的超分辨率网络，并进行训练。最后利用训练好的模型对测试图像进行超分辨率处理，得到高分辨率高光谱图像。本发明通过串联多个光谱‑空间特征提取模块，使用多种注意力机制，充分利用光谱特征之间的空间信息和相关性。同时引入渐进式上采样框架，并在网络中共享参数，降低训练难度，提高网络性能。对三个公开的高光谱数据集的评估表明，本文提出的模型在常用的客观指标上取得了良好的表现。

说明书

技术领域

本发明涉及高光谱遥感图像处理领域，尤其是一种基于拉普拉斯金字塔的高光谱遥感图像超分辨率方法。

背景技术

高光谱影像(hyperspectral image,HSI)数据的获得是由航天飞机,遥感卫星,无人机,实验室成像设备等高光谱传感器从矿物,植被,森林,城市,农作物,食品,材料等区域或物品的反射光谱中采集数十,数百甚至上千狭窄且连续的光谱波段所生成的反射率影像组,通常高光谱成像传感器光谱响应范围是350nm～2500nm.高光谱影像数据具有获得连续波段影像的优点,因此对差异较小的不同地物特征而言捕获的图像包含丰富的空间和光谱信息。高光谱图像(HSI)不仅可以通过图像的形状和结构的不同来判别不同的地物结构,还可以通过光谱特性的不同来判别地物特征,因此可以广泛应用于分类，目标检测等领域.但由于卫星距地面遥远因此高光谱遥感影像具有成像波段范围越窄,成像传感器所需光能量就越多导致成像所需的地表覆盖范围就越大.相反,波段范围越宽,单位内地面物体反射的光能量就越多,地面上较小的区域就可以对应于传感器上的一个像素点,因此高光谱影像的空间分辨率相对较低.由于高光谱遥感影像处理领域的很多应用都需要高分辨率的高光谱影像,因此如何得到包含更多地物特征信息的高分辨率的高光谱遥感影像是一个重要研究内容。

发明内容

本发明的目的在于：针对现有高分辨率高光谱遥感图像获得困难，高光谱遥感图像超分辨率网络难以训练、性能低等问题，提供了一种基于拉普拉斯金字塔的高光谱遥感图像超分辨率方法，以解决目前高光谱遥感图像超分辨率技术存在的不足。

为解决上述的问题，本发明采用的一个技术方案是：提出一种基于拉普拉斯金字塔的高光谱遥感图像超分辨率方法，所述超分辨率方法包括以下步骤：

S1：构建训练集、验证集和测试集：首先对图像进行中心部分提取，再提取图像顶部区域作为测试子图像，剩余部分为训练子图像。对训练子图像采用128×128的滑动框进行裁剪，滑动框的重叠率为50％，得到的数据作为训练集，并在训练集中随机选择10％作为验证集；对测试子图像采用256x256的滑动框进行无重叠裁剪，得到的数据作为测试集。

S2：构建超分辨率模型：所构建的超分辨率模型m_1由多级金字塔组成，每级金字塔包含两个分支：特征提取分支和重建分支。首先图像被同时输入第一级金字塔的特征提取分支和重建分支，在特征提取分支通过光谱-空间特征提取模块和层注意力模块，得到深层特征图，再输入上采样模块，得到放大的特征图，然后与重建分支中通过反卷积直接放大得到的特征图相加作为下一级金字塔的输入。在最后一级金字塔中，特征提取分支与重建分支相加的结果作为模型的输出。

S3：模型训练：将S1中处理好的训练集输入S2构建的超分辨率模型m_1中训练，训练采用Adam优化器，通过最小化损失函数来得到最优网络权重，最终得到训练好的超分辨率模型m_2.

S4：图像重建：将低分辨率高光谱遥感图像输入到训练好的超分辨率模型m_2中，模型的输出是对应的高分辨率高光谱遥感图像。

步骤S2所述的光谱-空间特征提取模块由2部分组成，前半部分是6个的3x3卷积层，然后通过通道注意力提取光谱特征；后半部分是一个Non-local自注意力模块，通过考虑所有位置特征的加权来获得非局部的信息。通道注意力可以由以下计算公式给出：

s＝f(W

式(1)中X＝[x

Non-local自注意力机制可以定义为：

式(3)中i为计算响应的输出位置的索引，j列举所有位置的索引，x和y分别为非局部操作的输入和输出，C(x)为归一化常数，本发明设置C(x)为输入x的位置数目，成对函数f(x

步骤S2所述的层注意力模块的输入是N个光谱-空间特征提取模块中提取的中间特征组FGs，维度为N×H×W×C，然后将中间特征组FGs重塑为N×HWC的二维矩阵，并应用矩阵乘法与相应的转置相乘来计算不同层之间的相关性

式(4)中δ(·)和

步骤S2所述的上采样模块由亚像素卷积组成，通过卷积和多通道间的重组得到高分辨率的特征图。

步骤S3所述的损失函数是在L1损失的基础上，引入空间光谱总变量和光谱角匹配的复合损失函数，可以由以下公式给出：

L

式(5)中的L

本发明的有益效果是：所设计的网络串联了多个光谱-空间特征提取模块，使用了多种注意力机制，充分利用光谱特征之间的空间信息和相关性。此外，针对高光谱数据维度高、难以训练的问题，引入渐进式上采样框架，并在网络中共享参数，可以减少模型的参数。

附图说明

图1为本发明方法的流程示意图

图2为本发明网络模型的结构示意图

图3为光谱-空间模块的结构图

图4为通道注意力的结构图

图5为non-local自注意力模块的结构图

图6为层注意力模块的结构图

图7为Chikusei数据集上的测试结果

图8为Pavia Center数据集上的测试结果

图9为Washington DC数据集上的测试结果

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不限于下述实例。

如图1所示，本发明提供了一种基于拉普拉斯金字塔的的高光谱遥感图像的超分辨率方法，其具体实现过程如下：

S1.构建训练、验证和测试数据。

首先对图像进行中心部分提取，再提取图像顶部区域作为测试子图像，剩余部分为训练子图像。对训练子图像采用128×128的滑动框进行裁剪，滑动框的重叠率为50％，得到的数据作为训练集，并在训练集中随机选择10％作为验证集；对测试子图像采用256x256的滑动框进行无重叠裁剪，得到的数据作为测试集。并采用上下翻转、多角度旋转的图像增强。

S2.构建超分辨率网络模型。

如图2所示，本发明构建了用于高光谱遥感图像的超分辨率网络模型m_1，能够通过网络模型得到高分辨率图像。所构建的超分辨率模型m_1由多级金字塔组成，每级金字塔包含两个分支：特征提取分支和重建分支。首先图像被同时输入第一级金字塔的特征提取分支和重建分支，在特征提取分支通过光谱-空间特征提取模块和上采样模块，得到放大的特征图，然后与重建分支中通过反卷积直接放大得到的特征图相加作为下一级金字塔的输入。在最后一级金字塔中，特征提取分支与重建分支相加的结果作为模型的输出。

S201.光谱-空间特征提取模块。

该模块由2部分组成，前半部分是6个的3x3卷积层，然后通过通道注意力提取光谱特征；后半部分是一个Non-local自注意力模块，通过考虑所有位置特征的加权来获得非局部的信息。通道注意力可以由以下计算公式给出：

s＝f(W

式(9)中X＝[x

Non-local自注意力机制可以定义为：

式(11)中i为计算响应的输出位置的索引，j列举所有位置的索引，x和y分别为非局部操作的输入和输出，C(x)为归一化常数，本发明设置C(x)为输入x的位置数目，成对函数f(x

S202.层注意力模块。

该模块的输入是N个光谱-空间特征提取模块中提取的中间特征组FGs，维度为N×H×W×C，然后将中间特征组FGs重塑为N×HWC的二维矩阵，并应用矩阵乘法与相应的转置相乘来计算不同层之间的相关性

式(12)中δ(·)和

S3.模型训练。

将S1中处理好的训练集输入S2构建的模型m_1中训练，训练采用Adam优化器，通过最小化损失函数来得到最优网络权重，最终得到训练好的超分辨率网络模型m_2.

S301.损失函数。

损失函数是在L1损失的基础上，引入空间光谱总变量和光谱角匹配的复合损失函数，可以由以下公式给出：

L

式(13)中的L

S4.图像重建。

图像重建：将低分辨率高光谱遥感图像输入到训练好的超分辨率网络模型m_2中，模型的输出是对应的高分辨率高光谱遥感图像。

为验证本发明的有效性，使用3个公开的高光谱图像数据集进行对比实验，评价指标采用PSNR,SSIM,RMSE,SAM和ERGAS。

表1-3为在不同数据集上的实验结果，表中粗体表示最好的结果，下划线表示次佳的结果。由表1可知，本文所提出的Lap-SSPN算法在所有评价指标上都优于其他算法,在放大尺寸为4和8时,该方法的PSNR分别高于次佳的方法1.3DB和0.25DB以上.RCAN和SAN的结果大部分都仅次于本文提出的方法,这可能是因为RCAN和SAN都使用了注意力机制,能够很好地捕捉高光谱图像的光谱特征.本文与LapSRN一样使用拉普拉斯金字塔结构,对图像进行渐进式上采样,从结果可以看出,在针对高光谱图像时,本文提出的方法表现更好.DeepPrior是一种针对高光谱图像所提出的方法,但是该方法是通过迭代来获得高分辨率图像，调整结果需要很长时间。

表2给出了在Pavia数据集上所有比较算法的2张测试图像的平均性能，可以看到本文所提出的方法基本在所有评价指标上都有最优的表现，尤其是在PSNR评价指标上表现最优。在放大尺寸为4和8时，Lap-SSFN都优于次优算法1.9DB.

表3给出了在Washington DC数据集上所有比较算法的2张测试图像的平均性能，可以看到本数据集在所有方法上PSNR的表现都比较好，这可能是由于测试图像中有大约1/5的图像为黑色，影响了整体的评价。可以由表中看出，本文所提出的方法在d＝4时表现较好，在大部分指标上都有最优表现，尤其是在PSNR评价指标上表现最优，在d＝8时表现比d＝4时略差，综合三个数据集考虑，本文提出的模型可能在线条纹理多的数据上表现更好。

表1在Chikusei上的结果

表2在Pavia Center上的结果

表3在Washington DC上的结果

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。