面向卫星图像的任意尺度超分辨率重建方法及系统

摘要

本发明涉及一种面向卫星图像的任意尺度超分辨率重建方法及系统，基于卫星图像特点，通过改进元放大模块和边缘增强提升卫星图像的表达能力，重建实现包括进行低分辨卫星图像浅层特征提取，采用残差密集网络对图像深层特征进行提取，融合低分辨率卫星图像特征；采用元放大模块中的权重预测网络获取滤波器权重，通过优化投影映射函数获取更精确的权重，进而得到更加精确的卫星图像任意分辨率重建结果，作为中间重建卫星图像；通过卫星图像边缘增强实现卫星图像纹理的清晰表达，充分挖掘卫星图像的结构信息，获得最终的高分辨率卫星图像。本发明方法可提高不同分辨率卫星图像的表达能力，且边缘细节等信息更加清晰，能广泛应用于对地观测等各个领域。

说明书

技术领域

本发明属于图像超分领域，特别涉及一种面向卫星图像的任意尺度超分辨率重建方案。

背景技术

近年来，卫星影像广泛应用于城市规划、灾害监测、海域监视、动目标监测等多个对地观测领域。受星载设备功耗等硬件条件的限制，地面获得的卫星图像空间分辨率远低于自然图像。卫星图像的超分辨率重建技术通过学习低分辨率到高分辨率图像之间的映射关系，从一帧或多帧低分辨率图像中推测并恢复出更加清晰的高分辨率图像。通过设计新技术方案来增强图像的空间分辨率，对强化卫星图像数据表达能力，拓展卫星图像应用场景具有重要意义。

现有的卫星图像的超分辨率方法(文献1、文献2)主要采用基于深度学习的方法对复杂数据进行建模，引入跳跃连接和密集连接对输入信息进行充分提取，能表达出更精细的特征纹理，从而较好的提升模型图像重建性能。然而该类方法将不同比例因子的超分辨率视为独立任务，且只针对整数的比例因子(例如X2，X3，X4)，每个比例因子都训练一个特定的模型，在实际应用中具有局限性。

为了解决任意尺度的图像超分辨率重建，用于超分辨率的任意放大网络被提出(文献3)。该方法训练单个模型求解包括非整数比例因子在内的任意比例因子的超分辨率，利用元放大模块取代传统的放大模块，该模块将比例因子作为输入动态预测滤波器的权重，通过这些权重将低分辨率特征映射为不同大小的高分辨图像。然而由于卫星图像具有弱纹理、低分辨率的特性，该方法针对卫星图像难以恢复出精细的图像内容和清晰的边缘轮廓信息。

本发明相关文献：

[1]K.Jiang,Z.Wang,P.Yi,J.Jiang,J.Xiao,and Y.Yao,"Deep distillationrecursive network for remote sensing imagery super-resolution,"RemoteSensing,vol.10,no.11,p.1700,2018.

[2]T.Lu,J.Wang,Y.Zhang,Z.Wang,and J.Jiang,"Satellite image super-resolution via multi-scale residual deep neural network,"Remote Sensing,vol.11,no.13,p.1588,2019.

[3]X.Hu,H.Mu,X.Zhang,Z.Wang,T.Tan,and J.Sun,"Meta-sr:A magnification-arbitrary network for super-resolution,"in Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition,2019,pp.1575-1584.

发明内容

为了解决上述的技术问题，本发明提供了一种面向卫星图像的任意尺度超分辨率重建技术，该方法基于卫星图像的两个特点：“弱纹理”和“低分辨率”，设计改进的元放大模块和边缘增强模块来提升卫星图像的表达能力。

本发明的技术方案是一种面向卫星图像的任意尺度超分辨率重建方法，基于卫星图像特点，通过改进元放大模块和边缘增强提升卫星图像的表达能力，重建实现过程如下，

首先，进行低分辨卫星图像的浅层特征提取，采用残差密集网络对图像深层特征进行提取，融合获得最终的低分辨率卫星图像的特征；

然后，卫星图像任意尺度放大，包括采用元放大模块中的权重预测网络获取滤波器权重，通过优化投影映射函数获取更精确的权重，进而得到更加精确的卫星图像任意分辨率重建结果，作为中间重建卫星图像；

最后，通过卫星图像边缘增强实现卫星图像纹理的清晰表达，充分挖掘卫星图像的结构信息，获得最终的高分辨率卫星图像。

而且，优化投影映射函数设定如下，

定义放大的比例因子为r，高分辨率图像上某个像素点(i，i)在低分辨率图像上对应的点(i′，j′)描述为

而且，卫星图像边缘增强实现方式如下，

从中间重建卫星图像中提取边缘特征图，记输入的中间重建卫星图像为

从中间重建卫星图像

利用图像掩膜MASK对边缘特征图进行约束，得到增强的边缘信息I

对高分辨率重建图像中间结果

而且，从中间重建卫星图像中提取边缘特征图时，优选使用11层卷积层级联实现边缘提取。

另一方面，本发明还提供一种面向卫星图像的任意尺度超分辨率重建系统，用于实现如上所述的一种面向卫星图像的任意尺度超分辨率重建方法。

而且，包括以下模块，

第一模块，用于进行低分辨卫星图像的浅层特征提取，采用残差密集网络对图像深层特征进行提取，融合获得最终的低分辨率卫星图像的特征；

第二模块，用于卫星图像任意尺度放大，包括采用元放大模块中的权重预测网络获取滤波器权重，通过优化投影映射函数获取更精确的权重，进而得到更加精确的卫星图像任意分辨率重建结果，作为中间重建卫星图像；

第三模块，用于通过卫星图像边缘增强实现卫星图像纹理的清晰表达，充分挖掘卫星图像的结构信息，获得最终的高分辨率卫星图像。

或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种面向卫星图像的任意尺度超分辨率重建方法。

或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种面向卫星图像的任意尺度超分辨率重建方法。

采用以上技术方案，本发明能够用于生成任意分辨率的卫星图像，提升卫星图像的数据表达能力，提高不同分辨率移动终端的用户观看体验。与现有技术相比较，本发明具有以下优点和有益效果：

1)与现有技术相比，本发明解决了一个新问题，即卫星图像的任意尺度超分辨率重建问题。

2)与现有技术相比，本发明提出了一个基于增强元放大模块的面向卫星图像的超分辨率重建框架。

3)与现有技术相比，本发明挖掘卫星图像的特征，并利用其特性设计边缘增强算法，实现卫星图像的任意尺度超分辨率重建技术，强化卫星图像的表达能力，可广泛应用于对地观测的各个领域。

附图说明

图1是本发明实施例的主流程图。

图2是本发明实施例的网络结构图。

图3是本发明实施例的残差密集块示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供了一种面向卫星图像的任意尺度超分辨率重建技术，该方法基于卫星图像的两个特点：“弱纹理”和“低分辨率”，设计改进的元放大模块和边缘增强模块来提升卫星图像的表达能力。首先，利用两个卷积层获取图像的浅层特征，然后基于残差密集网络获取低分辨图像的特征。通过改进的元放大模块，实现卫星图像的任意尺度放大获得中间结果。最后通过边缘增强模块实现卫星图像纹理的清晰表达，获得最终的高分辨率卫星图像。

本实施例采用4个NVIDIA GTX2080Ti GPU来并行运行实验，训练数据来自公共的卫星图像数据集WHU-RS19。WHU-RS19是从Google Earth收集的遥感图像的数据集，该数据集涵盖19个类别，包括：机场，桥梁，农田，足球场，工业区，居民区，河流等，每个类别都有50张图像。其HR图像的大小为600×600像素。实施例随机选择了900张图像，分别将800、50和50张图像用作训练集，验证集和测试样本。由于超分辨率重建方法的性能与测试图像和训练图像的相似性有关，因此实施例在公开卫星图像数据集NWPU-RESISC45上进行了额外的测试，以确保本发明的鲁棒性和泛化性。

参见图1，本发明实施例提供的一种面向卫星图像的任意尺度超分辨率重建方法的流程包括以下步骤：

步骤1.低分辨率卫星图像特征提取，使用残差密集网络对低分辨率卫星图像的特征进行提取，包括以下子步骤：

步骤1.1.收集不同卫星拍摄的卫星图像公开数据集，选择不同场景的图像序列，经过裁剪和筛选后，分别设置训练集、验证集、测试集；

步骤1.2.对于步骤1.1的训练集图像，先采用双三线性插值得到对应的1.1到4.0一共30个不同尺度的低分辨率图像(即尺度步长为0.1)，形成的高分辨率-低分辨率图像对作为深度网络的输入，与现有的大多数基于深度学习超分辨率重建算法相同，实施例也采用两个级联的卷积层提取图像的浅层特征F

步骤1.3.使用残差密集模块对图像深层特征进行提取，融合卫星图像的局部特征和全局特征，获得最终的低分辨率卫星图像的特征F

参见图3，本步骤残差密集模块可由多层带激活函数的卷积层构成的密集连通块以及特征融合层、卷积层实现，例如参考文献[3]。

参见图2，实施例中，特征提取模块包括依次设置的两个级联的卷积层、多个级联的残差密集块、特征融合层和卷积层、最后的卷积层，多个残差密集块的输出都输入到特征融合层进行融合。

步骤2.卫星图像任意放大，实现低分辨率卫星图像特征到任意分辨率的高分辨率图像的映射。

现有技术中的元放大模块包括3个部分：位置投影，权重预测和特征映射。其中位置投影采用向下取整函数实现，高分辨率图像上某个像素点(i，j)在低分辨率图像上对应的点(i′，j′)可描述为

参见图2，本步骤具体实现包括以下子步骤，

步骤2.1.找到高分辨率图像上的像素点投影映射到低分辨率图像上对应的像素点，定义放大的比例因子为r，则高分辨率图像上某个像素点(i，j)在低分辨率图像上对应的点(i′，j′)可描述为

步骤2.2.由两个全连接层和一个激活函数层构成权重预测网络，预测从低分辨率特征到高分辨率图像的滤波器权重，参见图2，依次设置全连接层、激活函数层、全连接层；

权重预测网络可表示为W(i，j)＝ψ(V(i，j)；θ)，其中，W()表示滤波器的权重，ψ()代表权重预测操作，V(i，j)为权重预测网络输入，定义为

步骤2.3.将从步骤1.2获取的低分辨率卫星图像特征F

步骤3.卫星图像边缘增强，提取卫星图像的边缘特征，恢复卫星图像中的高频信息，实施例中优选实现过程包括以下子步骤，

步骤3.1.从中间重建卫星图像中提取其边缘特征图，优选使用11层卷积层级联实现边缘提取，记输入的中间重建卫星图像为

步骤3.2.从中间重建卫星图像

其中，m，n分别表示图像的高度和宽度，S(m，n)为结构张量，tr(S(m，n))表示结构张量的迹，M

步骤3.3.为了避免引入噪声，实施例利用图像掩膜I

步骤3.4.中间重建卫星图像

步骤4.卫星图像任意尺度超分辨率重建图像性能评价

步骤4.1.采用步骤1.1所得验证集和测试集分别验证和测试卫星图像任意尺度超分辨率重建图像性能，采用图像峰值信噪比PSNR作为图像质量客观评价指标

步骤4.2.对比算法采用经典的双三非线性插值算法Bicubic和图像超分辨率任意放大网络Meta-SR，本发明提出的方法称其为Ours。

具体实施时，可采用软件方式实现以上流程的自动运行。通过采用以上流程进行实验可知，采用边缘增强后的卫星图像任意尺度超分辨率技术能够获得图像的清晰边缘信息，效果明显优于现有图像任意超分辨率算法。

基于本发明执行步骤1～3所得的结果，在表1中可以看出，在不同的非整数倍的比例因子下，本发明的方法均优于其他对比算法。

表1任意比例因子在不同方法上的结果，测试数据集为WHU-RS19，最好的结果以粗体显示。

可见，本发明提出的一种基于改进元放大模型的面向卫星图像的超分重建框架，在该模型下，卫星图像的结构特征得以显性表达，且可以实现任意分辨率的卫星图像重建。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种面向卫星图像的任意尺度超分辨率重建系统，包括以下模块，

第一模块，用于进行低分辨卫星图像的浅层特征提取，采用残差密集网络对图像深层特征进行提取，融合获得最终的低分辨率卫星图像的特征；

第二模块，用于卫星图像任意尺度放大，包括采用元放大模块中的权重预测网络获取滤波器权重，通过优化投影映射函数获取更精确的权重，进而得到更加精确的卫星图像任意分辨率重建结果，作为中间重建卫星图像；

第三模块，用于通过卫星图像边缘增强实现卫星图像纹理的清晰表达，充分挖掘卫星图像的结构信息，获得最终的高分辨率卫星图像。

在一些可能的实施例中，提供一种面向卫星图像的任意尺度超分辨率重建系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种面向卫星图像的任意尺度超分辨率重建方法。

在一些可能的实施例中，提供一种面向卫星图像的任意尺度超分辨率重建系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种面向卫星图像的任意尺度超分辨率重建方法。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。