一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质

摘要

本发明提出一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质，属于遥感影像处理领域，为解决传统算法鲁棒性差、恢复效果不符合遥感影像视觉特征的问题。所述深度神经网络方法在高分辨率遥感影像去云任务的速度与复原效果上达到了平衡；使用卷积核大小变化范围更大的多尺度上下文卷积减小模型所需的内存和算法的处理时间；并且在多尺度卷积前以剩余连接的方式拼接了带有通道注意力模块的细粒度卷积增加网络的特征提取能力；本发明更真实、更符合实际场景的专用于高分辨率遥感影像去云任务的数据集，无论哪种网络模型，在该数据集上训练得到的网络权重都具有更高的适应性和更强的鲁棒性。

说明书

技术领域

本发明涉及一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统及方法，属于遥感影像处理领域。

背景技术

遥感影像中存在大量的云噪声，云的存在极大降低了遥感影像的利用率，增加了遥感技术成本。云的明亮效果和云影的暗化效应影响多种数据分析，导致许多遥感活动出现问题，包括不准确的大气校正，归一化差异植被指数值的偏差估计，土地覆盖错误分类，以及土地覆盖变化的错误检测。在大多数应用任务中，减少模型计算所需的资源对许多个人训练来说是十分友好的。尤其在诸如军事活动、灾害防治等应用场景中，快速的完成去云工作具有更加重大的意义。

早期的去云雾方法主要有基于影像处理的去雾算法、基于大气物理模型的图像复原方法。基于影像处理的去雾算法大多以颜色恒常性与亮度恒常性为基础，通过增加影像对比度达到突出图像中有用信息的作用，无法应对复杂的情况变化。基于大气物理模型的图像复原方法利用大气传输模型，通过求解影像降质物理过程的逆过程来恢复清晰影像。在实际应用中假定的先验知识很容易与实际情况不一致，这就会导致传输近似不准确，所以无法很好地执行去云雾任务。后来的机器学习通过对海量数据的提取与训练可以适应多变的情况，但是仍存在恢复视觉效果差、光晕、处理速度慢和计算资源占用高等问题。另外专用于高分辨率遥感影像去云任务的数据集并不多，还存在丰富度不高、云噪声形态过于单一的问题

发明内容

为了解决现有去云算法的恢复效果差、计算资源消耗巨大且计算时间过长的弊端的问题，本发明提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统、方法、设备及存储介质，本发明的具体方案如下：

方案一：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统，该系统包括输入模块、数据增强模块、增维模块、细腻特征模块、多尺度卷积模块、降维模块和输出模块；上述模块为递进关系完成逻辑链接；

其中输入模块负责采集遥感影像数据；数据增强模块用于对输入模块得到的遥感影像数据增强操作提高丰富度；增维模块负责将遥感影像数据提高维度；细腻特征模块负责将裁剪遥感影像；多尺度卷积模块负责遥感影像中去除噪声；降维模块负责降低维度；输出模块用于最后输出去云影像，完成基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统。

进一步地，细腻特征模块包括平均池层子模块、卷积子模块、RELU子模块和Sigmod子模块，其中所述细腻特征模块包含至少两个所述卷积子模块和RELU子模块，所述卷积子模块用于接收所述RELU子模块生成的数据加以计算。

方案二：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法，是基于方案一所述的系统为基础而实现的，该方法的具体步骤如下：

S101，利用所述输入模块从训练数据集中获取图像数据；

S102，对对成高分辨率遥感图像数据进行增强操作，并裁剪至相同大小，得到增强后的数据集对。

S103，通过所述增维模块中的预处理操作，将三维特征转换成多维信息的特征；

S104，将预处理操作获得的高维特征输入细腻特征模块中，提取出图像的细节信息；利用所述细腻特征模块，计算得出注意力权重矩阵；

S105，将所述细腻特征模块中提取出的特征再输入多尺度卷积模块中，根据不同大小的卷积核具有不同大小的感受野对权重矩阵进行卷积操作，得到无云影像；

S106，在使用训练集数据的过程中，计算步骤S103-S105处理后的无云影像与PRSC数据集中对应的清晰影像两者之间的损失函数大小；反向传播调整网络参数直到满足清晰度要求；使用验证集数据，验证PSNR和SSIM指标大小，循环训练直至达到所述指标大小，将神经网络权重参数更新为此时数据的权重参数，完成高分辨率遥感影像去云残差操作。

进一步地，在步骤S101中，获取图像数据过程指获取成对的高分辨率遥感图像；所述的训练数据集指PRSC数据集。

进一步地，在步骤S102中，所述的增强操作具体指从训练数据集中读取成对高分辨率遥感图像后，进行随机翻转，通过在遥感图像任意位置进行裁剪，为指定大小的图像对增加数据集的多样性。

进一步地，在步骤S103中，所述的多维信息指至少64维的维度信息。

进一步地，所述不同大小的卷积核以大小为3*3的卷积核为基础，所述计算权重矩阵的过程是通过通道注意力机制完成计算，并针对不同通道分配相应的注意力大小。

进一步地，所述的循环卷积过程，具体通过所述RELU子模块中应用RELU函数将非线性数据转换后的线性数据，进而进行权重矩阵卷积；由所述Sigmod子模块中的Sigmod算法将非线性数据最终转换为线性数据。

方案三：一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法的步骤。

方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络方法。

本发明有益效果体现在：

本发明提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法及系统(MSAR_DefogNet)，并且本发明提出了一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。MSAR_DefogNet模型中的多尺度卷积块可以提取不同尺度的特征，并融合这些特征实现高效去云。带有通道注意力机制的残差块可以提取细节特征，实现挖掘细节信息的功能。使用PRSC数据集可以增强模型的适应性和鲁棒性，有助于将模型迁移至真实场景中使用。与现有算法相比，该方法不需要显式的估计传输率等，具有更强大的学习能力，可以适应多种场景变化，具有更好图像恢复效果和更快的处理速度的同时对硬件的要求也更低。可以满足众多硬实时任务的要求，也更有利于迁移该复杂任务至嵌入式设备或移动设备中

附图说明

图1为本发明一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法实施实例流程图；

图2为本发明基于多尺度卷积和注意力的遥感影像去云残差神经网络系统的具体模块图；

图3为本发明基于多尺度卷积和注意力的遥感影像去云残差神经网络系统的细腻特征模块中单个特征提取模块的具体结构细节图；

图4为本发明新提出的PRSC数据集与其他数据集比较的结果；

图5为本发明新提出的PRSC数据集与其他数据集在不同神经网络模型上的最终效果对比；

图6为本发明与其他的先进的去云算法在PRSC数据集上运行的结果的对比；

表1为本发明在PRSC数据集上和其他方法在去云能力方面的评价指标的对比；

表2为本发明在PRSC数据集上和其他方法在计算资源消耗方面的评价指标的对比；

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

具体实施方式

具体实施方式一：一种基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统，该系统包括输入模块、数据增强模块、增维模块、细腻特征模块、多尺度卷积模块、降维模块和输出模块；上述模块为递进关系完成逻辑链接；其中输入模块负责采集遥感影像数据；数据增强模块用于对输入模块得到的遥感影像数据增强操作提高丰富度；增维模块负责将遥感影像数据提高维度；细腻特征模块负责将裁剪遥感影像；多尺度卷积模块负责遥感影像中去除噪声；降维模块负责降低维度；输出模块用于最后输出去云影像，完成基于多尺度卷积和通道注意力机制的高分辨率遥感影像去云残差神经网络系统；细腻特征模块包括平均池层子模块、卷积子模块、RELU子模块和Sigmod子模块，其中所述细腻特征模块包含至少两个所述卷积子模块和RELU子模块，所述卷积子模块用于接收所述RELU子模块生成的数据加以计算。

具体实施方式二：本实施例除实施方式一的系统流程，提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法(MSAR_DefogNet)，通过一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。MSAR_DefogNet模型中的多尺度卷积块可以提取不同尺度的特征，并融合这些特征实现高效去云。带有通道注意力机制的残差块可以提取细节特征，实现挖掘细节信息的功能。使用PRSC数据集可以增强模型的适应性和鲁棒性，有助于将模型迁移至真实场景中使用。与现有算法相比，该方法不需要显式的估计传输率等，具有更强大的学习能力，可以适应多种场景变化，具有更好图像恢复效果和更快的处理速度的同时对硬件的要求也更低。可以满足众多硬实时任务的要求，也更有利于迁移该复杂任务至嵌入式设备或移动设备中。

本实施例通过如下方法来实现，一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系方法，包括：

本实施例的方法首先需要一对清晰图像和带有云噪声的遥感图像作为输入数据集。在Dataset对成对的数据进行旋转、任意位置切割等数据增强操作。增大数据集的丰富度，提高模型的训练效果。并按照3:1的比例划分训练集和验证集。

使用Dataloader将Dataset中的成对数据加载为网络的输入。

经过预训练模块，将3维信息转换成64维信息，这样可以融合不同通道间的信息，并为后续模块的处理提供了基础。

将预处理模块中得到的高维特征输入到细腻特征模块中，两个核为3的卷积操作后分别接不同的激活函数，提取出图像中更细腻的特征。后接通道注意力模块，将平均池化后的特征矩阵和原始输入特征矩阵相乘得到不同通道需要的注意力大小的矩阵。并在每个块中都使用剩余连接结构，保证在增加网络深度的同时不会造成越来越差的负面效果。

图像特征接着被输入到尺度变化范围大的多尺度卷积中，卷积核大小分别为11、9、7、7、5、3、3、3和3。每一个卷积操作后都接一个RELU激活函数，解决了许多线性模型不能解决的问题。使用0填充边界保证每个操作的输入和输出大小是一致的。不同大小的卷积核提取出的特征具有不同的感受野，将这些感受野不同的特征用剩余连接的方式连接并融合在一起，有利于帮助当前像素点去云。

网络中每层的权重参数是固定的，将该网络参数下生成的图片与数据集中的图片对比，计算损失函数，以最小化损失函数为目标反向传播不断调整参数。直到网络具有很好的恢复效果。

所述方法主要通过增加网络的感受野来获得更好的去云效果，增加感受野的方法主要有增加网络深度和扩大卷积核大小。该方法中的多尺度上下文卷积方法提取的特征粒度过大，恢复的图像中容易出现斑块。拼接细粒度的卷积，不仅可以提取出细节特征消除斑块效应，还可以增加网络深度，赋予网络更强的学习特征能力。多尺度卷积结构可以在较小的算力消耗的条件下达到较强的去云效果，新增的细粒度残差块的数量也较少，恢复效果迅速提升的同时不会造成计算时间的大幅增加。

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。

为了解决上述存在的问题，提出了一种基于多尺度卷积和注意力的遥感影像去云残差神经网络系统及方法，并且本发明提出了一个专用于高分辨率遥感影像去云任务的丰富度更高的数据集PRSC。针对传统模型视觉效果差的问题和处理时间过长计算资源消耗过多的缺陷，提出了使用融合多尺度特征并拼接带有通道注意力机制的细腻特征块的残差神经网络。配合更有效的数据集PRSC，可以又快又好的恢复出更符合人类视觉特征的清晰高分辨率遥感影像。

实现一种基于多尺度卷积和注意力的遥感影像去云残差神经网络方法的流程如图1所示，具体步骤为包括：

S101：从PRSC数据集中获取成对的高分辨率遥感图像。

S102：对成对数据做旋转等数据增强操作，并裁剪至相同大小。得到丰富度更高的数据集对。

S103：通过预处理操作，将三维特征转换成更高维的特征。

S104：将预处理操作获得的高位特征输入细腻特征块中，大小为3的卷积核可以提取出图像的细节信息。通道注意力机制可以通过计算得到的注意力权重矩阵对不同通道分配不同的注意力大小。该结构中共三个小模块，两个小模块之间用剩余连接方式连接起来。

S105：将细腻特征模块中提取出的特征再输入多尺度模块中，不同大小的卷积核具有不同大小的感受野。将不同感受野得到的抽象特征融合在一起，可以更高效地去除云噪声。

S106：在使用训练集数据的过程中，计算经过网络处理后的无云影像与数据集中对应的清晰影像两者之间的损失函数大小。反向传播调整网络参数，直到网络具有较好的恢复效果为止。在经过多次训练之后，使用验证集数据，验证PSNR和SSIM指标大小，如果可以达到比以前更好的效果就将网络权重参数更新为此时的一系列参数。

此方法的总视图如图2所示，总体数据流向也如图2所示。成对数据依次经过数据增强、维度增加、细腻特征模块、多尺度卷积模块和维度降低模块最终生成经过该网络处理的清晰图片。

细腻特征模块的具体细节如图3所示，首先使用内核大小为3的卷积来提取更多细粒度的特征。在两个卷积之间添加了RELU激活函数。添加非线性因素可以提高神经网络在模型中的表达能力，从而解决线性模型无法解决的问题。

对于通道注意力模块如图3所示，使用全局平均池层将全局空间信息转化为信道描述符。

其中A

其中

多尺度卷积模块如图2所示，在粗尺度的卷积块中卷积核大小分别为11、9、7，在细尺度的卷积块中卷积核大小分别为7，5，3，在均等尺度卷积块中采用3核大小为3的卷积层。代替其他复杂的上采样操作，我们选用以0填充边界来保证经过多尺度卷积后的图像大小不变，根据以下公式确定填充0的个数：

其中，F

如图4展示了本实施例中提出的更有效的高分辨率遥感影像数据集PRSC和以前的数据集RICE的区别。可以看出，RICE数据集对于云的形态考虑不足，数据丰富度不足，缺乏厚度不均的云形态，地物信息过于简单不利于有效评判去云模型算法的优劣。而PRSC数据集不但保留了原始数据集中有益的形态，充分考虑了雾的多种形态，规避了RICE数据集的缺陷。

如图5所示，在RICE数据集上训练出来的网络处理薄厚不均匀的云时，仍会在受云影响严重的区域残留云噪声。不论何种去雾模型在PRSC数据集上都具有更好的表现力。

图6、表1和表2阐述了本实施例，即MSAR_DefogNet与其他先进的模型在高分辨率遥感影像的去云工作中的处理效果；可以得出实施过程中所提出的算法可以在速度和恢复效果上都取得不错的效果；

表1

表2

在这个方法中，提出了专门针对于遥感影像去云的模型MSAR_DefogNet，该网络由多尺度卷积和带有通道注意力机制的残差块组成。充分利用了由粗到细的多尺度卷积操作，用最小的内存代价，从整体到局部抓取雾图像的雾细节以及雾霾空间变化规律，完成图像的初步去雾操作。还在多尺度模块前拼接残差块提取细节特征解决斑块效应的问题。实验表明与其他网络相比该网络针对有云的高分辨率遥感图像具有更强特征提取能力，同时只需要少量的处理时间、内存开销和计算成本。另外提出了一个全新的数据集PRSC，包含云的更多形态，用该数据集训练得到的网络具有更强的自适应性和鲁棒性。

具体地，在相同内存消耗的条件下，多尺度上下文卷积方法具有更好的去除云雾噪声的效果，根据不同通道受云噪声污染严重程度的不同，注意力机制为不同通道分配了不同大小的注意力，赋予网络覆盖所有通道的能力。该方法生成的去云高分辨率遥感影像和其他方法相比更接近真实图像的成像特点，色彩偏移和误差比其他方法更小；

由于逐像素比较的L

具体地，神经网络中，具体为L

具体实施方式三：上述方法示例可根据说明书附图1所示框图进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中；上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

具体地，该系统承载于计算机，包括处理器、存储器、总线和通信设备；

所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，所述处理器执行所述存储器存储的所述计算机执行指令，所述的通信设备负责与外界网络连接，进行数据的收发过程；所述处理器与存储器相连，所述的存储器包括数据库软件；

所述处理器与存储器包含的若干指令用以使得个人计算机或服务器或网络设备执行本方法全部或部分步骤；所述处理器所用类型包括中央处理器、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合；所述存储介质包括U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘。

具体地，上述软件系统部分承载于中央处理器(Central Processing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明提出内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。相关人员及用户通信的通信设备则可以利用收发器、收发电路或通信接口等。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

由此可见，本发明只是对方法及系统的示例性说明，并不限定它的保护范围，本发明有许多变形和变化而不脱离本发明的精神本领域技术人员还可以对其局部进行改变，只要没有超出本专利的精神实质，都在本发明的保护范围内。