一种基于深度学习的遥感影像时空融合方法及系统

摘要

本发明涉及一种基于深度学习的遥感影像时空融合方法及系统。该方法包括：基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高‑低分辨率影像对；构建融合网络以及超分辨率重建网络；利用无云高‑低分辨率影像生成训练好的融合网络以及训练好的超分辨率重建网络；基于滑动窗口的线性加权方法确定前向预测结果以及后向预测结果；基于滑动窗口的线性加权方法对前向预测结果以及后向预测结果进行线性加权平均，确定最终的融合结果。本发明能够提高时空融合方法在云污染严重区域适用性以及同时适用于不同地表时间变化类型预测。

说明书

技术领域

本发明涉及遥感影像时空融合领域，特别是涉及一种基于深度学习的遥感影像时空融合方法及系统。

背景技术

遥感影像时间序列在生态系统动态监测以及生态系统对气候变化的响应等领域应用广泛，然而单一传感器的遥感影像难以兼具高时间分辨率和高空间分辨率。时空融合是生成高时空分辨率遥感影像时间序列的可行方式，其通过融合高空间分辨率低时间分辨率遥感影像(下称高分辨影像)和低空间分辨率高时间分辨率遥感影像(下称低分辨影像)生成兼具高空间分辨率和高时间分辨率的密集遥感影像时间序列。现有的时空融合方法主要包含以下问题：(1)难以同时适用于不同地表时间变化类型预测，其中，地表时间变化类型包括渐变类型和突变类型。(2)现有时空融合方法需要至少一对无云的高-低分辨率影像对，然而在部分云污染严重的区域，甚至没有一景可用的无云影像，这一情况限制了时空融合在云污染严重区域的应用。

发明内容

本发明的目的是提供一种基于深度学习的遥感影像时空融合方法及系统，以解决现有时空融合方法在云污染严重区域适用性差以及难以同时适用于不同地表时间变化类型预测的问题。

为实现上述目的，本发明提供了如下方案：

一种基于深度学习的遥感影像时空融合方法，包括：

基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

可选的，所述基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对，具体包括：

从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

可选的，所述分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像，具体包括：

计算待重建高分辨率影像中的每个目标块P

根据所述目标辅助块以及所述目标块计算缺失像元值，并以所述缺失像元值替代缺失像元；

遍历所述待重建高分辨率影像中所有缺失像元，完成对所述待重建高分辨率影像中的缺失像元的重建，生成重建后的无云高分辨率影像。

可选的，所述训练好的融合网络具体包括：第一提取块、第一多尺度注意力块以及第一重建块；

将任一已知时期的高分辨影像输入至所述第一提取块，生成64个第一特征图；

获取两个不同时期的低分辨率影像，并将两个不同时期的低分辨率影像相减确定低分辨率影像增量；所述两个不同时期为所述任一已知时期相邻的前向已知时期以及后向已知时期；

将所述低分辨率影像增量以及所述任一已知时期的高分辨影像进行叠置后输入至所述第一多尺度注意力块，生成64个第二特征图；

将所述第一特征图以及所述第二特征图相加输入至所述第一重建块，生成渐变信息。

可选的，所述训练好的超分辨率重建网络具体包括：第二提取块、第三提取块、卷积层、第二多尺度注意力块以及第二重建块；

将任一已知时期的低分辨率影像输入至第二提取块，生成64个第三特征图；

将另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块，生成64个第四特征图；

将所述第三特征图以及所述第四特征图进行叠置后输入至所述卷积层，生成第五特征图；

将所述第五特征图输入至所述第二多尺度注意力块，生成第六特征图；

将所述第六特征图输入至所述第二重建块，生成突变信息。

可选的，所述前向预测结果为：

其中，

可选的，所述后向预测结果为：

其中，

可选的，所述最终的融合结果为：

其中，

一种基于深度学习的遥感影像时空融合系统，包括：

无云高-低分辨率影像对构建模块，用于基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对；

融合网络以及超分辨率重建网络构建模块，用于建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络；

训练模块，用于利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息；

前向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果；

后向预测结果确定模块，用于基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果；

最终的融合结果确定模块，用于基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

可选的，所述无云高-低分辨率影像对构建模块具体包括：

筛选单元，用于从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；

已知高分辨率影像获取单元，用于选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；

重建后的无云高分辨率影像生成单元，用于分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；

无云高-低分辨率影像对构建单元，用于获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种基于深度学习的遥感影像时空融合方法及系统，基于预测时段内的所有可利用的高分辨率影像生成无云高分辨率影像，进而与相同时期的低分辨率影像组成无云高-低分辨率影像对的策略，保证了时空融合方法在预测时段内没有无云影像时的有效性。本发明所提供的基于深度学习的遥感影像时空融合方法及系统适用于云污染严重区域的高时空分辨率遥感影像时间序列的构建任务，且适用于不同地表时间变化类型的预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的基于深度学习的遥感影像时空融合方法流程图；

图2为不同时期下高分辨率影像以及低分辨率影像示意图；

图3为本发明所提供的训练好的融合网络结构示意图；

图4为本发明所提供的第一多尺度注意力块或第二多尺度注意力块结构示意图；

图5为本发明所提供的训练好的超分辨率重建网络结构示意图；

图6为本发明所提供的基于深度学习的遥感影像时空融合系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度学习的遥感影像时空融合方法及系统，能够提高时空融合方法在云污染严重区域适用性以及同时适用于不同地表时间变化类型预测。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的基于深度学习的遥感影像时空融合方法流程图，如图1所示，一种基于深度学习的遥感影像时空融合方法，包括：

步骤101：基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

所述步骤101具体包括：从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像，具体包括：计算待重建高分辨率影像中的每个目标块P

步骤102：建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络。

步骤103：利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息。

所述训练好的融合网络具体包括：第一提取块、第一多尺度注意力块以及第一重建块；将任一已知时期的高分辨影像输入至所述第一提取块，生成64个第一特征图；获取两个不同时期的低分辨率影像，并将两个不同时期的低分辨率影像相减确定低分辨率影像增量；所述两个不同时期为所述任一已知时期相邻的前向已知时期以及后向已知时期；将所述低分辨率影像增量以及所述任一已知时期的高分辨影像进行叠置后输入至所述第一多尺度注意力块，生成64个第二特征图；将所述第一特征图以及所述第二特征图相加输入至所述第一重建块，生成渐变信息。

所述训练好的超分辨率重建网络具体包括：第二提取块、第三提取块、卷积层、第二多尺度注意力块以及第二重建块；将任一已知时期的低分辨率影像输入至第二提取块，生成64个第三特征图；将另一已知时期的高分辨率影像与低分辨率影像相减后输入至第三提取块，生成64个第四特征图；将所述第三特征图以及所述第四特征图进行叠置后输入至所述卷积层，生成第五特征图；将所述第五特征图输入至所述第二多尺度注意力块，生成第六特征图；将所述第六特征图输入至所述第二重建块，生成突变信息。

步骤104：基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果。

所述前向预测结果为：

其中，

步骤105：基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果。

所述后向预测结果为：

其中，

步骤106：基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

所述最终的融合结果为：

其中，

本发明所提出的时空融合方法基于预测时段内的所有可用的高分辨率影像和所有低分辨率影像生成具有与高分辨率影像相同的空间分辨率及与低分辨率影像相同的时间分辨率的遥感影像时间序列。

具体的，如图2所示，为了对该时间序列中由于重访周期限制等原因导致的某一时期(t

基于本发明所提供的基于深度学习的遥感影像时空融合方法，作为可选的一种实施方式，将本发明应用于实际应用中，具体过程如下：

步骤1：生成模拟无云影像对。

A)对所有可用的高分辨率影像筛选出云覆盖率小于40％的影像。

B)从步骤A)中筛选出的高分辨率影像中选择距离预测时期t

C)对上述时期t

首先定义相关符号如下：

P

a)计算待重建影像中的每个目标块P

式中，

b)取相关系数最大的辅助块作为目标辅助块，记作P

c)以下式基于P

式中，V

d)遍历待重建影像中的所有缺失像元，完成该影像的缺失像元的重建。

e)对b)中选出的高分辨率影像F

步骤2：构建时间变化映射，得到渐变信息

时空融合方法的基本原理可表示为：

F

ΔF＝f(ΔC)

ΔC＝C

即待预测影像F

本发明提出以深度学习构建自适应的转换函数f，用于实现渐变信息

上式可理解为，在进行预测时以低分辨率影像在t

式中，

为了进行映射参数Φ

该网络结构包括：第一提取块、第一多尺度注意力块和第一重建块。网络结构具体如图3所示，高分辨影像F

a)第一提取块

第一提取块用于将输入的影像转换为高维非线性特征，从而为后续的多尺度注意力块提供足够的有效特征信息。提取块由两个卷积层组成并使用PReLU作为激活函数，每个卷积层包括64个卷积核，卷积核尺寸为3×3。

b)第一多尺度注意力块

由于提取的特征的有效性存在差异。设计基于空洞卷积inception模块和自注意力机制的第一多尺度注意力块用于进一步挖掘并利用有效的多尺度特征。其结构如图4所示，多特征输入至多尺度注意力块后首先输入至3个并联的空洞卷积层，三个空洞卷积层均包括64个卷积核，卷积核尺寸均为3×3，dilation factor分别设置为1、2和5。上述并联的三个空洞卷积层均产生64个特征图。上述特征图进行叠置后输入至一个卷积核大小为1×1的卷积层，该卷积层包括64个卷积核。经过该卷积层处理后产生64个特征图，该特征图与多尺度注意力块的输入进行跳跃连接，即该卷积层处理后产生的64个特征图与多尺度注意力块的输入相加。上述特征进一步采用多尺度注意力机制挖掘有效特征。具体的，多特征首先输入至平均池化层(Avgpool)，之后输入至全连接层，该全连接层以Relu为激活函数，后接另一个全连接层。之后输入至Sigmoid。Sigmoid的输出与注意力机制的输入的多特征相乘。最后，将多尺度注意力的输入与多尺度注意力的输出进行跳跃连接，即多尺度注意力的输入的多特征与多尺度注意力输出的多特征相加。

c)第一重建块

第一重建块由一个使用一个3×3大小卷积核的卷积层组成，其用于将提取的多特征转变为最终的预测影像。

基于此训练后的时间变化映射M

步骤3：构建空间信息映射M

通过构建空间信息映射M

即在训练阶段，以已知时期t

为了进行映射参数Φ

该网络包括：第二提取块，第三提取块，第二多尺度注意力块和第二重建块。超分辨率重建网络各部分与融合网络各部分结构一致。超分辨率重建网络结构如图5所示，输入的低分辨率影像C

步骤4：渐变预测

步骤2得到的突变预测结果

式中，p

式中，σ

步骤5：进行后向预测。

步骤2-4是完整的前向预测的执行过程。在前向预测的过程中，对于时间变化映射，在训练阶段以C

表1前向预测和后向预测的训练和预测阶段的输入与输出示意表

具体如下：

后向预测的时间变化映射M

即为了学习后向预测的时间变化映射M

后向预测的空间信息映射M

式中，Φ′

基于此训练后的空间信息映射的参数Φ′

采用与步骤4完全相同的基于3×3大小的滑动窗口对

式中，p

步骤6：前向预测与后向预测融合。

最后，将前向预测

式中，

具体计算公式如下：

式中，σ

整个流程描述的是针对时间序列中的一景缺失高分辨率影像的预测。对时间序列中的所有缺失的高分辨率影像重复上述步骤即完成时间序列数据集的重建。

图6为本发明所提供的基于深度学习的遥感影像时空融合系统结构图，如图6所示，一种基于深度学习的遥感影像时空融合系统，包括：

无云高-低分辨率影像对构建模块601，用于基于预测时段内的所有高分辨率影像生成两个模拟的无云高分辨率影像，并获取与所述无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

所述无云高-低分辨率影像对构建模块601具体包括：筛选单元，用于从所述所有高分辨率影像内筛选出云覆盖率小于40％的高分辨率影像作为筛选后的高分辨率影像；已知高分辨率影像获取单元，用于选择距离预测时期最近的前后两个时期作为已知时期，并从所述筛选后的高分辨率影像中获取所述已知时期对应的已知高分辨率影像；重建后的无云高分辨率影像生成单元，用于分别对两个所述已知时期内的已知高分辨率影像中由于云覆盖导致的缺失像元进行重建，生成重建后的无云高分辨率影像；无云高-低分辨率影像对构建单元，用于获取与所述重建后的无云高分辨率影像相同时期的低分辨率影像，构建无云高-低分辨率影像对。

融合网络以及超分辨率重建网络构建模块602，用于建立面向渐变预测的时间变化映射以及面向突变预测的空间信息映射，并针对所述时间变化映射构建融合网络以及针对所述空间信息映射构建超分辨率重建网络。

训练模块603，用于利用所述无云高-低分辨率影像对分别对所述融合网络以及所述超分辨率重建网络进行训练，生成训练好的融合网络以及训练好的超分辨率重建网络；所述训练好的融合网络用于预测前向预测中的渐变信息以及后向预测中的渐变信息，所述训练好的超分辨率重建网络用于预测前向预测中的突变信息以及后向预测中的突变信息。

前向预测结果确定模块604，用于基于滑动窗口的线性加权方法对所述前向预测中的渐变信息以及所述前向预测中的突变信息进行线性加权平均，确定前向预测结果。

后向预测结果确定模块605，用于基于滑动窗口的线性加权方法对所述后向预测中的渐变信息以及所述后向预测中的突变信息进行线性加权平均，确定后向预测结果。

最终的融合结果确定模块606，用于基于滑动窗口的线性加权方法对所述前向预测结果以及所述后向预测结果进行线性加权平均，确定最终的融合结果；所述最终的融合结果为缺失的高分辨率影像。

综上，本发明提出了一种基于深度学习的遥感影像时空融合方法及系统用于构建高时空分辨率的遥感影像时间序列数据集。具体包括如下四个阶段：在第一阶段，首先基于预测时段内的所有可利用的高分辨率影像生成两个模拟的无云高分辨率影像，并与相同获取时期的低分辨率影像构建无云高-低分辨率影像对。在第二阶段，分别建立面向渐变预测和突变预测的时间变化映射和空间信息映射，针对上述映射分别构建融合网络和超分辨率重建网络，并基于生成的无云高-低分辨率影像对上述两个网络进行训练。在第三阶段，利用训练好的网络，分别对前向和后向预测中的渐变和突变信息进行预测。在第四阶段，采用两次基于滑动窗口的线性加权，分别用于综合渐变和突变预测结果以及结合前向预测和后向预测的结果得到最终的融合结果，从而能够达到以下效果：

1)本发明可实现不同地表时间变化情况下(包括渐变和突变)的预测，相较于现有的时空融合方法多针对一种特定时间变化情况下的融合，本发明具有更强的可推广性。

本发明可同时实现渐变和突变的预测，具体通过以下步骤实现的：

(1)突变预测：使时空融合适用于突变预测是时空融合的难点。注意到预测时期低分辨率影像C

(2)渐变预测：为了实现渐变预测，本发明构建了时间变化映射。其实质是以深度学习建立自适应的权重系数替代原有的人为预定义的线性权重系数。由于引入了先验信息，本发明提出的时间变化映射相较于时空融合常采用的线性权重函数的方式在渐变预测方面具有更强的泛化能力。

2)本发明所提出的方法可以有效适用于云污染严重区域的时空融合。

云污染严重区域在预测时段内可能没有可利用的无云高-低分辨率影像对。

对于该情况，时空融合无法执行。

本发明针对该情况，设计了基于预测时段内的所有可利用的高分辨率影像生成无云高分辨率影像，进而与相同时期的低分辨率影像组成无云高-低分辨率影像对的策略。该策略保证了时空融合方法在预测时段内没有无云影像时的有效性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。