一种遥感图像去云的时空融合模型方法

摘要

本发明提供一种遥感图像去云的时空融合模型方法，基于多云观测的Sentinel‑2卫星、多云观测的Sentinel‑1卫星及多云观测的葵花8号卫星获取图像，并对图像进行预处理；构建UnCRtainTS模型，并对图像预测出无云图像的不确定性；构建第一时空融合模型，使用预测的无云图像作为预设图像，将两副多云的葵花8号图像作为未处理图像，基于第一时空融合模型得到无云且分辨率大于10m的Sentinel‑2图像，并解析分辨率2000m到10m的极限分辨率融合的效果；通过比较同一时间的Sentinel‑2图像，对预测结果进行评价。本发明确保去除云层后的图像在地理和辐射上的准确性，以及可以对大规模、高分辨率的卫星图像数据的处理。能够结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。

说明书

技术领域

本发明属于遥感技术领域，特别涉及一种遥感图像去云的时空融合模型方法。

背景技术

遥感技术在地球观测领域中起到了至关重要的作用，但其在实际应用中常常受到云层和雾霾的干扰。这些自然现象使得光学卫星图像中的地表信息被遮挡，特别是西南地区，从而影响了对地表的精确监测。为了解决这一问题，研究者们开发了多种云去除方法。

其中，深度学习技术近年来受到了广泛关注，因为它可以隐式地学习如何识别和去除图像中的云层。但是，仅依赖深度学习可能不足以处理所有的遮挡情况，特别是在标注数据有限的情况下。

因此，显式的云去除预处理步骤变得尤为重要，它不仅可以提高模型的鲁棒性，还可以帮助研究者更好地解释和理解模型的工作原理。

然而，由于云层的形态和密度各异，从薄雾到厚云，云去除仍然是遥感领域的一个技术挑战。成功解决遥感云去除问题将极大地提高卫星图像的清晰度和准确性，从而在农业、环境保护、城市规划、灾害应对、气候研究、军事、能源勘探、科学研究和商业应用等多个领域中发挥关键作用，推动各行各业的科技进步和创新。

为了应对这一挑战，研究者们采用了多种策略和技术。首先，多光谱和多极化技术被广泛应用于云检测和去除。这些技术可以捕捉到不同波长和极化状态下的地表和云层的反射信息，从而更准确地区分它们。此外，时间序列分析也是一种有效的方法，通过对连续的卫星图像进行分析，可以识别和去除短时间内出现的云层。

目前，与传统方法相结合的深度学习方法也逐渐受到关注。例如，结合卷积神经网络（CNN）和长短时记忆网络（LSTM）可以更好地处理时空数据，从而实现更准确的云去除。此外，生成对抗网络（GAN）也被用于模拟无云的地表图像，通过训练模型生成无云遮挡的图像，从而实现云去除。

然而，云去除仍然难以有效的解决，这使得如何能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果是当前亟待解决的技术问题。

发明内容

本发明提供一种遥感图像去云的时空融合模型方法，方法较为精确地去除云的影响，以便对于卫星图像的清晰度和准确性进行评估。

方法包括以下步骤：

S101：基于多云观测的Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星获取图像，并对图像进行预处理；

S102：构建UnCRtainTS模型，并对多云观测的Sentinel-2卫星和Sentinel-1卫星中预测无云图像，预测出无云图像的不确定性；

S103：构建第一时空融合模型，使用预测的无云图像作为预设图像，将两副多云的葵花8号图像作为未处理图像，基于第一时空融合模型得到无云且分辨率大于10m的Sentinel-2图像，并解析分辨率2000m到10m的极限分辨率融合的效果；

S104：通过比较同一时间的Sentinel-2图像，对预测结果进行评价。

进一步需要说明的是，步骤S101中，基于所述Sentinel-2卫星分别获取T1时间的多云观测图像和T2时间观测的目标图像；

所述Sentinel-1卫星获取图像的时间与T1时间相近，且图像为双极化C波段图像。

进一步需要说明的是，步骤S101中，所述葵花8号卫星获取图像的时间分别包括T

进一步需要说明的是，步骤 S102中，使用的UnCRtainTS模型采用神经网络架构对多云观测的Sentinel-2卫星和Sentinel-1卫星无云图像时间序列映射到单个无云光学图像，并估计了预测的任意不确定性。

进一步需要说明的是，步骤 S102还包括：

调取UnCRtainTS模型训练集所使用的数据集，在数据集中定义多个每个感兴趣区域，且每个感兴趣区域均具有多个重复度量，每个感兴趣区域均在预设时间段内采集多副Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星图像；所有图像的云覆盖率为50%。

进一步需要说明的是，方法中，图像包含双极化C波段Sentinel-1卫星数据以及正射校正且具有亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据；将Sentinel-1卫星数据和Sentinel-2光学数据进行预处理。

进一步需要说明的是，方法中，预处理包括如下步骤：

定义每个波段分辨率重采样为10m，将图像被分割成256*256的尺寸；

定义Sentinel-1卫星的图像边界，对热噪声进行去除，对辐射进行校准，实现正射校正，并进行分贝变换处理；

基于T

葵花8号卫星获取的图像进行如下预处理：大气校正，使用双三次卷积进行重采样到10m，将图像分割成256*256的尺寸。

进一步需要说明的是，所述数据集中，每个样本i由一对（X

T表示输入序列中的日期数量，C

设置T=3，C

将每个像素重构表示为

预测在L

预测任意不确定性假设具有似然函数的参数噪声分布，使用负对数似然成本函数，将观测图像的似然性作为输入和分布参数的函数进行优化，对重建像素上的任意不确定性进行建模，该建模像素具有以预测值

进一步需要说明的是，方法中，第一时空融合模型利用偏最小二乘法回归方法，来实现多变量多元回归。

进一步需要说明的是，步骤S104之后，执行精度验证；

精度验证采用如下三个指标：决定系数R

从以上技术方案可以看出，本发明具有以下优点：

本发明提供的遥感图像去云的时空融合模型方法中，首先进行数据收集与预处理，使用成对的双极化C波段Sentinel-1雷达数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据数据，代入相关数据对UnCRtainTS深度学习模型进行训练和测试。再预处理同一时间的成对的Sentinel-1雷达数据和有云的2A级Sentinel-2光学数据，进行测试，得到无云Sentinel-2光学数据图像。再代入无云Sentinel-2光学数据图像，有云H-8图像以及有云H-8图像，根据The FIRST模型进行时空融合，得到预测的无云Sentinel-2光学数据图像（T

本发明根据雷达、光学的属性信息进行去云，最终通过真实目标数据Sentinel-2数据对预测Sentinel-2数据的精度进行评估。这样，本发明确保去除云层后的图像在地理和辐射上的准确性，以及可以对大规模、高分辨率的卫星图像数据的处理。本发明能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为遥感图像去云的时空融合模型方法流程图；

图2为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法流程图；

图3为UnCRtainTS模型的亚洲东部测试数据集的方差与不确定性图；

图4为UnCRtainTS模型的亚洲东部测试数据集的参数图；

图5为UnCRtainTS模型的单张影像预测图及目标图像；

图6为The FIRST模型的T

图7为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法的精度评价图。

具体实施方式

本发明提供的遥感图像去云的时空融合模型方法的是为了实现能够基于高效、准确的算法和技术，并结合大数据处理、计算机视觉和地理信息科学以实现遥感云去除效果。

本发明提供的遥感图像去云的时空融合模型方法可以基于智能技术对Sentinel-2卫星、多云观测的Sentinel-1卫星及多云观测的葵花8号卫星获取图像进行获取和处理。其中，遥感图像去云的时空融合模型方法利用数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。

遥感图像去云的时空融合模型方法还应用机器学习功能，其中本发明方法中的机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。通过配置UnCRtainTS模型和The FIRST时空融合模型，利用传感监控、数据传输等技术，根据卫星、光学的属性信息进行去云，最终通过真实目标数据Sentinel-2数据对预测Sentinel-2数据的精度进行评估。

本发明中的Sentinel-1卫星为哨兵1号（Sentinel-1）卫星是欧洲航天局哥白尼计划（GMES）中的地球观测卫星，由两颗卫星组成，载有C波段合成孔径卫星，可提供连续图像(白天、夜晚和各种天气)。

Sentinel-2卫星也就是哨兵2号，是携带一枚多光谱成像仪(MSI)，用于陆地监测，可提供植被、土壤和水覆盖、内陆水路及海岸区域等图像，还可用于紧急救援服务。

葵花8号卫星也就是“向日葵8号”， “向日葵8号”搭载的传感器性能，观测频率高，有望在监测暴雨云团、台风动向以及持续对喷发活动的火山等防灾领域进行监控。

本发明中，表述的Sentinel-1、Sentinel-2以及葵花8号，或者Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星均为同一个意思。

对于Sentinel-1图像、Sentinel-2图像以及葵花8号图像来讲，本发明的含义是基于Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星获取的图像，或者基于Sentinel-1卫星、Sentinel-2卫星以及葵花8号卫星获取的，并保存的图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明涉及的遥感图像去云的时空融合模型方法包括：

获取多云观测的Sentinel-2卫星，Sentinel-1卫星及多云观测的葵花8号卫星并对其进行预处理；

根据本申请的实施例，Sentinel-1图像是与多云观测的Sentinel-2（T

Sentinel-2图像包括T

葵花8号的图像可以来自NC数据产品。NC数据产品是基于用友NC产品平台来进行数据调取、处理和使用。

葵花8号的图像分别包括T

构建UnCRtainTS模型，从一系列多云观测的Sentinel-2卫星和Sentinel-1卫星中预测无云图像，并且估计预测的任意不确定性；

构建The FIRST时空融合模型也就是第一时空融合模型，使用预测的1副无云图像作为精细图像，2副多云的葵花8号图像作为粗造图像，从而得到无云精细（分辨率为10m）的Sentinel-2图像，解析出分辨率2000m到10m的极限分辨率融合的效果；

本实施例中，使用的UnCRtainTS模型采用神经网络架构对多云观测的Sentinel-2卫星和Sentinel-1卫星无云图像时间序列映射到单个无云光学图像，并估计了预测的任意不确定性。

具体来讲，UnCRtainTS模型的训练集可以采用亚洲东部的ROI（感兴趣区域）。每个数据集中的每个ROI，也就是感兴趣区域，都有30个重复度量。每个区域都在2018年采集30副卫星和光学卫星。每副数据在240-300对不等。所有数据的大致云覆盖率为50%，从清晰图像（用于验证）、半透明雾霾、小云到密集的云。

每对图像包含双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据.并将Sentinel-1卫星数据/Sentinel-2光学数据进行如下一系列预处理:每个波段分辨率重采样为10m，图像被分割成256*256的尺寸；并让Sentinel-1通过Sentinel-1工具箱，做边界，热噪声去除，辐射校准，正射校正，分贝变换等处理。所述葵花8号进行如下预处理：使用双三次卷积进行重采样到10m，图像被分割成256*256的尺寸。

通过比较同一时间的Sentinel-2图像，对预测结果精度进行评价。

对于评价结果，可以进行精度验证，精度验证采用三个指标来进行验证，具体为决定系数R

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，遥感图像去云的时空融合模型方法还包括：

如图2所示，为基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法流程图，在数据收集与预处理之后，通过使用UnCRtainTS模型预测T

获取成对的双极化C波段Sentinel-1卫星数据、正射校正且亚像元级几何精校正后的1C级以及2A级大气顶部反射率Sentinel-2光学数据。其余数据基于葵花8号的NC数据产品获取。

本实施例使用的UnCRtainTS模型采用新的神经网络架构将多云输入时间序列映射到单个无云光学图像，并估计了预测的任意不确定性，较高的不确定性（红色）与持续遮挡、云阴影或特定的土地覆盖类型有关。

本实施例选择仅对全分辨率特征图执行空间编码，以在基于像素的损失情况下进行训练时获得良好性能。为了减轻这种选择对体系结构计算负载的影响，神经网络架构依赖于高效的MBConv块。

本实施例结合了深度卷积和规则逐点卷积，以实现计算高效的空间编码。通过基于注意力的L-TAE对下采样的特征图执行时间编码。

对于本实施例的网络架构来讲，网络架构由三个主要部分组成，沿着MBConv块的一个主要分支应用，该分支以全输入分辨率处理特征图，处理方式包括：首先，编码器并行应用于T个时间点。然后，基于注意力的时间聚合器通过将L-TAE应用于下采样的特征图来计算注意力掩码，该特征图用于聚合观察序列。最后，通过解码块对时间积分的特征图进行处理，产生图像重建和任意不确定性。

对于本实施例的神经网络架构数据集来讲，数据集中，每个样本i由一对（X

本实施例设置T=3，C

同时，本实施例的方法预测了每个重建像素的任意不确定性值。在卫星图像重建的默认设置中，网络只回归目标像素值。将每个像素重构表示为

预测通常在L

预测任意不确定性假设具有似然函数的参数噪声分布，本实施例使用负对数似然（NLL）成本函数，将观测数据的似然性作为输入和分布参数的函数进行优化，对重建像素上的任意不确定性进行建模，该重建像素具有以预测值

继而将正定协方差矩阵定义为具有对角元素

The FIRST模型也就是第一时空融合模型产生具有高空间和时间分辨率的地表反射率产物。

第一时空融合模型Incorrporting Spectral autocorrelaTion（FIRST）模型，以充分利用表面反射率产物的多个光谱带。

与其他融合方法相比，该模型具有三个明显的优势：（1）它在多对多回归框架中利用了光谱自相关，同时输入和预测多光谱波段，而没有共线效应；（2）当时空变化较大时，它以可接受的计算效率保持较高的融合精度；以及（3）即使输入图像被雾和薄云污染，它也可以产生稳健的结果。相较于四种经典模型，即时空自适应反射融合模型（STARFM）、灵活时空数据融合（FSDAF）模型、回归模型拟合、空间滤波和残差补偿（Fit-FC）模型和增强型STARFM（ESTARFM）,结果表明FIRST由于其简单有效的技术原理而产生了更好的整体性能。

The FIRST模型利用偏最小二乘法回归（PLSR）方法，来实现多变量多元回归的问题，即它可以用多个自变量同时预测多个因变量（多对多框架）。PLSR具有包含更多光谱信息和缓解串联效应的优点；并通过最佳PLS成分数选择（OPC），以及自适应残差补偿（ARC）的过程，对预测结果的进行优化。

在本发明的一种实施例中，基于遥感图像去云的时空融合模型方法，以下将给出执行精度验证的实施例对方法具体的实施方案进行非限制性阐述。精度验证包括如下步骤：

(1)训练UnCRtainTS模型；

选取使用亚洲东部的ROI的成对的双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据，每个数据集中的每个ROI（感兴趣区域）都有30个重复度量。每个区域都在2018年采集30副卫星和光学卫星。每副数据在240-300对不等。从清晰图像（用于验证）、半透明雾霾、小云到密集的云,数据的大致云覆盖率为50%，这符合真实的遥感图像情况。代入相关数据对UnCRtainTS深度学习模型进行训练。

(2)验证UnCRtainTS模型；

本发明利用亚洲东部的ROI的成对的双极化C波段Sentinel-1卫星数据和正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据进行验证，UnCRtainTS模型的亚洲东部测试数据集的方差与不确定性图以及参数图如图3和图4所示。

将输入数据参数从30变到3，再预处理同一时间的成对的Sentinel-1卫星数据和有云的2A级Sentinel-2光学数据数据，进行测试，得到无云Sentinel-2光学数据图像（T

(3)利用FIRST模型进行时空融合；

下载T1和T2时间的葵花8号NC数据，并进行大气校正，裁剪，重采样等预处理。与UnCRtainTS模型输出的无云Sentinel-2 (T

(4)反演精度评价；

本发明对Sentinel-2的预测效果进行了评价，评价指标为决定系数R

反演精度如图7所示。该方法具有良好的精度（R=0.72,RMSE=38.3%）,分辨率2000m到10m的极限分辨率融合并且去云的效果较为良好。

本实施例提供的基于耦合UnCRtainTS模型和The FIRST时空融合模型的去云方法，使用双极化C波段Sentinel-1卫星数据，正射校正且亚像元级几何精校正后的1C级大气顶部反射率Sentinel-2光学数据和NC数据产品的葵花8号进行去云及分辨率融合，探究了分辨率2000m到10m的极限分辨率融合并且去云的可能性，并且结果具备可以接受的精度。

本发明涉及的遥感图像去云的时空融合模型方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。