一种基于全局关系推理的高分辨率遥感影像变化检测方法

摘要

一种基于全局关系推理的高分辨率遥感影像变化检测方法：首先，通过预先训练的编码器提取双时相遥感影像的多尺度特征；其次，使用全局关系推理模块分别对每个尺度特征进行区域间的关系推理；最后，建立多尺度特征融合的解码器，并通过语义分割头生成最终的变化检测结果。本发明除了在堆叠的卷积层获取局部信息之外，还充分考虑可以表示变化对象之间内在联系的全局语义信息，此外，本方法为编码器‑解码器的网络结构，能够实现细节信息恢复，有效削弱背景噪声的干扰，减少误检的现象。本发明充分利用遥感影像的多尺度信息及全局语义信息，生成具有分辨效力的划分特征，有效提高变化检测精度，具有广阔的应用前景。

说明书

技术领域

本发明属于遥感影像处理技术领域，涉及一种基于全局关系推理的高分辨率遥感影像变化检测方法。本发明可用于检测两幅不同时相光学遥感影像中的建筑变化，可应用在土地利用和覆盖、城市规划等。

背景技术

遥感影像变化检测任务的首要目标是通过比较具有时间间隔的双时态或多时态影像，对影像像素或对象的变化状态做出决策，可为城市空间布局、土地利用检测、水体监测、灾害监测等任务的上层管理和决策提供重要的理论依据。近年来，随着卫星传感器技术的飞速发展，遥感影像的分辨率从过去的几十、几百米发展到现在的米级、亚米级，遥感影像呈现高分辨率的趋势。这些高分辨率遥感影像为地表变化检测带来了更多技术上的挑战，它们包含的地表信息更多，地物的纹理细节更为精细，地物之间的拓扑关系更复杂，大大增加变化检测结果的不确定性。此外，与普通光学图像的成像方式不同，遥感影像是从卫星或无人机在高空俯瞰地面而获得的，这一过程容易受到时间、光线、环境等因素影响，可能会引起形状扭曲、过度曝光、阴影等干扰，进一步增加变化检测难度。

随着大数据及计算资源的发展，深度学习技术逐步引入到变化检测分析领域。深度网络能够逐层学习数据的抽象表示，其非线性学习能力更容易处理复杂的模式识别问题，为高分辨率遥感影像变化检测提供了一种实际的解决方法。在图像领域中，深度网络的最小学习单元为2维卷积。依靠卷积的平移不变性和能够平滑噪声的特点，通过堆叠多层卷积，可学到模式的空间层次结构，提取的多层次特征包含丰富的局部细节。因此，国内外许多研究设计各种卷积神经网络应对上述遥感影像变化检测任务。

Rodrigo CayeDaudt等人在论文“DaudtR,Bertrand LS,Alexandre B.FullyConvolutional Siamese Networks for Change Detection[C]//IEEEInternationalConference onImage Processing, ICIP 2018,Athens,Greece,October 7-10,2018:4063–4067.”提出了3种全卷积(Fully Convolutional,FC)网络结构，分别为FC-EF、FC-Siam-Conc和FC-Siam-Diff。其中，FC-EF 包含一个可提取4种尺度特征的编码器和一个解码器，双时相影像先拼接起来再输入网络，属于单输入单输出结构；FC-Siam-Conc包含孪生编码器和一个解码器，双时相影像分别输入孪生编码器且对提取的同一尺度特征通道连接处理再输入到解码器，属于双输入单输出结构； FC-Siam-Diff也是包含孪生编码器和一个解码器，双时相影像分别输入孪生编码器且对提取的同一尺度特征计算差值再输入到解码器。进一步，Rodrigo CayeDaudt等人在论文“DaudtR, Bertrand LS,Alexandre B,etal.Multitask learning for large-scale semantic change detection[J]. ComputerVision and Image Understanding,2019,187:102783.”改进FC-EF网络，在FC-EF编码器的每一层尾部添加一个残差块，以方便网络的训练(即FC-EF-Res)。

Chen等人在论文“Chen H,Shi Z W.A Spatial-Temporal Attention-BasedMethod and a NewDataset for Remote SensingImage Change Detection[J].RemoteSensing,2020,12(10):1662.”提出时空注意力网络(Spatial–temporal AttentionNetwork,STANet)，该模型基于ResNet18 卷积网络提取影像特征，并使用注意力机制自适应关注图像的感兴趣区域。Shi等人在论文“ShiQ,Liu M X,Li S C,et al.ADeeplySupervised Attention Metric-BasedNetwork and an Open Aerial Image DatasetforRemote Sensing Change Detection[J].IEEETransactions on Geoscience andRemote Sensing,2022,60:1–16.”提出深度监督注意力度量网络(Deeply SupervisedAttention Metric-based Network,DSAMNet)，该模型也同样基于ResNet18卷积网络提取影像特征，并使用空间注意力和通道注意力机制生成具有判别性特征。

然而，受卷积核感受野的限制，堆叠卷积层构成的深度网络局限在较小的区域中进行精细的细节特征提取。并且多尺度特征之间的上下文联系不紧密，尚未对语义信息进行充分利用。众所周知，在同一场景下，变化对象的语义属性是相关的，即变化对象主体一致。若能够较好利用语义信息，在确定一个或少量的变化对象，通过语义关系进一步分辨剩余的变化对象，这不仅能够提高检测精度还能提高检测效率。针对现有技术的不足，目前需要一种综合利用全局语义信息和局部信息的变化检测方法。

发明内容

光学遥感影像中场景覆盖范围广、背景复杂，且存在因成像模式导致的阴影噪声、过度曝光、云层遮挡等问题。在复杂的成对光学遥感影像中检测一些局部的变化仍然是当前一项开放且富有挑战性的任务。本发明针对高分辨率遥感影像中仅通过局部细节信息难以准确检测出多个变化对象的问题，考虑影像的全局语义信息和对象间的内在联系，提出一种有效的变化检测方法。即本发明针对上述现有技术更多关注光学遥感影像的局部细节信息而未充分利用全局语义信息进行变化检测的不足，提供一种基于全局关系推理的高分辨率遥感影像变化检测方法，可以提高变化检测精度。

为了解决上述问题，本发明采用的技术方案为：

一种基于全局关系推理的高分辨率遥感影像变化检测方法。该方法除了在堆叠的卷积层获取局部信息之外，还充分考虑可以表示变化对象之间内在联系的全局语义信息，具体地，采用全局关系推理模块对遥感影像特征图上的不同对象或区域之间的语义关系进行建模。此外，本方法为编码器-解码器的网络结构，能够实现细节信息恢复，有效削弱了背景噪声的干扰，减少了误检的现象。具体的基于全局关系推理的高分辨率遥感影像变化检测方法包括以下步骤：

第一步，样本划分和数据预处理。

1.1)样本划分。一对覆盖同一地表的不同时刻{t

1.2)数据预处理。预处理过程分为影像裁剪和标准化。以一个样本为例，将影像和实际标签裁剪为256×256，并分别对裁剪后的影像逐通道标准化，得到处理后t

第二步，构建基于全局关系推理的变化检测网络架构。

2.1)构建编码器。以ResNet18网络为基础构建孪生编码器，分别用于提取

2.2)构建全局关系推理模块(Global Reasoning，GloRe)。将孪生编码器提取的多尺度特征

2.3)构建解码器。解码器的主要作用是多尺度增强特征的融合并生成差异特征，具有如下子步骤：

2.3.1)多尺度增强特征融合。由最小尺度特征逐次向其上一级尺度特征靠拢。即

1)将特征

2)将特征

3)以通道级联的方式合并

2.3.2)生成差异特征。融合后的特征

2.4)构建变化检测Head。由双线性插值的上采样层和卷积块串联而成，用于生成变化检测图

2.4.1)差异特征F

2.4.2)特征F

2.4.3)特征F

第三步，构建损失函数。

以骰子损失(Dice Loss)和二值交叉熵损失(Binary CrossEntropy Loss,BCELoss)的组合方式构建损失函数。

第四步，网络训练与验证。

4.1)基础设置。初始化网络训练过程所需要的参数，包括迭代轮次(Epoch)、批大小 (Batchsize)、初始学习率(Learning Rate,LR)。设置学习率更新策略，例如线性衰减、指数衰减、固定步长衰减等。使用自适应矩估计优化器(Adaptive Moment Estimation，Adam)更新变化检测网络权重，设置它的一阶矩衰减系数β

4.2)网络训练。网络一次训练过程对应一个Epoch，包括以下子步骤：

4.2.1)将一个Batchsize大小的训练样本输入到基于全局关系推理的变化检测网络，得到变化检测结果；

4.2.2)计算Dice Loss和BCE Loss，并将两者的和传送到Adam优化器更新变化检测网络权重，重复步骤4.2.1)直至完成网络在所有训练样本上的训练，得到一次Epoch下训练好的变化检测网络。

4.3)网络验证。将验证集输入到训练好的网络上得到验证集的变化检测结果，并根据变化检测结果与实际样本标签计算网络的评价指标。

第五步，重复网络训练和验证过程。

完成Epoch次的网络训练，择取最优的验证结果为最终的网络。

与现有技术相比，本发明的有益效果为：

(1)本发明从模型的实用性和可操作性的角度出发，构建端到端的遥感影像变化检测网络，该网络既能通过编码器获取局部信息，又能通过全局关系推理模块获取全局语义信息，充分利用局部信息和语义信息对影像进行变化检测，克服现有卷积神经网络全局建模效率不高导致变化对象检测缺失和漏检的难题，使得本发明具有高检测精度的优点。

(2)本发明构建的检测网络使用解码特征而非编码特征用于计算变化信息，可以有效避免影像中的复杂背景和成像干扰。并且考虑到多尺度特征的互补作用，在解码器中融合多尺度编码特征，它们可以引导变化对象的细节恢复，对抗变化对象尺度差异问题，使得本发明对变化对象的识别更精准。

(3)本发明构建的编码器先融合每一幅影像的多尺度特征再计算差异特征，而非对先计算每层差异特征再进行多尺度特征融合，可以有效防止产生更多的椒盐噪声，使得本发明具有优异的变化检测视觉效果。

附图说明

图1是基于全局关系推理的高分辨率遥感影像变化检测方法的流程图；

图2是基于全局关系推理的高分辨率遥感影像变化检测网络的结构图；

图3是解码器的结构图；

图4是网络训练损失变化的曲线；

图5是网络验证过程F1评价指标的变化曲线；

图6(a)是LEVIR测试集的一个真实标签；

图6(b)是FC-EF的变化检测结果图；

图6(c)是FC-EF-Conc的变化检测结果图；

图6(d)是FC-EF-Diff的变化检测结果图；

图6(e)是FC-EF-Res的变化检测结果图；

图6(f)是STANet的变化检测结果图；

图6(g)是DSAMNet的变化检测结果图；

图6(h)是本发明的变化检测结果图。

具体实施方式

为使本发明解决的方法问题、采用的方法方案和达到的方法效果更加清楚，下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

1.数据与运行环境。

本示例使用包含建筑物变化的LEVIR变化检测公开数据集来说明。本示例的仿真实验的硬件平台为：CPU为Intel(R)Core(TM)i7-8700，主频为3.2GHz，内存16GB，GPU为NVIDIA GTX 1070，内存8G。本示例的仿真实验的软件平台为：Python 3.8。

2.实施步骤。

(1)数据获取和数据预处理。

(1a)数据获取。LEVIR遥感影像采集了美国德克萨斯州多个城市的20个区域的各种建筑(别墅或高层公寓)在2002-2018年内的变化。该数据集含有637对分辨率为0.5米/像素的遥感影像和对应的真实标签，共有红、绿、蓝3个通道，尺寸为1024×1024。该数据集以7：1：2的比例划分训练集、验证集和测试集，分别包括445、64和128对遥感影像。

(1b)数据预处理。预处理过程分为影像裁剪和标准化。由于GPU的限制，实验不能对整幅影像直接训练，因此，将所有样本裁剪为256×256大小，并根据式(1)分别对裁剪后的影像逐通道标准化。

其中，

(2)将LEVIR的训练数据集输入到基于全局关系推理的变化检测网络进行前向传播。

图2为本发明提供的基于全局关系推理的高分辨率遥感影像变化检测网络结构，以经过预处理后的一对LEVIR影像

(2a)通过编码器获取多尺度特征。为了加快训练速度，采用在ImageNet数据集(包含120 多万张图像，共1000个类别)上预先训练的ResNet18进行编码。ResNet18分别提取

(2b)通过全局关系推理模块(GloRe)获取多尺度增强特征。GloRe的本质是将特征图上的若干局部区域视为若干个节点，节点间的关系表示特征图上局部区域之间的关系。本示例将 4个GloRe的节点数(N)分别设置为128、64、32和16。孪生编码器提取的多尺度特征

(2c)通过解码器获取差异特征F

S2c.1多尺度增强特征通过融合单元得到与

S2c.2取融合特征

(2d)差异特征通过变化检测Head输出变化检测图

(3)按照式(2)计算预测输出

其中，L为损失函数，L

式中，

(4)网络迭代训练与验证。

(4a)参数设置。网络训练过程设置Epoch＝50，Batchsize＝16，LR＝0.001。学习率更新策略采用线性衰减，具体地，前25个Epoch学习率保持不变，后25个Epoch学习率线性衰减至0。Adam优化器的参数β

(4b)网络迭代训练。网络一次训练过程对应一个Epoch，包括以下子步骤：

S4b.1将一个Batchsize大小的训练样本输入到基于全局关系推理的变化检测网络进行前向传播，得到变化检测结果；

S4b.2计算相应损失，并使用Adam优化器更新网络权重，重复步骤S4b.1直至完成网络在所有训练样本的训练，得到一次Epoch下训练好的变化检测网络。

(4c)网络验证。将验证集输入到本次训练好的网络上得到验证集的变化检测结果，并根据变化检测结果与实际样本标签计算评价指标F1分数(式(6))。重复网络训练和验证过程，完成Epoch次的网络训练。根据附图4训练损失快速衰减并趋于稳定，以及附图5本示例验证集F1评价，可确定第50轮次的训练网络为最优网络。

(5)网络测试。将测试集输入到最优网络，计算如下评价指标。

准确率(Accuracy，Acc)衡量预测值与真实值的接近程度，即正确预测(未)变化类别的比例，表达如式(5)所示。

其中，TP、TN、FP、FN分别为真正例、真负例、假正例和假负例。

F1分数可以看作是精确率和召回率的一种调和平均，表达如式(6)所示。

平均交并比(Mean Intersection over Union，MIoU)是计算真实值和预测值两个集合的交集和并集之比，表达如式(7)所示。

Kappa系数(Kappa Coefficient，KC)衡量模型预测结果与实际类别的一致性，与Acc不同之处在于Kappa系数能够给类别不平衡的样本进行偏向性打分，表达如式(8)所示。

(6)结果对比和分析。

采用6个现有技术与本发明进行对比分析，所有技术在LEVIR测试集的表现如表1所示。其中“本发明”表示本发明的基于全局关系推理的遥感影像变化检测方法，“FC-EF”、“FC-Siam-Conc”、“FC-Siam-Diff”和“FC-EF-Res”表示Daudt等人提出的4种全卷积变化检测网络，“STANet”表示Chen等人提出的时空注意力网络，“DSAMNet”表示Shi等人提出的深度监督注意力度量网络。

表1本发明与现有遥感影像变化检测模型性能评价表

结合表1可以看出，本发明获得了优异的检测结果，所有指标都相较其他技术有较高的提升，证明本发明可以得到更高的变化检测精度。此外，图6展示了本发明与现有技术在其中一个测试样本上的可视化结果，可以看到本发明可以获得更干净的视觉效果，变化对象有更清晰的边缘和较好的内部一致性。

最后应说明的是：以上实例仅用以表达本发明的实施方式，应理解实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围，均属于本发明的保护范围。