基于多尺度差分特征注意力机制的SAR图像变化检测方法

摘要

本发明公开了一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，包括以下步骤：将T

说明书

技术领域

本发明属于遥感图像变化检测领域，涉及一种基于多尺度差分特征注意力机制的SAR图像变化检测方法。

背景技术

变化检测是基于不同时间点对同一地点进行的观测，通过设计变化提取器来鉴定不同时间点观测之间差异的过程。地表生态系统和人类活动处在不断演化过程中，准确地获取地表变化信息对于生态环境保护、自然资源管理和研究社会经济发展等具有重要意义。而遥感成像技术的进步与发展使得系统的、长期的对地观测成为可能。

遥感对地观测技术具有大范围、长时间和周期性监测能力，基于多时遥感影像来获取地表地物变化情况的变化检测是遥感技术出现最早、应用最广泛的研究领域之一。且随着技术的提高，涌现了更多性能更好的变化检测算法，并被广泛应用于国土监测、农作物生长监测、灾后评估、生态环境变化监测等领域。特别地，对于地表的异常变化，如地震、火灾、洪水等，由于合成孔径雷达图像全天时、全天候、不受云雨限制的原因，因此已成为此类变化检测中关键的数据来源。

自然语言处理中的Transformer网络最近取得了成功，这促使研究人员将Transformer应用于各种计算机视觉任务，然而很少有人对 Transformer应用于SAR图像变化检测进行过研究。目前变化检测方法主要基于深度卷积网络，因为它们能够提取强大的鉴别特征。而 Transformer网络有更大的感受野，如果利用Transformer和卷积神经网络结合进行SAR图像变化检测，可以实现对现有方法的改良，并且扩展Transformer的应用。

由于存在上述问题，针对SAR图像变化检测依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此SAR图像变化检测问题依然有很大的研究价值。

发明内容

针对上述技术问题，本发明提供一种基于多尺度差分特征注意力机制的SAR图像变化检测方法，不仅可以有效提取双时SAR图像对的多尺度差分特征，而且通过多头注意力机制考虑全局又聚焦重点的特征信息，进而提高变化检测的效果，同时全局无监督局部半监督的实现方式具有现实应用的可能。

为实现上述目的，本发明采用的技术方案为：

步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：

步骤101、对双时相SAR图像对进行中值滤波并归一化得到I

步骤102、对于I

步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；

步骤201、利用步骤101中得到的I

DI＝|lg(I

其中lg是以10为底的对数运算符，对数比算子可以有效抑制SAR图像的相干斑噪声；

步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；

步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((x

步骤三、构建孪生卷积网络模块，提取T

步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2；

步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取 T

其中，

步骤303、将各级差分特征融合后得到多尺度的差分特征F

步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：

步骤401、将孪生网络输出的多尺度差分特征F

步骤402、向a中插入一个专门用于变化判别的分类向量class，

步骤403、将上一步得到的向量集合

其中，Attention(Q

Multihead(Q,K,V)＝Concat(head

其中，head

步骤404、从上一步Transformer编码器的输出中提取分类向量 class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为

步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：

步骤501、对于每一个批次中有标签数据x

步骤502、上一步将得到的

步骤503、将所有带标签的增强数据

步骤504、将上一步得到的

x′＝λ′x

p′＝λ′p

其中

λ～Beta(α,α)

λ′＝max(λ,1-λ)

其中α为Beta分布的参数，max操作表示取二者的最大值；

步骤505、对于增广得到的数据X′和U′分别计算损失项

其中，|X′|等于一个批次中有标签样本数量，|U′|等于K倍一个批次中无标签样本数量，num_classes为类别个数，X'和U'由步骤504得到， H(p,p

步骤506、考虑负样本较多的情况，模型更容易将所有样本预测为同一类，因此添加正则项，来使得模型将样本不含偏见地预测为两类，正则项公式如下：

其中π

其中λ

步骤六、测试网络的性能，加载上一步保存的网络参数，将步骤 102总样本集合M输入到网络中生成结果图，结果图与变化检测参考图进行定性比较，最后通过评价指标定量分析，常见的评价指标如下：假阴性表示未检测到的变化像素数目，假阳性表示错误检测到的不变像素数目，真阳性指在参考图像和结果中被检测到为变化区域的像素数，真阴性指在参考图像和结果中检测到为不变区域的像素数，总体误差，正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。

本发明提供的基于多尺度差分特征注意力机制的SAR图像变化检测方法，与现有的技术相比，具有以下特点：

(1)由于本发明的多尺度差分特征提取网络采用孪生网络结构，具有两个权值共享的子网络，可以有效突出双时SAR图像对的差异性特征，提高了模型的泛化能力；

(2)由于本发明参考Vision Transformer和流形假设引入线性映射层和多头注意力机制，用于对提取的多尺度差分特征进行编码，使模型能够充分利用双时SAR图像对的有效信息，从而使模型更具判断力，增强特征的表达能力；

(3)大多数聚类方法将置信度较低的样本丢弃，降低了用于再训练的样本多样性，或者只使用聚类后有标签的样本，忽略了无标签样本中包含的信息，因此本发明提出一种对预分类后的样本用来的半监督训练的方法，有效利用了无标签数据的信息，同时保证了训练样本的代表性，避免模型过拟合。

附图说明

图1为本发明的流程框图；

具体实施方式

下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1表示的是一种基于多尺度差分特征注意力机制的SAR图像变化检测方法流程图。

如图1所示，以权利要求书中步骤102得到的双时SAR图像对超像素块作为输入，说明本发明的合理性与有效性，包含具体步骤如下：

步骤一、将同一区域的拍摄于不同时刻的SAR图像进行处理得到符合深度网络输入格式的样本：

步骤101、对双时相SAR图像对进行中值滤波并归一化得到I

步骤102、对于I

步骤二、利用层次聚类算法生成每个像素点的伪标签，并划分训练集、测试集、验证集；

步骤201、利用步骤101中得到的I

DI＝|lg(I

其中lg是以10为底的对数运算符，对数比算子可以有效抑制SAR图像的相干斑噪声；

步骤202、利用层次聚类算法对上一步得到的差异图DI中的像素值进行分析，得到总样本集M中对应位置样本的伪标签，聚类为“变化”、“不变”、以及“不确定”三类；

步骤203、从伪标签为“变化”和“不变”的样本中随机选取T 个样本并结合所有伪标签为“不确定”的样本共同作为训练集，其中将前者作为有标签数据，后者作为无标签数据，每一个批次中有标签数据为X＝((x

步骤三、构建孪生卷积网络模块，提取T

步骤301、构建多尺度卷积网络，包括4个卷积单元，分别是 Common Conv1、CommonConv2、Inception Module1、Inception Module2；

步骤302、采用双分支多尺度卷积网络作为孪生网络，分别提取 T

其中，

步骤303、将各级差分特征融合后得到多尺度的差分特征F

步骤四、构建Transformer编码器处理孪生网络输出的多尺度差分特征，从而得到分类结果：

步骤401、将孪生网络输出的多尺度差分特征F

步骤402、向a中插入一个专门用于变化判别的分类向量class，

步骤403、将上一步得到的向量集合

其中，Attention(Q

Multihead(Q,K,V)＝Concat(head

其中，head

步骤404、从上一步Transformer编码器的输出中提取分类向量 class，接着通过全连接层进行分类，得到图像各个类别的得分，得分最高的类别即为预测的结果。全连接层的维度为

步骤五、设计半监督训练损失函数，充分利用无标签数据的信息：

步骤501、对于每一个批次中有标签数据x

步骤502、上一步将得到的

步骤503、将所有带标签的增强数据

步骤504、将上一步得到的

x′＝λ′x

p′＝λ′p

其中

λ～Beta(α,α)

λ′＝max(λ,1-λ)

其中α为Beta分布的参数，max操作表示取二者的最大值；

步骤505、对于增广得到的数据X′和U′分别计算损失项

其中，|X′|等于一个批次中有标签样本数量，|U′|等于K倍一个批次中无标签样本数量，num_classes为类别个数，X'和U'由步骤504得到， H(p,p

步骤506、考虑负样本较多的情况，模型更容易将所有样本预测为同一类，因此添加正则项，来使得模型将样本不含偏见地预测为两类，正则项公式如下：

其中π

其中λ

步骤六、测试网络的性能，加载上一步保存的网络参数，将步骤 102总样本集合M输入到网络中生成结果图，结果图与变化检测参考图进行定性比较，最后通过评价指标定量分析，常见的评价指标如下：假阴性表示未检测到的变化像素数目，假阳性表示错误检测到的不变像素数目，真阳性指在参考图像和结果中被检测到为变化区域的像素数，真阴性指在参考图像和结果中检测到为不变区域的像素数，总体误差，正确分类率以及衡量结果图和变化检测参考图一致性的Kappa 系数。