一种基于多尺度自适应卷积核的多光谱图像变化检测方法

摘要

一种基于多尺度自适应卷积核的多光谱图像变化检测方法，属于多光谱图像变化检测领域。为了解决高光谱图像变化检测过程中，现有的方法存在对复杂地物信息提取困难、变化区域边界定位不准确的问题，本发明设计了权重共享的双侧编码路径的MASK‑Net，将基于自适应权重的卷积核选择模块嵌入到编码路径中提取图像中的多尺度特征；并将多尺度空间特征输入到本发明所设计的具有注意力机制的上采样模块来提取网络中的深层特征，通道注意力使得浅层特征和深层特征得到了选择性的融合，基于设计的网络进行检测；本发明还使用多模态条件随机场来对神经网络的结果进行二次检测实现变化像素的分类与定位。主要用于多光谱图像的变化检测。

说明书

技术领域

本发明涉及一种多光谱图像变化检测方法，属于多光谱图像变化检测领域。

背景技术

多光谱图像变化检测是对同一区域的两幅或多幅时间图像的多光谱图像中的变化信息进行检测。由于人类活动和生态系统的变化，地表变化信息的收集和分析对环境保护、自然资源管理、人类社会发展与自然环境关系的研究具有重要意义。

随着遥感技术的发展，多光谱图像的空间分辨率不断提高，丰富的地物细节信息弥补了光谱分辨率上的不足，对于检测一些地物变化明显的变化类型(如建筑物拆迁、道路变化等)，多光谱图像更具有优势。但采用单一尺度的卷积核来提取变化特征，面对多光谱图像复杂的地物信息时并不合适，因此考虑引入多尺度信息以提高提取复杂地物信息的能力。深度神经网络(DNN)比较适于处理这种复杂场景下的检测任务，许多学者使用神经网络来解决多光谱变化检测中的问题。U-Net网络模型自提出以来，已在遥感图像分割、医学图像分割等多个图像分割领域有了广泛的应用。随着神经网络的应用，多光谱变化检测逐渐过渡为基于对象级的检测方法，仅仅依靠神经网络对变化区域进行判别容易导致检测出的变化区域边界定位不准确，需要后续的处理技术解决小范围的误分类，细化分类边界。因此，如何针对复杂地物信息提取多尺度特征并进行二次分类以细化对象的边界信息是关键且亟需解决的问题。

发明内容

本发明为了解决高光谱图像变化检测过程中，现有的方法存在对复杂地物信息提取困难、变化区域边界定位不准确的问题，进而提出了一种基于多尺度自适应卷积核的多光谱图像变化检测方法。

一种基于多尺度自适应卷积核的多光谱图像变化检测方法，将多光谱图像输入到权重共享的双侧编码路径的网络MASK-Net中进行检测；

所述双侧编码路径的网络MASK-Net同时提取双时相多光谱图像的独立特征；每条编码路径包括依次连接的四层卷积网络，四层卷积网络中的每两层网络之间设置一个最大池化层；四层卷积网络中的前两层卷积网络均包括两个3×3卷积核的卷积层和一个BN层；后两层卷积网络均包括两个SCKB模块和一个BN层；

然后将编码路径提取得到的浅层特征输入到解码路径中以提取深层特征，解码路径包括四个上采样模块，第一个上采样模块的输入由两条编码路径的编码结果叠加而成，后面三个上采样模块的输入特征由前一个上采样模块的输出特征和同等级的两个编码路径的输出特征直接叠加而成，利用具有注意力机制的上采样模块来提取网络中的深层特征，同时与编码路径提取的浅层特征进行选择性融合；经过四个上采样模块后，最后一个上采样模块的输出特征经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，输出变化检测结果；

所述SCKB模块为基于自适应权重的卷积核选择模块；SCKB模块分为三个卷积支路，每个卷积支路包括卷积层、BN层、激活层，三个卷积支路卷积层中卷积核大小分别为3×3、5×5和7×7，用来提取三种尺寸的特征U

U＝[U

其中，Conv()代表卷积操作，F

然后通过全局池化来编码全局信息，进而产生通道维度上的特征向量S，特征向量S的前三分之一表示3×3卷积核对应的统计信息，后三分之一表示7×7卷积核对应的统计信息，中间表示5×5卷积核对应的统计信息；

随后引入两个一维卷积对所有统计信息进行融合，并将第二个一维卷积输出的特征向量reshape成一个分值矩阵；通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩阵，权重系数矩阵中每一列分别对应三种卷积核输出的三种尺寸的特征U

进一步地，所述特征向量S的第c个元素的计算方式如下：

式中，h为图像高度，w为图像宽度，m与n分别为求和中的变量，m的取值范围为(1,h)，n的取值范围为(1,w)，U

进一步地，所述编码路径的前两层卷积网络中卷积层是带有激活函数的卷积层，激活函数为Relu。

进一步地，所述上采样模块即UM模块，UM模块首先对输入特征F

将权重向量和输入特征进行特征重组，通道注意力重组特征的优化方法如下式：

其中，

然后送入两层连续的3×3卷积层得到特征F

再由神经网络层自适应学习到空间注意力图：

M

式中，M

得到空间注意力图后，再进行空间重组特征；空间重组特征的计算方法如下：

式中，M

进一步地，所述MASK-Net为训练好的MASK-Net，MASK-Net在训练时采用加权交叉熵作为损失函数：

式中，N为样本总数，t

进一步地，输入到权重共享的双侧编码路径的网络MASK-Net中的多光谱图像为将获取的整幅多光谱图像进行分割得到的。

进一步地，用于训练MASK-Net的训练集需要进行数据增强处理，增强时对样本进行有选择性的增强，如果训练样本中变化像素的比例在1％以下，则将其过滤，使其不参与网络训练；若训练样本中变化像素的比例在5％以上，则对其使用图像增强，将每个训练样本进行90°、180°、270°的旋转和翻转；随后将训练样本送入网络进行训练。

进一步地，所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，还包括使用多模态条件随机场进行二次检测的步骤，具体过程包括以下步骤：

将多光谱图像输入到MASK-Net进行检测得到网络的预测结果，以预测结果构建FC-CRF模型的一元势函数；同时对多光谱图像计算CVA差异图与SA光谱差异图，用这两个差异图来构建FC-CRF模型的二元势函数；进而通过全连接条件随机场进行二次检测；

全连接条件随机场即FC-CRF，FC-CRF输出结果Y的概率分布由下式定义：

式中，X表示输入，p

φ

二元势函数表示为：

其中，

其中，

高斯核如下：

其中

最后使用平均场近似算法迭代优化FC-CRF模型的能量势函数，推导出每个像素对应的类别标签。

进一步地，在构建二元势函数时，CVA差异图在该处差异强度的计算公式为：

式中i

针对于点p

式中，

设V

其中，i

针对于点p

进一步地，所述标签函数

其中，w

有益效果：

本发明提出了一种基于多尺度自适应卷积核的多光谱变化检测方法，结合多光谱数据源特点，针对目前使用单一卷积核的多光谱变化检测方法对于多尺度信息利用不足的问题，提出了一种能自适应分配权重的卷积核选择模块(SCKB)。由于U-Net网络框架使用跳跃连接保留住了更多的图像原始信息，本发明采用具有双编码路径的U-Net作为整体框架。将上述提到的卷积核选择模块嵌入到编码路径中提取图像中的多尺度特征，同时为了克服特征异质性融合问题，在解码路径添加注意力机制来使浅层特征和深层特征进行选择性融合。最后使用多模态条件随机场来对神经网络的检测结果进行二次检测，恢复神经网络丢失的局部信息，使最终的检测边界更加准确。观察五种变化检测方法在两个数据集上的实验结果，本方法在四个不同的测试集上的综合指标均为最高，验证了所提方法的有效性。

附图说明

图1为基于多尺度自适应卷积核的多光谱变化检测流程图；

图2为本发明所提方法网络框架图；

图3为步骤三中基于自适应权重的卷积核选择模块(SCKB)结构图；

图4为步骤四中具有注意力机制的上采样模块(UM)示意图；

图5为基于多尺度自适应卷积核的多光谱变化检测方法整体结构图；

图6-图9为本发明在两个多光谱数据集上的检测结果，图6-图9中第一列为变化前图像，第二列为变化后图像，第三列为变化真值图，第四列为所提方法检测结果。

具体实施方式

具体实施方式一：结合图1说明本实施方式，

本实施方式所述的一种基于多尺度自适应卷积核的多光谱图像变化检测方法，包括以下步骤：

步骤一：选择训练数据的图像块大小，按照图像块大小将整幅多光谱图像分割成训练数据，随后经过样本均衡和数据增强后筛选出一部分训练样本，输入到多尺度特征提取网络中。

步骤二：本发明将U-Net网络的编码路径进行扩展，设计了权重共享的双侧编码路径的网络MASK-Net，用有监督训练的方式，保留了双时相多光谱图像的原始特征，在不引入额外参数量的前提下，同时提取双时相多光谱图像的独立特征。与原始U-Net网络相比，本方法能充分利用多光谱图像中不同尺度的空间特征，以提取多光谱图像复杂的地物信息。

步骤三：本发明借鉴注意力机制的思想提出了一种基于自适应权重的卷积核选择模块(selective convolution kernel block，SCKB)并将其嵌入到编码路径中提取图像中的多尺度特征。SCKB模块分为三个卷积支路，每个卷积核支路分配的权重借鉴注意力机制的思想计算得到，最后计算各个特征图与对应权重的加权值，得到多尺度融合特征。SCKB模块根据应用场景不同，将自动调整分配给三种多尺度特征的权重，实现了让网络自己选择最合适的卷积核尺寸。

步骤四：本发明将设计的具有注意力机制的上采样模块(Upsampling module，UM)嵌入解码路径来提取U-Net网络中的深层特征。通道注意力使得U-Net结果中的浅层特征和深层特征得到了选择性的融合，而空间注意力抑制了非变化像素的特征信息，增强了变化像素的差异特征。经过通道注意力和空间注意力的优化，特征图无论是在通道维度还是空间维度都具有了更好的变化信息表达。解码路径由四个上采样模块UM构成，本发明保留了U-Net网络的跳跃连接，即每个UM模块的输入为该层对应编码路径提取的浅层特征与上一层UM模块提取的深层特征的叠加。最后一个UM模块的输出经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，从而得到变化检测结果图。

步骤五：基于多尺度自适应卷积核的多光谱变化检测方法已经能实现变化像素的分类与定位，但仍存在由于信息丢失导致的定位不准确的问题。针对这一问题，本发明使用多模态条件随机场来对神经网络的结果进行二次检测。

更加具体地，

所述步骤一的具体过程包括以下步骤：

将两个数据集中的测试图像的三分之一作截取为验证集，剩下三分之二作为测试集。将测试图像以外的数据图像裁剪成128×128大小的图像块用于训练集。

对训练集进行数据增强，增强时需要对样本进行有选择性的增强，如果训练样本中变化像素的比例在1％以下，则将其过滤，使其不参与网络训练；若训练样本中变化像素的比例在5％以上，则对其使用图像增强，将每个训练样本进行90°、180°、270°的旋转和翻转。这样就使得训练样本中正负样本数据分布较均衡，避免方差过小。随后将训练样本送入多尺度特征提取网络进行训练。

所述步骤二的具体过程包括以下步骤：

基于U-Net网络的编码路径设计权重共享的双侧编码路径的网络MASK-Net，如图2所示，用有监督训练的方式，保留了双时相多光谱图像的原始特征，在不引入额外参数量的前提下，同时提取双时相多光谱图像的独立特征。每条编码路径由依次连接的四层卷积网络构成，前两层卷积网络均包括两个3×3卷积核的卷积层和一个BN层，卷积层带有激活函数，激活函数使用Relu来缓解梯度消失。后两层卷积网络均包括两个SCKB模块和一个BN层；四层卷积网络中的每两层网络之间设置一个2×2的最大池化层；

整个网络采用加权交叉熵作为损失函数，其计算公式如下：

式中N为样本总数，t

所述步骤三的具体过程包括以下步骤：

本发明借鉴注意力机制的思想提出了一种基于自适应权重的卷积核选择模块SCKB并将其嵌入到编码路径中提取图像中的多尺度特征，如图3所示。SCKB模块分为三个卷积支路，每个卷积支路包括卷积层、BN层、激活层(不是设置于卷积层中的激活函数，而是单独设置的激活层)，三个卷积支路卷积层中卷积核大小分别为3×3、5×5和7×7，对应不同的感受野，用来提取三种尺寸的特征U

U＝[U

其中，Conv()代表卷积操作，F

假设输入特征图F

然后通过全局池化来编码全局信息，进而产生通道维度上的特征向量S，S的前三分之一表示3×3卷积核对应的统计信息，后三分之一表示7×7卷积核对应的统计信息，中间表示5×5卷积核对应的统计信息。特征向量S的第c个元素的计算方式如下：

式中，h为图像高度，w为图像宽度，m与n分别为求和中的变量，m的取值范围为(1,h)，n的取值范围为(1,w)，U

随后引入两个一维卷积对所有统计信息进行融合，整合特征向量S中各个通道之间的相互依赖关系，从而增强某一尺度特征图的信息表达。在该过程中有一定维度的缩放，并将第二个一维卷积输出的特征向量reshape成一个大小为(3，c)的分值矩阵。通过softmax计算将分值矩阵映射为三个卷积核的权重系数矩阵，权重系数矩阵中每一列的三个数值之和为1，分别对应三种卷积核输出的三种尺寸的特征U

所述步骤四的具体过程包括以下步骤：

将编码路径提取得到的浅层特征(其中包含后两层提取的多尺度特征)输入到解码路径中以提取深层特征，同时优化特征图的变化信息表达。解码路径由四个UM模块构成。即：第一个UM模块的输入由两条编码路径的编码结果叠加而成，后面三个UM模块的输入特征由前一个UM模块的输出特征和同等级的两个编码路径的输出特征直接叠加而成，利用具有注意力机制的上采样模块UM来提取U-Net网络中的深层特征，同时与编码路径提取的浅层特征进行选择性融合；

具体地，针对两侧编码路径，第四层卷积网络叠加得到的特征经过上采样模块UM后与第三层卷积网络的输出叠加然后再经过上采样模块UM；然后再与第二层卷积网络的输出叠加然后再经过上采样模块UM；然后经过上采样模块UM的输出与第一层卷积网络的输出叠加然后在经过上采样模块UM得到最终的变化特征图，最后经过一个1×1的二维卷积得到最终变化检测结果图。

如图4所示，由于上采样模块UM的输入特征是由浅层特征和深层特征进行简单的通道叠加得到，因此需要使用通道注意力模块(Channel attention module，CAM)对输入特征进行通道维度上的优化，可以将每个通道的重要性编码在一个一维的通道权重向量中，每个通道权重系数由网络自动学习得到，具体的计算过程如下式：

M

式中的F

首先对F

然后基于Sigmoid激活函数将多层感知机的相加结果映射为零到一之间的权重向量，每个权重向量上的数值表示对应特征通道的重要程度。

最后将权重向量和输入特征进行特征重组，通道注意力重组特征的优化方法如下式：

其中，

上采样模块UM的输入特征在经过CAM进行通道维度上的优化后，立即送入两层连续的3×3卷积层提取深层特征。

在该深层特征传递到下一个上采样模块之前，为了使之后的转置卷积层能从该特征图中学习到更显著的变化特征，还需使用空间注意力机制对该深层特征图进行像素维度上的优化重组。空间注意力对特征图中每个像素位置上的信息进行编码，再由神经网络层自适应学习到空间注意力图。空间注意力图的计算方法如下式：

M

式中的F

式中F

通道注意力使得U-Net结果中的浅层特征和深层特征的到了选择性的融合，而空间注意力抑制了非变化像素的特征信息，增强了变化像素的差异特征。

经过四个UM模块后，最后一个UM模块的输出特征经过一个1×1卷积核的卷积层来调整最终的变化检测图的通道数，该1×1卷积层输出的结果即为网络的变化检测结果。

所述步骤五的具体过程包括以下步骤：

基于多尺度自适应卷积核的多光谱变化检测方法已经能实现变化像素的分类与定位，但仍存在由于信息丢失导致的定位不准确的问题。针对这一问题，本发明使用多模态条件随机场来对步骤四中神经网络的输出的变化检测结果进行二次检测。

总体流程，如图5所示，首先使用样本均衡和样本增强来减少样本不平衡对MSAK-Net的影响，随后以端到端的方式训练MSAK-Net并保存网络权重。之后将测试图像送入训练好的网络中得到网络的预测结果并以该结果构建FC-CRF模型的一元势函数；同时对测试图像计算CVA差异图与SA光谱差异图，用这两个差异图来构建FC-CRF模型的二元势函数，从而达到细分类的目的，得到最终的变化检测结果图像。

全连接条件随机场(FC-CRF)是对条件随机场的优化，通过建立图像中所有像素点之间的连接关系来克服条件随机场中不具备远程依赖性的局限性，能更好的恢复局部信息。

一个条件随机场的概率分布函数符合Gibbs分布，而Gibbs分布由无向图模型中的一系列极大团的非负能量函数的乘积计算出，因此FC-CRF输出结果Y的概率分布可以由下式定义：

式中，X表示输入，p

其中，

w

在变化检测任务中一般使用双高斯核，高斯核的定义如下：

其中

上式中第一个高斯核用来定义在差异图中具有相似灰度值的相邻像元是否为统一类别，σ

最后使用平均场近似算法迭代优化FC-CRF模型的能量势函数，推导出每个像素对应的类别标签。

两种差异图的计算方式：

之前学者在构建二元势函数时，是使用原始图像的灰度向量来构建，也就是I

式中i

针对于点p

使用时，

光谱角(SA)是将两个原始图像中每一像元位置的光谱视为一个高维向量，通过两个光谱向量之间的夹角来衡量该位置像元在光谱维度上的相似性。假设V

其中SA(V

CVA差异图包含了双时相多光谱图像像素之间的灰度差异信息，而SA光谱差异图则是从光谱向量的角度差异来提取光谱差异信息。与只使用单一的几何差分图来构造条件随机场不同，两种差异图从不用的角度提取原始图像中的局部变化特征，同时输入到FC-CRF模型中具有信息互补的作用，使得二次检测结果图中具有更准确的变化边界定位和更少的噪声。

利用本发明得到的效果图如图6-图9所示，其中图6-图9为本发明在两个多光谱数据集上的检测结果，图6-图9中第一列为变化前图像，第二列为变化后图像，第三列为变化真值图，第四列为所提方法检测结果。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。