一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法

摘要

本发明提供了一种基于局部细节增强与边缘约束的高分辨遥感影像土地覆盖分类方法，引入了局部特征增强模块、语义分割任务与边缘检测任务的多任务学习模式、边缘注意力模块来恢复以及增强语义分割网络中的局部细节信息，解决传统土地覆盖分类方法中边缘不准确、不规则问题。局部特征增强模块基于自注意力机制，将语义分割网络编码器中的局部特征进行增强，并重新引入解码器中，恢复因下采样而损失的局部信息。语义分割任务与边缘检测任务的多任务学习模式基于语义分割任务与边缘检测任务的协同作用，使用多尺度的边缘注意力模块从边缘检测子网络中提取边缘信息，并注入语义分割子网络的解码器中，进一步增强语义分割子网络中特征的边缘信息。

说明书

技术领域

本发明属于高分辨率遥感影像土地覆盖分类领域，是通过语义分割网络自适应进行土地覆盖分类的方法。

背景技术

土地覆盖分类是依据遥感图像上的特征，识别图上各个像素所属的地物类别，进而获取整幅遥感图像的土地覆盖图的过程。土地覆盖图提供了基础地理信息数据支持，在许多重大应用中土地覆盖随时间变化的知识是必不可少的，例如城市区域规划，自然灾害监测，环境脆弱性评估等。随着卫星传感器技术的不断发展以及无人机航摄技术的成熟，高分辨率遥感影像凭借其纹理特征丰富的优势成为土地覆盖分类的主要数据源之一。

传统的土地覆盖分类通常需要获取大量人工先验知识，根据设计的各类地物的光谱特征进行提取，例如使用常见的归一化差分植被指数(Normalized DifferenceVegetation Index,NDVI)来对特定土地覆盖类型进行提取。由于遥感影像成像除了传感器自身的成像系统的影响以外,还受到诸如温度、大气、光照、气候条件等环境因子的影响，导致人工设计的特征难以适用于所有情况。近年来，随着深度学习技术的发展，图像分类、目标检测和语义分割等计算机视觉任务都有了相当多的应用。深度学习方法通过大量的样本和标注数据自适应地学习特征，无需进行特征的人工设计，避免了人工设计特征泛化能力弱的缺点。(参考文献：Zhu X X,Tuia D,Mou L,et al.Deep learning in remotesensing:Acomprehensive review and list of resources,IEEE Geoscience andRemote Sensing Magazine,2017.)

目前，在高分辨率遥感影像土地覆盖分类领域中，常使用计算机视觉中的语义分割方法。语义分割是指将图像的每一个像素都标注为一个语义类别。目前主流的语义分割方法是基于编码器-解码器的语义分割方法。基于编码器-解码器的语义分割方法沿用了图像分类方法中强大的特征提取器以提取深层次的语义特征，即对特征图进行降采样以捕获长距离的上下文关系。然而，与图像级的图像分类任务不同，语义分割是像素级的密集预测任务，需要将降采样之后的特征图恢复至原始输入图像尺寸。降采样带来的局部细节损失无法在升采样中完全恢复，在结果上通常表现为忽略小物体以及使得边缘模糊、不规则等。高分辨率遥感影像地物纹理信息丰富，包含大量的小地物以及物体边缘，该问题使得高分辨率遥感影像语义分割结果边缘不准确、不规则的问题较为明显，成为了制约高分辨率遥感影像语义分割精度的关键问题之一。因此，本发明的研究方法主要针对基于编码器-解码器的语义分割方法边缘不准确、不规则问题展开，旨在提升高分辨率遥感影像土地覆盖分类的边缘精度。

从语义分割网络结构设计上改善深度学习语义分割方法的边缘问题大约可以分为两条思路：一是从下采样的过程着手，减少下采样的次数。由于下采样中损失的局部细节信息无法完全恢复，一些方法会使用空洞卷积来代替下采样层。空洞卷积的优势在于在不需要降低分辨率的前提下扩大感受野，但是，空洞卷积是一种稀疏运算，连续使用空洞卷积会产生格网伪影。还有一类从下采样的过程着手的方法是使用空间金字塔池化来获取多尺度特征并进行多尺度特征融合，得到不同尺度感受野下的特征。然而这种方法计算量大，也不适合连续使用。二是从上采样的过程入手。这类方法使用对称的编码-解码结构，逐步恢复分辨率并重新引入编码器中的部分信息，来达到改善语义分割边缘问题的效果。目前，大多数研究基于自然影像，基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法的研究较少。

发明内容

针对现有技术中的问题，本发明提出一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法，引入了局部特征增强模块、语义分割任务与边缘检测任务的多任务学习模式、边缘注意力模块来恢复以及增强语义分割网络中的局部细节信息，提升高分辨率遥感影像土地覆盖分类精度。本发明所采用的技术方案共包含以下步骤：

步骤1，采用滑动窗口的方法对高分辨率遥感影像土地覆盖数据集中的图像及语义分割标签进行一定步长及尺寸的裁剪，同时使用数据增强方法，获取语义子分割网络训练的样本集；

步骤2，对裁剪好的标签数据使用Laplacian算子，获取边缘检测标签，裁剪好的图像块、语义分割标签、边缘检测标签即组成语义分割任务与边缘检测任务的多任务学习数据集；

步骤3，基于步骤2所得训练样本集，对基于局部细节增强与边缘约束的U-Net网络模型进行训练；

步骤3中所述基于局部细节增强与边缘约束的U-Net网络模型包括语义分割子网络与边缘检测子网络；

步骤4，对测试数据使用带重叠的分块策略，将每个影像块输入至步骤3中训练好的模型进行预测；

步骤5，基于步骤4得到的预测影像块结果，仅采用其未重叠部分的预测结果进行拼接，最后使用多类别的形态学滤波的后处理方法得到最终的土地覆盖分类结果。

进一步的，步骤3中所述基于局部细节增强与边缘约束的U-Net网络模型的输入为裁剪好的图像块，输入到语义分割子网络与边缘检测子网络中，其中语义分割子网络包含n个卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着一个批量归一化层和Relu激活函数层；第1至第n/2个卷积组属于编码器，它们之间均由下采样层连接；第n/2+1至第n个卷积组属于解码器，它们之间均由上采样层连接；(1，n)，(2，n-1)……(n/2，n/2+1)卷积组之间使用局部特征增强模块引入局部细节信息；边缘检测子网络包含m个卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着一个批量归一化层和Relu激活函数层，第1至第m/2个卷积组属于编码器，它们之间均由下采样层连接；第m/2+1至第m个卷积组属于解码器，它们之间均由上采样层连接；语义分割子网络的第n/2+1至第n卷积组与边缘检测子网络的第m/2+1至第m个卷积组之间使用边缘注意力模块引入边缘信息；其中m和n均为偶数，n-m＝2。

进一步的，所述局部特征增强模块的构建如下，

其输入为f

f′

其中，f′

进一步的，边缘注意力模块的输入为f

其中h，g分别表示1×1单卷积核卷积与1×1多卷积核卷积，Sig和Gap分别表示Sigmoid激活函数和全局平均池化操作，

进一步的，步骤3的具体实现包括以下子步骤；

步骤3.1，单独训练边缘检测子网络并进行验证，针对边缘检测任务设置所使用的加权二值交叉熵损失中的最佳正负样本平衡参数；

在边缘检测任务中，大部分像素属于非边缘类别，只有少部分像素属于边缘类别，是一个类别极不平衡的任务，为了进行正负样本的平衡，引入了加权二值交叉熵作为边缘检测子网络的损失函数；

L

其中，y是训练边缘检测数据集的标签，根据是否为边缘被标记为1或0，y′是边缘检测网络的推理结果，是该像素属于边缘的概率，取值范围为[0,1]，α为正负样本平衡参数；

步骤3.2，使用部分数据训练整个网络模型并进行验证，针对边缘检测任务和语义分割任务，设置最优的任务损失权重参数；

在整个学习网络的损失中引入了任务损失权重参数β；

L＝L

其中，语义分割任务的损失使用多类别交叉熵损失，边缘检测任务的损失使用上述的加权二值交叉熵损失，正负样本平衡参数α与任务损失权重参数β的确定方式由步骤3.1和步骤3.2中的实验来确定；

步骤3.3，使用所有训练数据进行训练整个网络模型。

进一步的，步骤4中重叠度为影像块长宽的一半。

进一步的，步骤4中使用增强策略用于增强预测斑块结果，增强策略包括使用旋转以及多尺度测试技术对每个影像块的预测结果进行增强。

本发明基于编码器-解码器的语义分割方法结果边缘不准确、不规则问题的原因——局部细节的损失，引入了局部特征增强模块、语义分割任务与边缘检测任务的多任务学习模式、边缘注意力模块来恢复以及增强语义分割网络中的局部细节信息。局部特征增强模块基于自注意力机制，将语义分割网络编码器中的局部特征进行增强，并重新引入解码器中，恢复因下采样而损失的局部信息。语义分割任务与边缘检测任务的多任务学习模式基于语义分割任务与边缘检测任务的协同作用，使用多尺度的边缘注意力模块从边缘检测子网络中提取边缘信息，并注入语义分割子网络的解码器中，进一步增强语义分割子网络中特征的边缘信息。本发明的有益效果是：本发明避免了传统的土地分类方法中人工设计特征的繁琐步骤，实现了“端对端”的操作；避免了基于编码器-解码器的语义分割方法导致的土地分类结果边缘不规则、不准确问题；通过对测试数据使用带重叠的分块策略与TTA策略进一步提高土地覆盖分类精度。

附图说明

图1为本发明实施例的基于局部细节增强与边缘约束的高分辨率遥感影像土匪利用分类方法的网络结构；

图2为本发明实施例的局部细节增强模块以及边缘注意力模块的网络结构；

图3为本发明实施例的测试时影像块拼接策略示意图，斜线部分为第二行第二列分块所取的预测范围；

图4为本发明实施例的训练阶段流程图。

图5为本发明实施例的测试阶段流程图。

图6为本发明实施例与现有方法的分类结果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

参见图1和图2，本发明实施例提供的一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法，包括以下步骤：

步骤1，采用滑动窗口的方法对高分辨率遥感影像土地覆盖数据集中的图像及语义分割标签进行一定步长及尺寸的裁剪，同时使用随机翻转、随机旋转的数据增强方法，获取语义分割子网络训练的样本集；

步骤2，对裁剪好的标签数据使用Laplacian算子，获取边缘检测标签，裁剪好的图像、语义分割标签、边缘检测标签即组成语义分割任务与边缘检测任务的多任务学习数据集。

步骤3，基于步骤2所得训练样本集，对基于局部细节增强与边缘约束的U-Net网络模型进行训练；

该模型由基于U-Net网络模型改进，并由语义分割子网络与边缘检测子网络组成。其中语义分割子网络使用局部特征增强模块对原始U-Net进行了改进以保留浅层特征的局部信息；此外，通过边缘注意力模块将边缘检测子网络中的边缘特征引入语义分割子网络，以增强语义分割子网络结果中物体边缘的准确性。该模型的输入为高分辨率遥感影像块，输入到语义分割子网络与边缘检测子网络中。其中语义分割子网络包含10个卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着一个批量归一化层和Relu激活函数层。第1至第5个卷积组属于编码器，其通道数分别为32，64，128，256，512，它们之间均由下采样层连接；第6至第10个卷积组属于解码器，其通道数分别为512，256，128，64，32，它们之间均由上采样层连接。(1，10)，(2，9)，(3，8)，(4，7)，(5，6)卷积组之间使用局部特征增强模块引入局部细节信息。边缘检测子网络包含8个卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着一个批量归一化层和Relu激活函数层。第1至第4个卷积组属于编码器，其通道数分别为32，64，128，256，它们之间均由下采样层连接；第5至第8个卷积组属于解码器，其通道数分别为256，128，64，32，它们之间均由上采样层连接。语义分割子网络的第6至第10卷积组与边缘检测子网络的第5至第8个卷积组之间使用边缘注意力模块引入边缘信息。

步骤4，对测试数据使用带重叠的分块策略(重叠度为小斑块长宽的一半)，将每块数据输入至步骤3所得的模型进行预测，并使用测试时增强(TTA)策略增强预测斑块结果；

考虑到高分辨率遥感影像尺寸较大，计算机的计算机资源存在瓶颈，本发明采用了高效的分块策略获取最终全分辨率的分割预测结果。TTA策略主要包括使用旋转以及多尺度测试技术对每个影像块的预测结果进行增强。

步骤5，基于步骤4得到的每个预测斑块，由于分块时具有一定的重叠度，仅使用其中间部分(长与宽为预测斑块的一半)的预测结果可拼接为整幅影像的预测结果，最后使用多类别的形态学滤波的后处理方法得到最终的土地覆盖分类结果。

由于每块图像的边缘附近缺乏充足的上下文信息，因此这些位置的分类精度较低，容易导致相邻斑块影像的预测结果不一致而引起的边界效应问题。分块与拼接的示意图如图3所示，通过步骤4带重叠的分块策略与步骤5的拼接方式，丢弃边缘附近的分割结果来缓解这一问题，同时避免采用对软分割结果重叠部分进行求和的方法带来的计算量。

步骤3采用基于局部细节增强与边缘约束的语义分割网络模型进行训练，包括以下子步骤：

步骤3.1，单独训练边缘检测子网络并进行验证，针对边缘检测任务设置所使用的加权二值交叉熵损失中的最佳正负样本平衡参数；

步骤3.2，使用部分数据训练整个网络并进行验证，针对多任务学习设置最优的任务权重平衡参数；

步骤3.3，使用所有训练数据进行训练整个网络。

本发明的网络模型包括语义分割子网络边缘检测子网络。在边缘检测任务中，大部分像素属于非边缘类别，只有少部分像素属于边缘类别，是一个类别极不平衡的任务。为了进行正负样本的平衡，本发明引入了加权二值交叉熵作为边缘检测子网络的损失函数。

L

其中，y是训练边缘检测数据集的标签，根据是否为边缘被标记为1或0。y′是边缘检测网络的推理结果，是该像素属于边缘的概率，取值范围为[0,1]。正负样本平衡参数α的引入是加权二值交叉熵损失函数与二值交叉熵损失函数的主要区别。它对正负样本对总损失的贡献进行了平衡，避免了网络更倾向于学习背景的问题，使得网络更有效地学习边缘信息。

本发明旨在利用语义分割任务与边缘检测任务的协同作用来改善语义分割结果的边缘问题。由于边缘检测任务只是作为一个辅助任务，为了平衡两个任务对整个网络损失的贡献，在整个多任务学习网络的损失中引入了任务损失权重参数β。

L＝L

其中，语义分割任务的损失使用多类别交叉熵损失，边缘检测任务的损失使用上述的加权二值交叉熵损失。正负样本平衡参数α与任务损失权重参数β的确定方式由步骤3中的一系列实验来确定。

局部细节增强模块是对原始U-Net网络中所使用的跳跃连接的进一步改进。然而，直接的跳跃连接在引入局部信息的同时，也会引入渐层特征中较弱的语义信息，导致部分误分类的现象。与原始U-Net网络中所使用的跳跃连接不同，局部细节增强模块通过使用空间自注意力机制进一步增强自身的局部细节信息，同时在跳跃连接后使用通道自注意力机制对编码器与解码器中的特征进行自适应的加权，使得网络更好地处理高低级别语义信息与局部细节信息之间的关系，在不削弱特征语义信息的前提下更好地引入局部细节信息，提高高分辨率遥感影像土地覆盖分类精度。其具体结构如图2所示。f

f′

本发明的另一出发点是利用语义分割任务与边缘检测任务的协同作用来改善语义分割结果的边缘问题。多任务学习中简单地将两个任务中的特征进行连接可能会降低特征的特异性，这可能会使得物体内部的分割出现错误。边缘注意力模块对这一点进行了改进，利用注意力机制，从边缘检测分支提取关键边缘信息，从而对语义分割网络解码器中的边缘特征进行多尺度增强，其具体结构如图2所示。边缘注意力模块通过对边缘检测子网络中的特征使用1×1卷积产生空间权重图，进而对语义分割子网络中的特征进行空间上的加权，以增强边缘信息；此后通过一个通道自注意力结构对语义分割子网络中的特征进行进一步的增强。

令语义分割子网络解码器中的特征图为f

下面一个具体的实施例进行说明：

步骤1，通过裁剪以及数据增强制作语义分割数据集；

本发明实施例的数据裁剪与增强具体实现包括以下子步骤：

步骤1.1，将整幅的高分辨率遥感影像及其对应的语义分割标签使用一定的尺寸(实施例采用512*512像素)及步长(实施例采用400像素)，即得到固定尺寸的数据；

步骤1.2，对上述裁剪好的数据使用随机翻转与随机旋转的数据增强方式将数据扩充至8倍；

步骤2，获取边缘检测标签以制作边缘检测数据集；

本发明实施例的多任务学习数据集生成具体实现包括以下子步骤：

步骤2.1，对裁剪及数据增强后的语义分割标签数据使用Laplacian算子，获取边缘检测标签，其中1为边缘，0为非边缘；

步骤2.2，将裁剪好的图像、语义分割标签、边缘检测标签即组成语义分割任务与边缘检测任务的多任务学习数据集；

步骤3，步骤3采用基于局部细节增强与边缘约束的语义分割网络模型进行训练，使用步骤2所得的语义分割任务与边缘检测任务的多任务学习数据集，得到训练后的土地覆盖分类模型；

本发明实施例的网络训练具体实现包括以下子步骤：

步骤3.1，单独训练边缘检测子网络并进行验证，针对边缘检测任务设置所使用的加权二值交叉熵损失中的最佳正负样本平衡参数α；

步骤3.2，使用部分数据训练整个多任务学习网络并进行验证，针对多任务学习设置最优的任务权重平衡参数β；

步骤3.3，使用所有训练数据对整个网络进行训练。

训练集被输入到网络中，基于梯度下降和反向传播算法进行迭代训练及优化；当迭代次数＝T

具体实施时，T

随机梯度下降和反向传播算法为现有技术，本发明不予赘述；

步骤4，基于步骤3训练好的高分辨率遥感影像土地覆盖分类模型进行测试，可以对输入高分遥感影像进行“分块——测试时数据增强——输入网络测试——拼接——精度评定”，高分辨率遥感影像土地覆盖分类；

本发明实施例的基于训练好的语义分割任务与边缘检测任务的多任务学习模型，对目标高分遥感影像进行土地覆盖分类。参见图5，其具体实现过程如下：

步骤4.1，选择一批与训练样本数据不重合的高分辨率遥感影像，设置分块尺寸(实施例中为1024*1024像素)与分块步长(实施例中为512像素)，此时分割块之间具有一定重叠度，可以通过丢弃每个块边缘附近的预测结果，避免影像边缘预测结果精度较低的影响；

步骤4.2，将分割块输入到测试时数据增强模块，然后输入到步骤4训练好的模型中，进行土地覆盖分类，输出结果；

步骤4.3，对步骤4.2所得分割块的土地覆盖分类预测图进行拼接，依据图3示例的仅采用每个分割快中间部分的预测结果进行拼接，得到最终的高分辨率遥感影像土地覆盖分类预测结果；

步骤4.4，对步骤4.3所得全景影像植被提取结果进行多类别形态学后处理，包括填补空洞、滤除小斑块等。

上述形态学后处理为现有技术，本发明不予赘述；

步骤4.5，进行精度指标计算。

土地覆盖分类的可视化结果转换为彩色标签(白色：不透水表面；蓝色：建筑；青色：低矮植被；绿色：树木；黄色：车辆；红色：杂物及背景)。根据土地覆盖地理真实标签与图堵盖分类结果，可以计算土地覆盖分类精度指标。其中精度指标包括每个类别的F1分数、mF1以及OA。通过计算这些指标检验本发明土地覆盖分类的精度，验证本发明提出的方法的有效性。

具体实施时，可采用计算机软件技术实现以上流程的自动运行。

采用本发明提供的以上流程，最终可得到BAM-UNet-sc结果——经过上述的方法提取出的土地覆盖分类结果图，通过土地覆盖分类结果图以及精度评价对比可确认本发明的有效性。

图6中Image是高分辨率航拍遥感影像，使用近红外波段、红光波段和绿光波段进行波段组合显示组合；Label为人工标注的土地覆盖类型，视作地面真值；U-Net为基准线方法；UNet-CBAM为使用自注意力机制U-Net结果；PSPNet为目前主流语义分割方法结果；UNet-sc为本发明中仅使用局部细节增强模块的结果；BAM-UNet-sc为本发明基于局部细节增强与边缘约束的结果。土地覆盖分类的可视化结果转换为彩色标签(白色：不透水表面；蓝色：建筑；青色：低矮植被；绿色：树木；黄色：车辆；红色：杂物及背景)

对应提取精度评价如下表。对比基准线方法，本发明基于局部细节增强与边缘约束的结果BAM-UNet-sc在评价指标上均有较为明显的提升，特别是在边缘较为明确的人造地物类别上提升显著，如车辆、建筑等类别。与其它主流语义分割方法相比，BAM-UNet-sc在边缘较为明确的人造地物类别上同样具有优势，并且在综合评价指标上也优于其他方法。这说明了本发明基于局部细节增强与边缘约束的方法对高分辨率遥感影像土地覆盖分类的有效性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。