一种基于多源异构遥感影像的语义分割方法

摘要

本发明公开了一种基于多源异构遥感影像的语义分割方法，涉及深度学习技术领域。具体包括：步骤1、对遥感影像数据集中的训练图片进行预处理；步骤2、搭建多级分割头网络，利用所述多级分割头网络完成对训练图片的特征提取以及分割预测，得到具有多级标签的分割结果；步骤3、对步骤2中搭建的多级分割头网络进行多级标签的监督训练，得到语义分割模型；步骤4、对待分割遥感影像进行分割；步骤5、通过融合多级分割头的预测结果得到最终分割结果。本发明的优点在于对于给定的遥感影像进行像素级的分类，从而精确给出语义分割的结果。

说明书

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于多源异构遥感影像的语义分割方法。

背景技术

基于遥感影像的地物要素分类是将地表相对固定的物体分类的系统体系，是地表地物要素观测与测绘的重要手段之一。它有着非常广泛的应用，例如：耕地红线预测、生态红线预测等。但是，因为受到同物异谱和同谱异物等现象的影响，遥感影像分析与处理的难度极大，目前主要采用人工方式提取地物要素，效率低，耗资巨大，迫切需要自动化、高精度的地物要素提取方法。

目前，卷积神经网络的迅速发展使得语义分割取得巨大进展。但是地物要素分类需要对给定的遥感影像进行精细化的像素级别的分类。总的来说，它有以下几个技术难点：1)遥感影像数据集的标签往往是多级的，如何用好这种类型的标签是一个重要的问题；2)遥感影像图片通常具有极高的分辨率，例如5000×5000像素，比常规的语义分割数据大很多；3)受到“同物异谱”、“同谱异物”等现象的影响，不同的遥感影像数据集的域(Domain)差别很大，这会使得模型在切换到新数据集的时候，精度可能会急剧下降；4)因为应用场景的限制，地物要素分类任务通常需要在受限的存储资源和计算资源下完成，对模型设计要求非常严苛。上述四个问题是遥感影像语义分割任务中仍然存在的四个困难，为了提升遥感影像语义分割的效率和准确率，解决以上四个问题是非常有必要的。

发明内容

本发明针对现有方法和技术的不足，提出一种基于多源异构遥感影像的语义分割方法，目的在于给定一张遥感影像，本发明将对该影像进行像素级的分类，从而精确给出语义分割的结果。

为实现上述发明目的，本发明采用以下技术方案：

一种基于多源异构遥感影像的语义分割方法，包括如下步骤：

步骤1、对遥感影像数据集中的训练图片进行预处理；

步骤2、搭建多级分割头网络，利用所述多级分割头网络对训练图片进行特征提取以及分割预测，得到具有多级标签的分割结果；

步骤3、对所述多级分割头网络进行多级标签的监督训练，得到语义分割模型；

步骤4、通过语义分割模型对待分割遥感影像进行分割；

步骤5、通过融合多级分割头的预测结果得到最终分割结果。

优选的，所述步骤1中的遥感影像数据集为多源异构数据集，包含N张训练图片，每张训练图片中至少有一种特定类型的语义区域，并且有一个描述该训练图片中所有语义区域的类别的标签。

优选的，所述步骤1中的预处理包括对遥感影像数据集中的训练图片进行数据增强：首先将训练图片按照0.7-1.3的比例随机放缩；然后将训练图片随机水平翻转和随机垂直翻转；最后从训练图片上随机裁剪出大小为256×256像素的样例，作为最终训练图片。

进一步优选的，所述步骤2中，多级分割头网络包括骨干网络模块和多级分割头模块。

进一步优选的，步骤2包括以下步骤：

步骤2-1、建立一个OFA骨干网络模块，对步骤1得到的最终训练图片进行特征提取，得到特征图(C

步骤2-2、建立一个多级分割头模块，包括两个具有不同类别数量的DeepLabV3+分割头，分别对应地物分类体系的一级类别和二级类别，则有一级类别分割头和二级类别分割头；将OFA骨干网络输出的特征图输入到多级分割头模块中，生成对应一级类别的分割结果R

进一步优选的，所述步骤3包括以下步骤：

步骤3-1、设置多级分割头网络的训练损失函数L为：

L＝0.5×L

其中L

其中，CE(·)表示交叉熵损失函数，pred

步骤3-2、利用步骤1中预处理过后的遥感影像数据集以及步骤3-1中设置的损失函数L，使用随机梯度下降法对步骤2中搭建的多级分割头网络进行监督训练。

进一步优选的，所述步骤4包括：通过步骤3中训练得到的语义分割模型对待分割遥感影像

进一步优选的，所述步骤5包括：

步骤5-1、从步骤4中得到的具有多级标签的分割结果R

步骤5-2、将上一步的预测结果通过Argmax函数，取概率最大的类别所对应的标签作为预测标签，生成最终分割结果。

进一步优选的，所述步骤5-1中，一级类别拆分为二级类别按如下公式计算：

其中，类别m是类别n的子类；

二级类别合并成一级类别按如下公式计算：

其中，类别n是类别m的父类。

与现有技术相比，本发明具有以下优点：

(1)本发明提出了一个多级分割头网络，在训练时可以对不同标注级别的标签进行监督，而且在测试时可以融合不同级别的预测结果，有效地提高了预测结果的精度；

(2)本发明在骨干网络浅层采用了批归一化(Batch Normalization，BN)和实例归一化(Instance Normalization，IN)结合的方案，这使得模型提取到的特征对域的变化不敏感，从而具有较强的域适应鲁棒性；

(3)本发明采用超轻量的骨干网络OFA，最小模型仅有2兆，在单张V100 GPU和图片大小为256×256像素的情况下，运行速度为每秒709帧，满足了绝大部分现实场景的需求。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明整体架构；

图2为本发明的样例输入与样例输出示意图；

图3为本发明的语义分割效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供了一种基于多源异构遥感影像的语义分割方法，包括以下步骤：

步骤1、对已有公共遥感影像数据集中的训练图片进行预处理：遥感影像数据集为多源异构数据集，可以具有不同的空间分辨率、具有多级类别标签，以及由不同的卫星拍摄，例如：NAIC-2020、GID-15、DeepGlobe或City-OSM等；对训练图片进行数据增强：(1)图片按照0.7-1.3的比例随机放缩；(2)将训练图片随机水平翻转和随机垂直翻转；(3)从图片上随机裁剪256×256的样例；(4)图片使用通道均值和标准差归一化。

步骤2、搭建多级分割头网络，结构如图1所示，包括OFA骨干网络模块和DeepLabV3+多级分割头模块；利用多级分割头网络完成对训练图片的特征提取以及分割预测，得到具有多级标签的分割结果，具体包括以下步骤：

步骤2-1、建立OFA骨干网络模块，对步骤1得到的训练图片进行特征提取，得到特征图(C

步骤2-2、建立多级分割头模块，包括两个具有不同类别数量的DeepLabV3+分割头，分别对应地物分类体系的一级类别和二级类别；将OFA骨干网络模块输出的特征图输入到多级分割头模块中，生成对应一级类别和二级类别的分割结果R

步骤3、模型的训练：首先是损失函数L的设计，利用步骤1中预处理过后的公开遥感影像数据集以及损失函数L，对步骤2搭建的多级分割头网络进行监督训练；包括以下步骤：

步骤3-1、设置多级分割头网络的训练损失函数L为：

L＝0.5×L

其中L

其中，CE(·)表示交叉熵损失函数，pred

步骤3-2、利用步骤1中预处理过后的遥感影像数据集以及步骤3-1中设置的损失函数L，使用随机梯度下降法对步骤2中搭建的多级分割头网络进行监督训练，典型的训练参数设置如表1所示：

表1

步骤4、通过步骤3中训练得到的语义分割模型对待分割遥感影像

表2

步骤5、通过多级分割头的标签融合得到最终分割结果，包括以下步骤：

步骤5-1、从步骤4中得到的具有多级标签的分割结果，由于多级标签存在父类-子类关系，因此可以将一级类别的分割结果R

其中，一级类别拆分为二级类别按如下公式计算：

其中，类别m是类别n的子类；

二级类别合并成一级类别按如下公式计算：

其中，类别n是类别m的父类；

步骤5-2、将上一步的预测结果通过Argmax函数，取概率最大的类别所对应的标签作为预测标签，生成最终分割结果，效果如图3所示。

本发明提供了一种基于多源异构遥感影像的语义分割方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。