一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统

摘要

本发明提供一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统，该方法包括如下步骤：采集高分辨率遥感影像和机载激光雷达点云；从高分辨率遥感影像和机载激光雷达点云中提取特征组合图像；对特征组合图像进行随机编辑得到多个训练样本对全卷积神经网络进行训练；使用网络深度为16层以上的卷积神经网络提取特征组合图像的多层级特征，并对多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图；对低分辨率的土地覆盖分类标注图进行多次上采样操作，利用注意力引导特征融合模块和多分支感知特征融合模块进行特征选取融合，获得高分辨率的土地覆盖分类标注图。

说明书

技术领域

本发明涉及遥感科学和计算机视觉技术领域，特别涉及一种基于多源遥感数据的土地覆盖分类标注图获取方法、存储介质及系统。

背景技术

随着遥感对地观测技术的快速发展，先进的机载传感器为我们提供了亚米级甚至厘米级的高空间分辨率遥感数据，如高分辨率光学传感器和激光雷达探测器分别提供了高分辨率遥感图像和激光雷达点云。利用高分辨率遥感图像和激光雷达点云等多源遥感数据进行对地观测，已成为我们了解地球生态环境和人类活动的重要方式。作为遥感科学和计算机视觉的前沿研究方向之一，对多源高分辨率遥感数据进行语义分割(像元分类)从而获得地表覆盖信息，可以在国土空间规划、精细农业等科学和生产领域发挥重要作用。然而多源高分辨率遥感数据的高度细节化和光谱可分性弱化等问题，给语义分割任务带来了极大挑战。

过去十几年里，许多新型的遥感图像语义分割方法相继被提出，包括基于统计机器学习的分类方法以及面向对象的分类方法。这些方法对低/中层次的手工设计特征过于依赖，有时难以应对复杂场景下的地物分类问题。近年来，深度卷积神经网络(CNNs)在高分辨率遥感图像处理和分析中得到广泛应用，例如场景分类、地物目标识别以及语义分割等。在语义分割应用中，从只对输入图像中心像元进行分类的CNNs模型逐步发展到了对输入图像所有像元进行密集分类的全卷积神经网络(FCNs)模型。如今，全卷积神经网络(FCNs)模型已成为了高分辨率遥感图像土地覆盖分类的重要手段之一。

全卷积神经网络(FCNs)模型通常具有编码器——解码器的结构，可进行端到端的语义分割训练和预测，避免了繁琐的特征设计以及图像预先分割等操作。然而，全卷积神经网络(FCNs)模型分类结果比较粗糙，其原因是它在学习图像高层次语义特征时丢失了大量的空间细节信息，导致在上采样或反卷积过程中无法有效恢复分割对象的边缘细节，致使无法获得高分辨率的土地覆盖分类标注图。

发明内容

本发明要解决的技术问题是如何获取高分辨率的土地覆盖分类标注图。

为解决上述技术问题，本发明提供一种基于多源遥感数据的土地覆盖分类标注图获取方法，包括如下步骤：

S1.采集多源遥感数据，所述多源遥感数据包括高分辨率遥感影像和机载激光雷达点云；

S2.从所述高分辨率遥感影像和所述机载激光雷达点云中提取特征组合图像；

S3.对所述特征组合图像进行随机编辑得到多个训练样本，将多个训练样本输入到全卷积神经网络中对所述全卷积神经网络进行训练，使得所述全卷积神经网络能够表达所输入的特征组合图像的多层级特征；

S4.使用网络深度为16层以上的卷积神经网络从所述全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对所述多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图；

S5.对所述低分辨率的土地覆盖分类标注图进行多次上采样操作，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作的过程中，利用所述全卷积神经网络的注意力引导特征融合模块，对所述多层级特征进行特征选取与特征融合，每次对所述低分辨率的土地覆盖分类标注图进行上采样操作之后，利用所述全卷积神经网络的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行相互融合，获得高分辨率的土地覆盖分类标注图。

优选地，所述步骤S2具体地：从所述高分辨率遥感影像中提取红、绿、蓝三波段数据，从所述机载激光雷达点云中提取归一化数字表面模型，将空间分辨率一致的红、绿、蓝三波段数据和归一化数字表面模型进行叠置组合，得到特征组合图像。

优选地，所述“从机载激光雷达点云中提取归一化数字表面模型”具体地：剔除所述机载激光雷达点云中的离散异常点；区分所述机载激光雷达点云中的地面点和非地面点；通过自然邻域插值法分别将地面点和非地面点栅格化成数字高程模型和数字表面模型，计算得到数字高程模型和数字表面模型之间的差值，该差值即为归一化数字表面模型。

优选地，所述步骤S3中，对所述特征组合图像所进行的随机编辑操作包括随机裁剪、旋转、翻转和亮度调整。

优选地，所述网络深度为16层以上的卷积神经网络所经过的卷积模块替换改进具体为：将原始网络深度为16层以上的卷积神经网络中的全连接层以及Softmax分类层替换成两个新增的卷积模块，两个新增的卷积模块均输出通道数为1024的特征图；在第三个卷积模块到最后一个卷积模块之后添加一个Dropout层。

优选地，所述注意力引导特征融合模块用于缩小网络深度为16层以上的卷积神经网络中不同层级特征之间的语义差异，并辅助选取网络深度为16层以上的卷积神经网络中的重要特征；在所述步骤S5中，所述注意力引导特征融合模块的输入分别为网络深度为16层以上的卷积神经网络中的低层级特征和高层级特征；所述注意力引导特征融合模块通过“聚合”与“扩张”操作将高层级特征“压缩”成一维加权向量，并将一维权重向量与低层级特征进行相乘，得到加权融合后的特征；所述加权融合后的特征经过卷积操作后传递给了多分支感知特征融合模块。

优选地，所述多分支感知特征融合模块的输入特征分别是上采样后的土地覆盖分类标注图和由注意力引导特征融合模块输出并经过选取后的加权特征；在所述步骤S5中，所述多分支感知特征融合模块先将两种输入特征进行相加操作，然后经过“聚合”与“扩张”操作得到各自的特征权重向量，再分别将得到的特征权重向量与两种输入特征进行相乘(加权)，然后将两种加权后的输入特征进行相加，得到融合后的特征，再通过卷积操作将融合后的特征转化得到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。

优选地，在所述步骤S5中，所述上采样操作进行五次。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的土地覆盖分类标注图获取方法。

本发明还提供一种基于多源遥感数据的土地覆盖分类标注图获取系统，包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质如上所述。

本发明具有以下有益效果：在输出低分辨率的土地覆盖分类标注图之后，对所述低分辨率的土地覆盖分类标注图进行多次上采样操作，每次上采样操作过程中，利用能缩小不同层级特征之间的语义差异并辅助选取重要特征的注意力引导特征融合模块，对所述多层级特征进行特征选取与特征融合，并利用能够将上采样后的标注图与选取到的特征进行融合的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行融合，就能获取到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是基于多源遥感数据的土地覆盖分类标注图获取方法的流程图；

图2是全卷积神经网络训练过程示例图；

图3是全卷积神经网络的架构图；

图4是注意力引导特征融合模块的示例图；

图5是多分支感知特征融合模块的示例图。

具体实施方式

下面将结合实施例及附图，对本发明创造的技术方案进行详细描述，显然，所描述的实施例仅仅是本发明创造的一部分实施例，而不是全部的实施例。基于本发明创造中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明创造保护的范围。

本实施例提供一种基于多源遥感数据的土地覆盖分类标注图获取系统，该系统包括机载传感器、全卷积神经网络、相互连接的计算机可读存储介质和处理器，该机载传感器包括高分辨率光学传感器和激光雷达探测器，该全卷积神经网络包括注意力引导特征融合模块和多分支感知特征融合模块，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如图1所示的基于多源遥感数据的土地覆盖分类标注图获取方法，该方法具体包括如下步骤S1、S2、S3、S4、S5：

S1.采集多源遥感数据，该多源遥感数据包括高分辨率遥感影像和机载激光雷达点云。

机载传感器是安装在飞机或无人机上的遥感对地探测传感器，高分辨率光学传感器和激光雷达探测器都是常规的机载传感器，利用机载传感器可采集多源遥感数据，例如高分辨率遥感影像、机载激光雷达点云。本实施例中，利用高分辨率光学传感器对地观测采集得到高分辨率遥感影像，利用机载激光雷达探测器对地观测采集得到机载激光雷达点云。其中高分辨率遥感影像指的是垂直分辨率大于等于720的遥感影像。

S2.从高分辨率遥感影像和机载激光雷达点云中提取特征组合图像。

高分辨率遥感影像具有数据量大、光谱波段少、地物类型多样、目标尺度不一、几何纹理特征丰富、高度信息缺失等特点，其“同物异谱、同谱异物”现象也极大地增加了影像解译的难度。同物异谱是指同一种地物由于地理区位不同、环境因素不同等，在影像上表现形式不一；同谱异物是指不同地物在影像上显示表现形式相同。机载激光雷达点云通常包含三维点云坐标、回波强度、回波次数以及扫描倾角等信息。三维点云坐标是根据GPS接收机、惯性测量单元(INS)以及激光测距仪所记录的数据解算出来的，具有离散特性，而且竖直方向坐标精度一般高于水平方向的精度。

本实施例通过组合高分辨率遥感影像和机载激光雷达点云这两种异构数据，充分发挥两者特征互补的优势，特征组合图像。为此，需要先从高分辨率遥感影像中提取红(R)、绿(G)、蓝(B)三波段数据，并从机载激光雷达点云中提取归一化数字表面模型(nDSM)，再将红(R)、绿(G)、蓝(B)三波段数据与归一化数字表面模型(nDSM)进行叠置组合以得到特征组合。

其中，从机载激光雷达点云中提取归一化数字表面模型(nDSM)具体包括以下步骤：

(1)剔除机载激光雷达点云中的离散异常点；

(2)区分机载激光雷达点云中的地面点和非地面点；

(3)通过自然邻域插值法分别将地面点和非地面点栅格化成数字高程模型(DEM)和数字表面模型(DSM)；

(4)计算得到数字高程模型(DEM)和数字表面模型(DSM)之间的差值，该差值即为归一化数字表面模型(nDSM)。

所得到的归一化数字表面模型(nDSM)空间分辨率与高分辨率遥感影像一致，而红(R)、绿(G)和蓝(B)三波段数据可直接从高分辨率遥感影像中提取得到，因此可将归一化数字表面模型(nDSM)与红(R)、绿(G)和蓝(B)三波段数据进行叠置组合，得到特征组合图像(R-G-B-nDSM)，以该特征组合图像(R-G-B-nDSM)作为全卷积神经网络的输入数据源。

S3.对特征组合图像进行随机编辑操作得到多个训练样本，将多个训练样本输入到全卷积神经网络中对全卷积神经网络进行训练，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征。

对全卷积神经网络进行训练需要大量的训练样本，因此在向全卷积神经网络输入特征组合图像之前，需要对特征组合图像随机进行裁剪、旋转、翻转、亮度调整等图像编辑操作，得到大量的训练样本，例如见图2：采用人工或半自动化的方式对遥感数据覆盖范围内的地物特征组合图像进行分类标注，并栅格化成二值或多值的单波段标签图像，背景类别一般用0表示；分别将输入的特征组合图像以及标签图像裁剪成480×480像元大小的多个训练样本，将多个训练样本按照50％、10％、40％的比例划分成训练集、验证集以及测试集，用于全卷积神经网络的训练。这样在对全卷积神经网络进行训练时，每次输入到全卷积神经网络中的训练样本都有不同的组合形式，这样有助于增强训练样本的特征多样性，避免训练时出现过拟合现象。

在对全卷积神经网络进行训练之后，全卷积神经网络中基于输入的特征组合图像学习能反映图像特征的神经元权重值，这样全卷积神经网络中原本随机化产生的神经元权重值就变得规则化，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征。

S4.使用网络深度16层以上且经过卷积模块替换改进的卷积神经网络从全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对多层级特征进行卷积操作，输出低分辨率的土地覆盖分类标注图。

VGGNet是一种网络深度可达到16～19层的卷积神经网络(包括VGG-16网络、VGG-19网络)，其最大特点是采用了带有小尺寸滤波器(3×3)的卷积层进行图像特征提取。VGGNet主要由5个卷积模块、3个全连接层以及1个Softmax分类层构成，每个卷积模块分别含有1～4个卷积层，卷积层后面均连接ReLU激励函数。卷积模块内部运算后得到与输入特征相同大小的特征图，而在上一个卷积模块和下一个卷积模块之间则利用最大池化层进行二倍下采样。整个网络共进行了5次池化操作，因此，特征图的大小缩小到原来的1/32大小，但特征通道数从原来的3个提升到了512个。最后利用三个全连接层将高维特征图转换成高维特征向量(共4096维)，并通过Softmax层计算所属类别概率。随着网络深度增加到16层(VGG-16)，VGGNet的图像分类性能达到峰值，此后分类精度趋于饱和。

在本实施例中，如图3所示，对VGG-16网络(即网络深度为16层的卷积神经网络)作出如下改进：将原始VGG-16网络中的全连接层以及Softmax分类层替换成两个新增的卷积模块，两个新增的卷积模块均输出通道数为1024的特征图；在第三个卷积模块到最后一个卷积模块之后添加一个Dropout层。

然后采用改进后的VGG-16网络通过多次卷积和池化操作从全卷积神经网络中学习所输入的特征组合图像的多层级特征，并在最后一个卷积模块中输出通道数为1024的、尺寸大小为输入图像1/32的特征图，然后通过卷积操作将输出的特征图转化成低分辨率的土地覆盖分类标注图以进行输出。在转化过程中特征图的尺寸大小不变，但通道数从1024变成了与分类类别数一致。

S5.对低分辨率的土地覆盖分类标注图进行多次上采样操作，每次对低分辨率的土地覆盖分类标注图进行上采样操作的过程中，利用全卷积神经网络的注意力引导特征融合模块，对多层级特征进行特征选取与特征融合，每次对低分辨率的土地覆盖分类标注图进行上采样操作之后，利用全卷积神经网络的多分支感知特征融合模块，对上采样后的土地覆盖分类标注图与选取到的特征进行相互融合，获得高分辨率的土地覆盖分类标注图。

当从改进后的VGG-16网络中得到低分辨率的土地覆盖分类标注图之后，对低分辨率的土地覆盖分类标注图进行五次二倍上采样操作(即双线性插值法)和卷积操作以逐步扩大该低分辨率的土地覆盖分类标注图，从而得到原始分辨率的输出结果。然而，由于VGG-16网络的低层级特征在上采样过程中没有被充分利用，使得大量图像空间细节信息丢失，导致网络输出的分类结果相当粗糙。为此，本实施例中设计了两种类型的特征融合模块来优化低分辨率的土地覆盖分类标注图。其中，第一种特征融合模块是注意力引导特征融合模块，如图4所示，该注意力引导特征融合模块(见图4b)主要借鉴了“聚合-扩张”(Squeeze-and-excitation，SE)模块(见图4a)，借助通道注意力机制来实现VGG-16网络中上下层级特征的选取与融合，并以递归嵌套的方式应用到逐次上采样过程中，这种特征融合方式能有效地提高低层级特征的分类确信度，并对低层级特征进行重要性排序，以减少非重要特征在网络中的传递。第二种特征融合模块是多分支感知特征融合模块(见图5)，它能够将上采样的标注图与加权融合后的选取特征进行融合，生成尺寸更大、细节信息更丰富的标注图。

下面对两种特征融合模块分别进行说明：

(1)注意力引导特征融合模块主要用于缩小VGG-16网络中不同层级特征之间的语义差异，并辅助选取VGG-16网络中的重要特征。该模块的输入分别为VGG-16网络中的低层级特征和高层级特征(见图4b)。

具体地，假定

g′＝F

式中，g′为压缩后得到的权重向量；

v′

式中，

(2)多分支感知特征融合模块(见图5)与注意力引导特征融合模块相似，均借鉴了SE模块的通道注意力机制。所不同的是，多分支感知特征融合模块的输入分别是上采样后的标注图以及注意力引导特征融合模块输出并经过选取后的网络传递过来的加权特征，它们所涵盖的分类语义信息和空间细节信息差异明显，关联性较弱。因此，在进行特征融合时需要重点处理。本发明实施例结合了Inception Net的多分支结构和SE模块，基于通道注意力机制对不同分支的输入进行加权与融合，最终生成尺寸更大、细节信息更丰富的高分辨率的土地覆盖分类标注图。具体过程如下：

多分支感知特征融合模块的输入特征分别为二倍上采样后的土地覆盖分类标注图以及由注意力引导特征融合模块输出并经过选取后的特征；这两种输入特征首先进行相加操作，然后经过“聚合”与“扩张”操作得到各自的特征权重向量；分别将得到的特征权重向量与两种输入特征进行相乘(加权)，然后将两种加权后的输入特征进行相加，得到融合后的特征；通过卷积操作将融合后的特征转化得到更清晰的、尺寸更大的高分辨率的土地覆盖分类标注图。

因此，对所述低分辨率的土地覆盖分类标注图进行多次上采样操作时，在每次上采样过程中，先利用注意力引导特征融合模块对多层级特征进行选取与融合，并利用多分支感知特征融合模块将上采样后的土地覆盖分类标注图与选取到的特征进行融合，以优化低分辨率标注图，该上采样过程迭代执行五次之后，得到高分辨率的土地覆盖分类标注图。

如图3所示，全卷积神经网络在渐进上采样过程中产生了六个尺寸逐渐递大的标注图，这些不同尺寸的标注图其特征通道数与分类类别数相同。为了进行监督训练，最直接的做法是计算最后一个尺寸的标注图(与原图大小一致)与标签图像之间的分类损失。然而，这种做法可能无法充分顾及不同尺寸标注图之间的联系，或者有效利用分割地物在不同尺寸上的几何相似性。因此，本发明实施例将多尺度监督分类方法应用于全卷积神经网络中，使得每个尺寸下的标注图都进行监督分类。

假设

式中，UP

逐一得到上采样标注图F

式中，k表示真实分类类别；N表示输入图像的像元个数；

最后，将所有尺寸标注图的损失值求和，得到网络前向传播的总损失，然后采用反向传播算法更新网络参数。

综上，本实施例中将多源高分辨率遥感数据与深度语义分割技术相结合，用于获取高分辨率的土地覆盖分类标注图。首先，从高分辨率遥感影像和机载激光雷达点云等多源遥感数据中获得与土地覆盖分类相关的特征组合图像；然后通过不同的图像增强方式对特征组合图像对进行扩增，以增强特征组合图像的多样性；接着，将特征组合图像输入到全卷积神经网络中，对全卷积神经网络进行训练，使得全卷积神经网络能够表达所输入的特征组合图像的多层级特征，然后使用改进后的VGG-16从全卷积神经网络中提取所输入的特征组合图像的多层级特征，并对多层级特征进行卷积操作以输出低分辨率的土地覆盖分类标注图；最后，结合两种不同类型的特征融合模块对低分辨率的土地覆盖分类标注图进行逐步优化，从而获得高分辨率的土地覆盖分类标注图。与现有分类方法相比，本实施例所提供的方法能搞获得高分辨率的土地覆盖分类标注图。

本领域普通技术人员可理解上述实施例的各种方法中全部或部分步骤是可以通过计算机程序来指令相关的硬件完成的，该计算机程序可以存储于任一计算机可读存储介质中，计算机可读存储介质包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

另外，以上对本实施例所提供的面向多源遥感数据城市土地覆盖分类的全卷积神经网络进行了详细说明，并对本发明的技术原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明创造的方法及其核心思想；同时，对于本领域的普通技术人员，依据本发明创造的思想，在具体实施方式及应用范围上均会有改变之处。综上，以上实施例内容不应理解为对本发明的限制。