一种利用组合损失函数HRnet解译高分辨率遥感影像的方法

摘要

本发明提供一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，包括以下步骤：高分辨率遥感影像土地利用分类数据集—语义分隔网络—分类结果—结果评价；本发明使用深度学习算法进行高分辨率遥感影像土地利用分类，一方面能够在很大程度上能够减少人工目视解译过程中所投入人力、物力，能够快速高效的使用计算机进行高分辨率遥感影像的解译任务，且在很大程度上能够避免人为提取特征过程中的主观行为，提高分类的精度。

说明书

技术领域

本发明涉及土地利用分类领域，尤其涉及一种利用组合损失函数HRnet解译高分辨率遥感影像的方法。

背景技术

高分辨率遥感影像的土地利用分类是土地覆被提取领域的基础问题，由于土地利用分类标准受自然和社会因素双重影响，使得不同用地类型信息存在极大的互扰性，而如何进一步提高土地利用的分类精度是目前研究中面临的问题。人工解译是最常用，也是精度较高的一种方法，依赖于地物的大小、形状、颜色和色调、阴影、位置、纹理、分辨率、地貌等特征，将影像图划分为不同的地类，但是该方法要求解译者有丰富的经验，主观性强，工作量大，并且有些复杂的遥感信息靠人的视力很难去辨别。尤其在面对海量的遥感影像土地利用分类时，该方法费时、费力，不实用。因此借助计算机提高提取遥感图像信息的效率便成为解决这一瓶颈的关键。

高分辨率遥感影像的土地分类实际对应于计算机视觉领域内的语义分割任务，实现像素级别的划分。常用的语义分割算法有很多。Long等人于2014年提出了全卷积神经网络(Fully Convolutional Networks,FCN)，首次提出了有效的语义分割网络结构，为其发展奠定了基础。该网络将卷积神经网络中的全连接层改为卷积层，通过卷积层和池化层来提取图像中的特征，再通过反卷积上采样来恢复原图，实现了像素级别的输出，是较早应用于遥感影像语义分割的深度学习模型。但是在提取特征时下采样到原来图像的32倍，导致细节信息丢失严重，得到的分割结果比较粗糙。2015年Ronneberger等人提出的U-net模型是对FCN网络的扩展，主要改进为引入对称的编码-解码(Encoder-Decoder)结构，编码器(Encoder)用于提取特征，解码器(Decoder)用来恢复原图，分割精度有所提高，获得了学者们的认可并进行了相应的应用和改进，但该模型在特征提取过程中丢失了空间细节位置信息，分割精度受限。Deeplab系列网络提出多尺度信息的融合方案，使用了空洞卷积(AtrousConvolutio)和带孔的空间金字塔池化(Atrous Spatial Pyramid Pooling,ASSP)层用来提高语义分割的精度。但是遥感影像中包含复杂的空间信息，面对提取不同尺寸大小的地物时，Deeplab网络提取效果不尽人意，对于小尺度地物错分漏分的现象仍然严重，并且在编码过程中分辨率不断的降低，边缘信息丢失较多，得到的分割结果较粗糙，对地物边界的定位不够准确。

2019年，HRnet(High-resolution network)模型的出现为图像语义分割提供了新的思路。该模型提出了一种多分支的网络结构，在各分支上同时维持从高分辨率到低分辨率的多个分辨率特征，从而获得多尺度特征的有效融合，得到更丰富的上下文信息，在遥感影像的语义分割任务中有较好的应用潜力。但在使用HRnet模型进行高分辨率的遥感影像分割任务时需要找到一个合适的损失函数来引导模型的前进方向，并在一定程度上解决影像样本不平衡问题，从而提高模型分割精度。

语义分割算法常用的损失函数为交叉熵损失函数，针对在研究区内存在有许多背景单一的大面积区域时，使用该损失函数会导致对背景复杂的训练样本训练不充分，因而不能准确的将复杂地类分类出来。

目前1米分辨率的遥感影像应用越来越广泛，且已有的大部分语义分割模型方法中背景复杂的训练样本训练不充分、复杂地类难分辨等问题，本专利从模型的筛选、损失函数的改进入手，针对1米分辨率的遥感影像精准进行地类分类的方法。

损失函数是衡量模型训练好坏的重要标准，一个有效的损失函数有利于指导模型在训练过程中的前进方向。交叉熵损失函数常用于遥感语义分割任务中，通过每一像素点的损失得到总体的损失，再进行反向传播，通过梯度下降来调整网络中的各项权值。但是随着训练的进行，越来越多的样本会被正确的分类，对于易分类的样本，其概率值接近于标签值，损失较少，但是在整体样本中占有较大的比例，所以总体损失也较少；对于难分类的样本，概率值与标签值相差较大，所以损失较大，占总样本比例较小。大量易分类样本点会导致梯度下降的方向，因而是用交叉熵损失函数会使得对难分类样本训练不充分。因此本专利提出一种新的组合损失函数来改善背景复杂的训练样本训练不充分的问题。

卷积神经网络以原始数据为输入，经过卷积层、池化层、非线性激活等一系列操作，得到原始数据抽象后的特征。在以卷积神经网络为基础的语义分割训练任务中，通常以降低损失函数为代价来找到模型学习参数的最优值，因而不同的损失函数对分割任务的精度有不同的影响。在高分辨率遥感图像分割任务中，往往需要从一副影像图中提取不同的地类，如耕地、林地、建筑用地、水体等。地类复杂、边界无明显的界定且要提取不同尺寸大小的地类时，使用交叉熵损失函数的语义分割网络分割结果精度低，错分、漏分现象严重，已不能满足高分辨率遥感影像的土地分类任务。在现有的语义分割网络中，提取特征的过程中通常先降低特征图分辨率再恢复分辨率，得到了丰富的语义信息，却丢失了影像中的空间细节信息，导致小尺寸地物不能准确的被提取出来。

发明内容

本发明的目的在于提供一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，以解决上述技术问题。

本发明为解决上述技术问题，采用以下技术方案来实现：

一种利用组合损失函数HRnet解译高分辨率遥感影像的方法，包括以下步骤：

高分辨率遥感影像土地利用分类数据集—语义分隔网络—分类结果—结果评价；

具体的：

高分辨率遥感影像土地利用分类数据集来自于如下方面：土地利用现状数据—高分辨率遥感影像—分类体系表；

语义分隔网络信息由Deeplab、Unet、HRnet测试并得到分类结果：

Hrnet基于损失函数，且定义的损失函数为：L＝0.8×L

优选的，标签数据的制作依赖于分类体系表，所得数据均为一定尺寸大小的图片，剔除模糊、不清楚的样本数据，得到高质量的样本数据。

优选的，语义分隔网络得到的数据划分为训练样本、验证样本、测试样本，训练样本用于训练模型，验证样本用来对模型进行优化，测试样本用来表示模型的泛化能力，使用基于损失函数的HRnet对训练样本进行训练，用验证样本优化模型参数，使得模型达到最优的效果，最优化即表示损失函数达到最小值。

优选的，通过测试数据对模型的泛化能力进行测定，并从定性、定量的角度进行模型的评价，用得到的模型进行大面积范围内的影像解译或者土地利用分类，得到分类的结果。

本发明的有益效果是：

1.本发明使用深度学习算法进行高分辨率遥感影像土地利用分类，一方面能够在很大程度上能够减少人工目视解译过程中所投入人力、物力，能够快速高效的使用计算机进行高分辨率遥感影像的解译任务，且在很大程度上能够避免人为提取特征过程中的主观行为，提高分类的精度。

2.在训练一组样本的过程中，通过计算损失函数的代价来找到模型中学习参数的优化值。针对不同的任务选取不同的损失函数。Cross Entropy Loss常用于多分类任务中，而Lovasz Softmax Loss对于小尺度地物的提取有更显著的表现。土地利用分类任务对不同尺度大小的地物进行自动提取，因此选用Cross Entropy Loss+Lovasz Softmax Loss的方法来对HRnet模型进行优化，Cross Entropy Loss使超参数收敛到最优值，LovaszSoftmax Loss优化MIoU，获得更好的预测精度。在结合中，对不同loss进行权重配比，通过实验发现，Cross Entropy Loss为0.8，Lovasz Softmax Loss为0.2时能够取得一个好的分割效果。

3.使用该损失函数的分割算法对样本数据进行充分的训练，对地类的细节信息更加的敏感，优化效果更显著，分类的精度较高。

附图说明

图1为本发明一种利用组合损失函数HRnet解译高分辨率遥感影像的方法的流程示意图；

图2为本发明不同模型的区域分割效果示意图；

图3为本发明不同模型的区域分割效果示意图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例和附图，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。

下面结合附图描述本发明的具体实施例。

实施例

以甘肃省兰州市红古区为研究区，以高分辨率影像图和土地利用成果数据为基础数据。影像图分辨率为1米；土地利用成果数据是人工解译后的shp格式数据，用arcgis pro将影像图和土地覆被数据分割为大小256×256的图片以便进行网络训练。由于该区域内有大面积的山地，导致草地占地面积较广，占总面积的67.3％，为了防止该地类在样本数据中分布不均衡而导致过拟合，因而减少了草地采样区域，得到样本数据总量为6223张图片，其中训练集占60％，测试集占20％，验证集占20％。采集的样本数据量较小，为了在训练中能充分学习到地物的特征，对数据集进行数据增强(上下翻转，随机裁剪，角度翻转，原图做亮度、对比度、饱和度的色彩调整等)方法增大样本数据量。标签中土地利用分类体系如表1所示：

表1土地利用分类体系构建

试验配置：本次实验中的编程语言为Python3.7，模型框架为paddlepaddle1.8.0，实验中设置bachsize为8，优化算法为SGD，momentum设置为0.9，学习率下降方法采用poly，下降指数设置为0.9，epoch设置为500，损失函数采用(1)Cross Entropy Loss；(2)LovaszSoftmax Loss与Cross Entropy Loss结合。

评价方法：为了客观的评估模型的分类效果，本研究中选取语义分割任务中常用的三种指标进行评估。分别为PA(Pixel Accuracy)，MIoU(Mean Intersection overUnion)，Kappa。

式中N为参与统计的总像元数量，为分割样本的总类别数，nij为预测结果中属于第i类但被预测为第j类的n

结果显示：详请见表2：

表2不同模型的评价指标

注：+表示损失函数的组合，其中HRnet+为本专利方法

从表2可以看出分割精度HRnet+>Unet+>HRnet>Unet>Deeplab+>Deeplab。HRnet模型在提取特征的过程中能够始终保持高分辨率，同时进行多尺度的融合，在遥感影像的地类提取任务中表现的更加突出；同时使用Lovase Softmax Loss与Cross Entropy Loss相结合的方法相比于只使用Cross Entropy Loss，提高了分割的精度，在遥感影像地物的提取中效果更好。

从图2和图3可以看出HRnet模型的整体分割效果最为理想，每一类地物能够被准确的分类，且分割结果能够清晰体现出地物的特征，同时能够准确提取小尺寸地物，边缘优化性能显著。Deeplab模型与Unet模型都不同程度地出现了地类错分漏分、小尺度地物的提取效果不理想及存在一些碎小零星的图斑的问题，无法取得较好的研究效果。由于LovaseSoftmax Loss引入了子模函数，可以使其保留更完整的细节信息，在进行损失函数改进的情况下，Deeplab+、Unet+和HRnet+模型分割能力得到了提高，并且边缘优化效果也更加的显著。

相比于常用的交叉熵损失函数，本专利提出的损失函数组合能够提高网络模型的分割能力，且分割结果的边缘优化也更加的显著。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。