基于无人机影像与U-Net的单木树冠检测与分割方法

摘要

本发明提供了基于无人机影像与U‑Net的单木树冠检测与分割方法，涉及单木分割技术领域。该方法包括采集不同场景多树种的无人机影像数据并制作正射影像；截取不同场景对应的正射影像子图，并对正射影像子图进行处理获得所需的样本数据，再对样本数据进行数据增强获得样本数据集；将样本数据集划分为训练集与测试集；获取U‑Net模型，利用训练集和测试集分别对其进行训练和验证，利用混合Loss函数对每次训练的U‑Net模型的预测结果进行监督，直至混合Loss函数稳定不再下降时停止U‑Net模型的训练，获得训练好的U‑Net模型；从所述正射影像上再次截取正射影像子图分别输入训练好的U‑Net模型中，完成正射影像子图上的单木树冠检测与分割。该方法对于很多场景的多树种的树冠检测效果均表现较高精度。

说明书

技术领域

本发明涉及单木分割技术领域，更具体地，涉及一种基于无人机影像与U-Net的单木树冠检测与分割方法。

背景技术

森林资源在维护国家生态安全中发挥着重要作用，及时掌握森林资源现状及动态变化十分必要。要实现森林资源的精准量测，势必会落实到单木对象的研究上。而树冠是反应树木信息最直接的部位，利用单木树冠信息可以有效识别树种、检测树木长势等。

近年来，无人机遥感因具有高分辨率、高时效性以及影像获取便捷等优势而逐渐应用于单木树冠信息提取等领域。目前基于无人机遥感获取特定场景和树种下的单木树冠信息主要是利用高空间分辨率光学影像、激光雷达点云数据以及高光谱影像等数据，运用支持向量机、决策树分类、面向对象分类等分类方法，提取树冠边界，从而进一步获取树木其他相关信息。

从时间、成本上考虑，从无人机遥感数据中快速准确地对不同场景的多树种下的单木树冠进行检测以及获取相关参数信息，仍是目前森林资源调查领域研究的重点。

随着深度学习技术的高速发展，通过大量的数据训练学习图像的深层次特征，在图像识别和分类等领域取得了良好的效果。相比于传统的支持向量机、决策树分类、面向对象分类等分类方法，表现出卓越的分类性能。而无人机遥感影像与深度学习算法结合应用于树冠检测与分割研究的尝试还比较少。

发明内容

针对上述现有技术存在的不足，本发明提供基于无人机影像与U-Net的单木树冠检测与分割方法，旨在实现人工林不同场景下的多树种的单木树冠检测与分割。

本发明的技术方案为：

基于无人机影像与U-Net的单木树冠检测与分割方法，该方法包括以下步骤：

步骤1：采集具有不同场景的多树种的无人机影像数据并制作正射影像；

步骤2：从步骤1获得的正射影像中截取不同场景对应的正射影像子图，并对每个正射影像子图进行人工标注、裁剪与数据清洗处理获得所需的样本数据，再对所述样本数据进行数据增强操作获得所需的样本数据集；

步骤3：将步骤2生成的样本数据集按照一定比例划分为训练集与测试集；

步骤4：获取U-Net模型，且利用步骤3制作的训练集对U-Net模型进行训练，使用测试集对每次训练的U-Net模型进行验证，以及基于混合Loss函数对每次训练的U-Net模型的预测结果进行监督，直至混合Loss函数稳定不再下降时停止U-Net模型的训练，获得效果最佳的U-Net模型所对应的参数；

步骤5：从步骤1制作的正射影像中再次截取不同场景的正射影像子图分别输入经过步骤4训练好的U-Net模型中，完成正射影像子图上的单木树冠检测与分割。

进一步地，根据所述的基于无人机影像与U-Net的单木树冠检测与分割方法，利用ArcGIS软件对所述每个正射影像子图进行人工标注制作标签数据，标签数据分为背景和树冠检测区域两部分，其中背景是指非树冠覆盖的区域，树冠检测区域涵盖所有树种的树冠要素。

进一步地，根据所述的基于无人机影像与U-Net的单木树冠检测与分割方法，从GitHub网站上获取U-Net模型。

进一步地，根据所述的基于无人机影像与U-Net的单木树冠检测与分割方法，所述混合Loss函数由Cross Entropy Loss、Dice Loss两部分组成。

与现有技术相比，本发明提出的技术方案具有以下有益效果：

本发明方法采用无人机影像和U-Net深度学习方法进行结合，学习无人机影像更深层次特征，可提取无人机影像中不同场景的多树种的单木树冠边界，得到较为精准的树冠分割结果，本发明方法对于很多场景的多树种的树冠检测效果均表现较高精度。因此本发明方法更具有普适性。

附图说明

为了更清楚地说明本发明实施例中的具体方式，下面将对实施例中涉及的相关附图做简单说明，下面的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来说，在没有创造性改变的前提下，可以根据这些附图获得其它的附图。

图1为本实施方式基于无人机影像与U-Net的单木树冠检测与分割方法的整体流程示意图；

图2为本实施方式从人工林研究区的正射影像中截取的3张正射影像子图，其中(a)为具有多树种的林地场景的正射影像子图；(b)图为具有多树种的运动场地场景的正射影像子图；(c)图为具有多树种的道路场景的正射影像子图；

图3(a)为本实施方式的一张256*256大小的正射影像原图；(b)为与(a)对应的标签数据图；

图4为U-Net模型的训练过程示意图。

图5为本实施方式从人工林研究区的正射影像中截取的四张正射影像子图，其中(a)图为研究区中行道树场景的正射影像子图；(b)图为研究区中林地场景的正射影像子图；(c)图为城市街道场景的正射影像子图；(d)图为研究区不同树种的树木聚类生长的复杂场景的正射影像子图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本实施方式基于无人机影像与U-Net的单木树冠检测与分割方法的整体流程图，所述基于无人机影像与U-Net的单木树冠检测与分割方法包括以下步骤：

步骤1：采集具有不同场景的多树种的无人机影像数据并制作正射影像；

本实施方式在天气晴朗、风力较小的环境下，采集人工林研究区的无人机影像数据，并通过Pix-4D软件制作人工林研究区的正射影像。具体是首先由无人机携带倾斜摄影相机，通过多角度空中拍摄实现多视角地景信息的采集；然后通过Pix-4D软件完成相机位置标定、特征提取、匹配等步骤，将采集的倾斜摄影图像转化为正射影像。

步骤2：从步骤1获得的正射影像中截取不同场景对应的正射影像子图，并对每个正射影像子图进行人工标注、裁剪与数据清洗处理获得所需的样本数据，再对所述样本数据进行数据增强操作获得所需的样本数据集；

步骤2.1：利用ArcGIS软件从步骤1获得的正射影像中截取不同场景对应的正射影像子图，并对每个正射影像子图进行人工标注、裁剪与数据清洗处理获得所需的样本数据；

在本实施方式中，利用ArcGIS软件首先从步骤1获得的正射影像中截取不同的场景例如建筑物、道路或者林地等对应的正射影像子图。本实施方式是从步骤1获得的正射影像中截取3张不同试验区的正射影像子图，每个试验区具有的场景和树种均不相同，如图2示出的(a)图为林地场景的正射影像子图，(b)图为运动场地场景的正射影像子图，(c)图为道路场景的正射影像子图；该3张实验区的不同场景多树种的正射影像子图中共计包含至少4个树种的309棵树。

然后利用ArcGIS软件对3张不同实验区的正射影像子图制作标签数据，标签数据分为背景和树冠检测区域两部分，其中背景是指非树冠覆盖的区域，树冠检测区域涵盖所有树种的树冠要素。标注方式按照多边形框进行拉伸，尽可能包含人工能关注到的部分，获得与原始正射影像相对应的标签数据。

再然后将3张不同实验区的正射影像原图和制作的标签数据顺序裁剪成等像素大小例如256*256的样本，如图3(a)是样本中一张256*256大小的正射影像原图，图(b)是与(a)对应的一张256*256大小的标签数据，可知黑色部分为树冠，白色部分为非树冠的背景。优选的256*256尺寸大小既可以保证一定数量的完整树冠又不会导致网络负担过重。

最后进行数据清洗，删除掉没有标注任何树冠的标签数据和与之对应的正射影像原图，得到清洗后的样本数据。

步骤2.2：对步骤2.1生成的样本数据进行图像增强操作，获得所需的样本数据集。

本实施方式通过对步骤2.1生成的样本数据进行旋转、缩放、翻转等增强操作，获得包含1785个样本的样本数据集。

步骤3：将步骤2生成的样本数据集按照一定比例划分为训练集与测试集；

本实施方式对3张不同实验区的不同场景多树种的正射影像原图和标签数据组成的样本数据集按照8：2的比例划分为训练集和测试集，其中训练集将用于训练U-Net模型，测试集将用于评估U-Net模型的准确率和鲁棒性。

步骤4：获取U-Net模型，且利用步骤3制作的训练集对U-Net模型进行训练，使用测试集对每次训练的U-Net模型进行验证，以及基于混合Loss函数对每次训练的U-Net模型的预测结果进行监督，直至混合Loss函数稳定不再下降时停止U-Net模型的训练，获得效果最佳的U-Net模型所对应的参数。

本实施方式从GitHub网站上获取U-Net模型，并将步骤3制作的训练集输入到该模型中，训练U-Net模型，当训练集训练出多个U-Net模型后，为了能找出效果最佳的模型，使用测试集对训练好的多个U-Net模型进行验证，并基于混合Loss函数对每个U-Net模型的预测结果进行监督，直至混合Loss函数值稳定不再下降时停止U-Net模型的训练，获得效果最佳的U-Net模型所对应的参数。

本实施方式所使用的混合Loss函数由Cross Entropy Loss、Dice Loss两部分组成。Cross Entropy Loss为常见的交叉熵损失函数，当U-Net模型利用Softmax对像素点进行分类的时候，进行使用。Dice系数是一种集合相似度度量函数，通常用于计算两个样本X和Y的相似度，取值范围在[0,1]。计算公式如下：

其中|X∩Y|是样本X和Y之间的交集，|X|和|Y|分别表示样本X和Y的元素个数。

Dice loss计算公式如下：

混合Loss函数是预测值和真实值之间差异的数值化表示，是决定U-Net模型训练学习质量的关键，在U-Net模型结构不变的前提下，损失函数选择不当会导致训练出来的模型精度差。

如图4所示，U-Net模型训练具体可以分为三部分：

第一部分是主干特征提取部分：本实施方式采用的主干特征提取网络为VGG16，利用主干特征提取部分获得五个初步有效特征层。

第二部分是加强特征提取部分：在加强特征提取网络里利用第一部分获得的五个初步有效特征层进行特征融合获得一个最终融合了所有特征的有效特征层。特征融合的方式是对特征层进行上采样并堆叠。为了方便网络的构建与更好的通用性，在上采样时进行两倍上采样再进行特征融合，最终获得的特征层和输入数据集图像的高宽相同。

第三部分是预测部分：获取输入数据集图像的特征，利用输入数据集图像的特征获得预测结果。利用输入数据集图像的特征获得预测结果的过程为：利用一个1*1卷积进行通道调整，将最终输入数据集图像的特征层的通道数调整成所需要区分的类别总数。

步骤5：从步骤1制作的正射影像中再次截取不同场景的正射影像子图分别输入经过步骤4训练好的U-Net模型中，完成正射影像子图上的单木树冠检测与分割。

在本实施方式中，从人工林研究区的正射影像中截取四张正射影像子图，如图5所示，其中(a)图为研究区中行道树场景的正射影像子图，在该行道树场景中两侧为行道树，内侧为复杂的树冠排列结构；(b)图为研究区中林地场景的正射影像子图，该林地场景中树冠间距较短，但排列整齐有序，适用于林业资源调查；(c)图为城市街道场景的正射影像子图，该市街道场景拥有包括建筑物等其他比较复杂的背景并含有部分阴影；(d)图为研究区不同树种的树木聚类生长的复杂场景的正射影像子图。

将从图5示出的人工林研究区的正射影像中截取的(a)、(b)、(c)、(d)四张正射影像子图分别输入到经过步骤4训练好的U-Net模型中，获得不同场景下多树种的树冠分割结果。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。