语义分割模型训练方法、语义分割方法、存储介质及终端

摘要

本发明公开的一种语义分割模型训练方法、语义分割方法，该训练方法包括辅助任务和语义分割任务，辅助任务和语义分割任务采用相同的主干框架KP‑FCNN；在辅助任务中，使用大规模的无标签航空激光点云数据对特征学习模型进行训练，且在正负样本选择阶段，在挖掘的最难负样本基础上利用聚类算法去除特征相似的负样本，使模型在辅助任务中学习空间不变性信息基础上考虑特征相似性；将训练后的特征学习模型的权重参数作为语义分割模型参数的初始值，实现语义分割任务的信息增益，超越基准监督网络，特别是在语义标签严重不足时，极大的提升分类精度。

说明书

技术领域

本发明属于点云语义分割技术领域，尤其涉及一种基于自监督学习(Self-Supervised Learning，SSL)的航空激光点云语义分割模型训练方法、语义分割方法、存储介质及终端。

背景技术

语义信息对于复杂三维城市重建至关重要，高效且可靠的语义信息直接影响城市数字孪生。航空激光点云为三维场景提供了紧凑且高效的表示，在信息空间中将现实环境进行数字孪生重建，已经发展成为一种标准的时空地理数据源。点云语义分割是信息空间中对现实环境高效理解的关键任务，也是实景三维结构化的首要难题。

早期，受软硬件限制，机载激光点云发展缓慢，对于语义分割任务，研究学者工作大多集中在使用手工特征监督学习机器学习的方法。传统的语义分割方法(可参考Weinmann M,Jutzi B,Hinz S,et al.Semantic point cloud interpretation based onoptimal neighborhoods,relevant features and efficient classifiers[J].ISPRSJournal of Photogrammetry and Remote Sensing,2015,105:286-304.)归纳为四个步骤：邻域选择、特征提取、特征选择、监督分类。传统手工特征方法因为过度依赖人工设计的低层次特征、精度不高且迁移能力差，极大限制了点云语义理解的发展。

深度学习在计算机视觉的发展，重新定义了点云的发展方向，随即出现了直接处理不规则点云的PointNet(可参考Qi C R,Su H,Mo K,et al.Pointnet:Deep learning onpoint sets for 3d classification and segmentation:Proceedings of the IEEEconference on computer vision and pattern recognition,2017[C])、PointNet++(可参考Qi C R,Yi L,Su H,et al.Pointnet++:Deep hierarchical feature learning onpoint sets in a metric space[J].Advances in neural information processingsystems,2017,30.)等网络。在航空激光语义分割的实际应用中，硬件限制和部署难度提出新的要求，研究者们更注重轻量级且高效的网络架构，如RandLA-Net(可参考Hu Q,Yang B,Xie L,et al.RandLA-Net:Efficient Semantic Segmentation of Large-Scale PointClouds:2020IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR),2020[C].)进行大场景的快速语义分割任务，KPConv(可参考Thomas H,Qi C R,Deschaud J,et al.Kpconv:Flexible and deformable convolution for point clouds:Proceedings of the IEEE/CVF international conference on computer vision,2019[C].)使用轻量级KP-FCNN框架进行语义分割任务。这些方法在航空激光点云公开数据集上已经取得了显著性能，但都需要大量的语义标签作为先验信息，一方面，标注过程需要耗费人力成本，另一方面，采集大规模的点云需要巨大的经济成本，甚至得不到。

在得不到监督信息时，点云的语义分割如何保障网络的分类质量，是当前大规模航空激光点云必须解决的一个问题。研究者们借鉴2D图像发展成果，首先就把关注点放在弱监督方式和自监督方式。近两年，点云的语义分割任务的弱监督研究取得了不错的效果，但我们关注的是如何利用大量无标签点云数据实现信息增益，并避免大规模航空激光点云样本不均衡问题。自监督学习可以自主且灵活的学习海量的无标签的数据来解决上述的问题，目前，基于自监督学习的点云语义分割任务工作很少且集中在室内点云和地面点云数据，由于航空激光点云与其他类型点云相比，一方面使用更长扫描距离，点密度的稀疏性不同；另一方面场景范围大，包含的类别尺度极度不统一，以及俯视角扫描获得的数据几何实例往往更多，在方法上不具有适用性。基于以上问题和迫切需求，面向航空激光点云的自监督学习语义分割技术的探索非常必要。

发明内容

本发明的目的在于提供一种航空激光点云语义分割模型训练方法、语义分割方法、存储介质及终端，从大量无标签的航空激光点云数据中学习数据底层特征，实现仅仅少量的航空激光点云语义标签参与训练，完成高效的航空激光点云语义分割任务。

本发明是通过如下的技术方案来解决上述技术问题的：一种航空激光点云语义分割模型训练方法，包括以下步骤：

将获取的无标签的航空激光点云数据作为第一训练样本集，将获取的带标签的航空激光点云数据作为第二训练样本集；

从所述第一训练样本集中裁剪出多对场景块，对于每对所述场景块，其中一个场景块中的任意一点在另一个场景块中均有对应的点与之匹配，匹配的两个点为匹配点，不匹配的两个点为非匹配点；

对每对所述场景块分别进行旋转和缩放，得到变换后的场景块；

构建特征学习模型，并将变换后的场景块分别输入至所述特征学习模型，得到对应的嵌入特征；

根据所述场景块中的匹配点和非匹配点以及所述嵌入特征对所述第一训练样本集进行正负样本选择，得到正对的嵌入特征和负对的嵌入特征；其中正对是指选择出的指具有代表性的匹配点，负对是指选择出的具有代表性的非匹配点；

构建损失函数，根据所述损失函数以及正对的嵌入特征和负对的嵌入特征对所述特征学习模型进行训练，得到训练好的特征学习模型；

构建与所述特征学习模型具有相同主干框架的语义分割模型，将训练好的特征学习模型的参数作为所述语义分割模型参数的初始值，利用所述第二训练样本集对所述语义分割模型进行训练微调，得到最终的语义分割模型。

进一步地，对所述第一训练样本集进行正负样本选择的具体实现过程为：

计算所述场景块中每个点云的几何特征；

基于点云的几何特征，对每对所述场景块中的所有非匹配点进行聚类，得到非匹配点的聚类结果；

利用非匹配点的聚类结果进行最难负样本的筛选，完成正负样本的选择，其中最难负样本是指在提取的特征空间中离正样本最近的点。

进一步地，每个点云的所述几何特征包括平面度、曲面变化和法向量；

所述平面度的计算公式为：

P＝(λ

所述曲面变化的计算公式为：

S

其中，P为平面度，S

所述法向量为：

其中，

进一步地，对每对所述场景块中的所有非匹配点进行聚类的具体实现过程为：

步骤a：随机选择场景块中K个点云作为初始的类中心

步骤b：计算每个点云分别到类中心的距离，根据所述距离将每个点云分配到与其最近的类中心的类中，形成聚类结果C

步骤c：对于每个聚类结果C

步骤d：判断是否满足收敛条件，如果是，则输出C

进一步地，利用非匹配点的聚类结果进行最难负样本的筛选的具体实现过程为：

若最难负样本的聚类结果相同，则不取出该样本作为负样本，直到负样本对不属于相同的聚类结果。

进一步地，所述损失函数的具体表达式为：

其中，

进一步地，所述特征学习模型和语义分割模型的主干框架均为KP-FCNN框架。

本发明还提供一种航空激光点云语义分割方法，包括以下步骤：

获取航空激光点云数据；

基于通过如上所述航空激光点云语义分割模型训练方法训练得到的语义分割模型，对所述航空激光点云数据进行语义分割处理。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述航空激光点云语义分割模型训练方法的步骤，或如上所述航空激光点云语义分割方法的步骤。

本发明还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如上所述航空激光点云语义分割模型训练方法的步骤，或如上所述航空激光点云语义分割方法的步骤。

有益效果

与现有技术相比，本发明的优点在于：

本发明所提供的一种航空激光点云语义分割模型训练方法、语义分割方法、存储介质及终端，模型训练方法包括上游的辅助任务和下游的语义分割任务，辅助任务和语义分割任务均采用相同的主干框架KP-FCNN，KP-FCNN框架训练速度快且极大适应于类别不均衡的航空激光点云；在辅助任务中，使用大规模的无标签航空激光点云数据，利用数据增强技术构建匹配的点对，且在正负样本选择阶段，在挖掘的最难负样本基础上利用聚类算法去除特征相似的负样本，使特征学习模型可以学习到更纯净的负样本，使模型在辅助任务中学习空间不变性信息基础上考虑特征相似性；在语义分割任务中，使用辅助任务中学习的权重参数对语义分割模型参数进行初始化，实现语义分割任务的信息增益，超越基准监督网络，特别是在语义标签严重不足(10％的训练集)时，极大地提升了分类精度，可以达到全部训练数据性能的94％以上。本发明的自监督学习网络减少了模型对标注数据的过度依赖，有效地提高了小样本航空激光点云语义分割的性能，在实际工程中对小样本训练学习的应用价值巨大。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中语义分割模型训练方法流程图；

图2是本发明实施例中语义分割任务中的ISPRS训练集，其中Section A为全部训练集，Section B为其四个比例的训练集。

图3是本发明实施例中辅助任务流程图；

图4是本发明实施例中点云正负样本选择过程图；

图5是本发明实施例中五个比例的训练集的测试结果图。

具体实施方式

下面结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

如图1所示，本发明实施例所提供的一种航空激光点云语义分割模型训练方法，主要由上游的辅助任务和下游的语义分割任务组成，辅助任务为无监督对比学习，通过大量的无标签的航空激光点云数据实现数据底层结构信息的学习，语义分割任务为监督学习，上游的辅助任务为下游的语义分割任务提供模型权重参数的初始化，将辅助任务学习到的信息通过模型权重参数传递给语义分割任务，再利用少量的带标签的航空激光点云数据对模型进行训练微调，减少模型对标签的过度依赖。

模型训练方法具体包括以下步骤：

步骤1：训练样本集的构建：将获取的无标签的航空激光点云数据作为第一训练样本集，将获取的带标签的航空激光点云数据作为第二训练样本集。

辅助任务所涉及到的第一训练样本集来源于DALES数据集，第一训练样本集中的数据包括40个场景大小为500m×500m的密集城市区域，覆盖10km

语义分割任务所涉及到的第二训练样本集来源于ISPRS数据集，第二训练样本集覆盖399m×421m的密集城市区域，点数总计75万个，使用ISPRS提供的Vaihingen 3D语义标记第二训练样本集，如图2所示，Section B是从全部训练集中裁剪出的10％，20％，40％，60％，100％数据量数据，且五个比例的数据集是数据量大的包含数据量小的区域。

步骤2：场景块的裁剪：从第一训练样本集中裁剪出多对场景块。

设第一训练样本集X＝{x

步骤3：场景块的变换：对每对场景块分别进行旋转和缩放，得到变换后的场景块。

在场景块导入特征学习模型之前，将每对场景块分别进行刚性变换，刚性变换包括旋转(0to 360°)、缩放(0.8to 1.2)，那么变换后的两个场景块之间存在映射关系。

步骤4：特性学习模型的构建：构建特征学习模型，并将变换后的场景块分别输入至特征学习模型，得到对应的嵌入特征。

本实施例中，特征学习模型和语义分割模型均采用相同的主干框架KP-FCNN，主干框架KP-FCNN基于PyTorch框架实现，使用一台RTX 3090GPU进行训练测试。主干框架KP-FCNN在每一层都有本地存储要处理的数据，这个预处理步骤在预处理阶段完成，这种策略大大提高了训练效率。在特征学习能力方面，KP-FCNN利用了强变形的核卷积操作，使上下文具有更好的感知能力，对相邻类别的信息进行有效聚合。KP-FCNN包括编码器和解码器，编码器包含两个卷积块，即核点卷积和跨步核点卷积，解码器使用最接近的上采样，确保添加逐点特征。从编码器层传输的特征通过跳过链接连接到上采样的特征，连接的特征由一元卷积处理，这相当于在PointNet中共享的多层感知器。

KP-FCNN非常灵活，允许任意数量的核点和核点布局，这对卷积算子非常关键，可以根据计算成本和描述能力的平衡来设置核点和核点布局。KP-FCNN使用核点卷积计算特征，并直接对点云进行操作，当输入一个场景块X

步骤5：正负样本的选择：根据场景块中的匹配点、聚类后的非匹配点以及嵌入特征对第一训练样本集进行正负样本选择，得到正对的嵌入特征和负对的嵌入特征，如图3所示；其中正对是指选择出的指具有代表性的匹配点，负对是指选择出的具有代表性的非匹配点。

自监督学习利用辅助任务从大规模的无标签点云数据中，通过自监督信号挖掘数据底层信息，将其学习的知识通过特征学习模型权重转移到语义分割任务中。与完全监督的方法不同，自监督学习依靠无监督的对比学习策略作为辅助任务，利用无标签的点云学习，减少了对语义标签的依赖，将预先训练的权重作为下游语义分割网络的初始值，并对小样本带标签的点云进行微调权重。

对比学习是一种无监督的学习方法，具有良好的表示学习能力，其目标是学习从原始特征到嵌入空间的映射关系f，从而在特征空间使用距离度量函数来拉近相同的对象(正样本)，拉开不同的对象(负样本)。具体来说，对于任意的锚点x，对比学习的目的是学习嵌入函数f，使得正样本对相似性度量远大于负样本对的相似性度量：

Q

其中，给定一个锚点x，x

对于每个锚点

步骤5.1：计算场景块中每个点云的几何特征。

本实施例中，每个点云的几何特征包括平面度(Planarity)、曲面变化(SurfaceVariation)和法向量

平面度的计算公式为：

P＝(λ

曲面变化的计算公式为：

S

其中，P为平面度，S

点云的法向量

需拟合的平面的一般形式是：

Ax+By+Cz+D＝0 (4)

A

采用最小二乘法进行平面的拟合,即求解如下的最小值问题：

通过求导并令导数为0，且将方程组中的D消去，可以得到如下线性方程组：

其中M是协方差矩阵，

这是典型的在单位圆上求解寻找方程组的解。一般情况下，协方差矩阵是非奇异的，因此上述方程没有精确解，只能寻找近似解，令W＝[A,B,C]

利用拉格朗日乘子法，构造新的优化函数：

f(n,λ)＝(MW)

从而能够推导出上式的解是协方差矩阵M的最小特征值所对应的归一化特征向量。

从而可以得到点云的法向量是:

其中，

曲面变化能够很好地区分平面结构和非平面结构，在点云三维坐标的基础上，增加几何特征，有利于K-means聚类，使聚类结果更加合理、精确，因此使正对与负对区分更加精确。

步骤5.2：基于点云的几何特征，对每对场景块中的所有非匹配点进行聚类，得到非匹配点的聚类结果，聚类的具体实现过程为：

步骤5.21：随机选择场景块中K个点云作为初始的类中心

步骤5.22：计算每个点云分别到类中心的距离，根据该距离将每个点云分配到与其最近的类中心的类中，形成聚类结果C

步骤5.23：对于每个聚类结果C

步骤5.24：判断是否满足收敛条件，如果是，则输出C

本实施例的收敛条件为达到迭代次数或满足停止条件，K-means聚类算法的参数K设置为9。

步骤5.3：利用非匹配点的聚类结果进行最难负样本的筛选，完成正负样本的选择，其中最难负样本是指在提取的特征空间中离正样本最近的点，具体实现过程为：

若最难负样本的聚类结果相同，则不取出该样本作为负样本，直到负样本对不属于相同的聚类结果。

对于最难负样本的挖掘，不需要使用所有的点进行挖掘，损失函数中只考虑部分点，本实施例中，正对个数设置为4096，负样本个数设置为2048。如图4所示，K-means聚类为点云提供一个聚类，在有些情况下会将最困难的负对从同一簇中移除，并重新选择其他绝对负样本作为样本点。例如，在传统的最难负挖掘算法中，图4(c)中的点

步骤6：损失函数的构建以及模型的训练：构建损失函数，根据损失函数以及正对的嵌入特征和负对的嵌入特征对特征学习模型进行训练，得到训练好的特征学习模型。

利用提取的四类点

其中，

本实施例采用随机梯度下降优化算法对模型权重参数进行优化，学习率为0.1，权重衰减设置为0.0001。

步骤7：语义分割模型的构建和训练：构建与特征学习模型具有相同主干框架的语义分割模型，将训练好的特征学习模型的参数作为语义分割模型参数的初始值，利用第二训练样本集对语义分割模型进行训练微调，得到最终的语义分割模型。

由于辅助任务与语义分割任务的主干框架相同，在辅助任务进行预训练后，将其训练的权重参数作为下游语义分割任务的初始化权重，使用少量的带标签的航空激光点云(即第二训练样本集)进行语义分割模型的训练，并对其中的超参数进行微调。

语义分割模型与特征学习模型不同的是，在最后一层添加一层unary卷积，在下游语义分割任务中实现64维到D

将特征学习模型的权重参数作为语义分割模型权重参数的初始值，利用第二训练样本集划分的五个子集对语义分割模型进行训练，得到不同训练数据下的语义分割模型。在训练过程中，设置200iteration为一个epoch，学习率开始设为0.001，每5个epoch衰减率为0.9，模型收敛预计经过50epochs。

选择ISPRS的测试集进行语义分割模型能力验证，为了进行完整的测试，语义分割模型在测试区域中随机选择球体，每个点被反复输入模型至少20次，以获得平均预测概率。这种重复是为了避免对球体边界附近的点(其几何体可能不完整)进行错误分类。

评价指标使用总体准确度(OA)和平均F

其中，针对每个类别，TP是属于该类的点被正确分类的个数、TN是不属于该类的点没有分成该类的个数，FP是不属于该类的点被分成该类的个数，FN是该类的点被错误分类的个数。

在本发明语义分割模型分别使用五个比例的训练子集进行训练，在测试集上的进行性能验证，如图5所示。在10％的训练数据下，在表1中，展示了各类别的F

表1. 10％的ISPRS训练数据的评价表(％)

在发明所述语义分割模型训练方法(即自监督学习方法)，与基准的直接训练的监督学习算法相比，在五个比例的数据比例下均有提升，在数据量较少时(10％数据量)语义分割效果仍然取得了不错的效果。本发明减少了常规的直接训练的监督学习算法对于监督样本的过度依赖，在小样本标签的航空激光点云训练数据下，可以获得较好的语义分割性能。

本发明实施例还提供的一种航空激光点云语义分割方法，包括以下步骤：

步骤1：获取航空激光点云数据；

步骤2：基于通过如上所述航空激光点云语义分割模型训练方法训练得到的语义分割模型，对步骤1的航空激光点云数据进行语义分割处理，得到理想的航空激光点云语义分割结果。

以上所揭露的仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或变型，都应涵盖在本发明的保护范围之内。