点云识别模型的确定方法、点云识别的方法及装置

摘要

本申请公开了一种点云识别模型的确定方法、点云识别的方法及装置，该确定方法包括：利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息；根据类别信息，确定神经网络的卷积核信息；根据神经网络的卷积核信息，构建初始点云识别模型；利用点云样本数据训练初始点云识别模型，得到目标点云识别模型。根据本申请实施例，能够使点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

说明书

技术领域

本申请属于计算机技术领域，尤其涉及一种点云识别模型的确定方法、点云识别方法、装置、设备及计算机存储介质。

背景技术

点云一般是指通过测量仪器得到的产品外观表面的点数据集合。点云数据已广泛应用于自动驾驶、安防监控、智慧交通等场景。

为了获取高质量的点云特征，需要准确地对点云样本数据进行识别分析，尽可能的在保留点云原始信息完整性的同时，又能够去除无用的信息。

相关技术中，利用基于KCNET神经网络的模型对对点云样本数据进行识别分析时，虽然可以优化对局部特征的提取，但仍存在着一定的识别效率和精确性不高的问题。

发明内容

本申请实施例提供的点云识别模型的确定方法、点云识别方法、装置、设备及计算机存储介质，能够使点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

第一方面，本申请实施例提供一种点云识别模型的确定方法，包括：

利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息；

根据所述类别信息，确定神经网络的卷积核信息；

根据所述神经网络的卷积核信息，构建初始点云识别模型；

利用所述点云样本数据训练所述初始点云识别模型，得到目标点云识别模型。

可选地，所述利用所述点云样本数据训练所述初始点云识别模型，得到目标点云识别模型，包括：

利用特征提取网络，对所述点云样本数据进行特征提取，得到第一特征图；

将所述第一特征图与所述点云样本数据的原始图信息进行特征融合，得到第二特征图；

利用注意力网络单元，根据所述第二特征图，确定所述第二特征图对应的点云特征图信息；

利用所述点云特征图信息训练所述点云识别模型，得到目标点云识别模型。

可选地，所述利用特征提取网络，对所述点云样本数据进行特征提取，得到第一特征图，包括：

计算所述点云样本数据对应的K最近邻点；

根据所述K最近邻点与所述卷积核信息，计算得到第一特征图。

可选地，所述利用注意力网络单元，根据所述第二特征图，确定所述第二特征图对应的点云特征图信息，包括：

获取所述第二特征图对应的权重信息；

根据所述第二特征图对应的权重信息，对所述第二特征图进行自注意力计算，得到所述第二特征图对应的点云特征图信息。

可选地，所述利用所述点云特征图信息训练所述点云识别模型，得到目标点云识别模型，包括：

对所述点云特征图信息进行图像上采样计算，得到第一点云特征图信息；

对所述第一点云特征图信息进行图像下采样计算，得到所述点云识别模型的损失函数值；

根据所述损失函数值调整待训练的所述点云识别模型的模型参数；

利用所述点云样本数据，对调整后的所述点云识别模型进行迭代训练，直至满足预设训练停止条件，以得到所述目标点云识别模型。

第二方面，本申请实施例提供了一种点云识别的方法，该方法包括：

获取待处理的点云数据；

将所述点云数据输入利用第一方面以及第一方面可选的所述方法训练得到的目标点云识别模型中，输出对所述点云数据的识别结果。

第三方面，本申请实施例提供了一种点云识别模型的确定装置，装置包括：

聚类模块，用于利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息；

确定模块，用于根据所述类别信息，确定神经网络的卷积核信息；

构建模块，用于根据所述神经网络的卷积核信息，构建初始点云识别模型；

训练模块，用于利用所述点云样本数据训练所述初始点云识别模型，得到目标点云识别模型。

第四方面，本申请实施例提供了一种点云识别的装置，装置包括：

获取模块，用于获取待处理的点云数据；

识别模块，用于将所述点云数据输入利用第一方面以及第一方面可选的所述的方法训练得到的目标点云识别模型中，输出对所述点云数据的识别结果。

第五方面，本申请实施例提供了一种点云识别模型的确定设备，设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如第一方面以及第一方面可选的所述的点云识别模型的确定方法。

第五方面，本申请实施例提供了一种点云识别的设备，设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如第二方面所述的点云识别的方法。

第六方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面以及第一方面可选的所述的点云识别模型的确定方法，以及如第二方面所述的点云识别的方法。

本申请实施例的点云识别模型的确定方法、点云识别方法、装置、设备及计算机存储介质，能够利用预设聚类算法，对点云数据进行聚类分析。基于点云聚类的结果，确定点云识别模型的卷积核信息，并训练的目标点云识别模型。由此，点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一些实施例提供的点云识别模型的确定方法的实施场景示意图；

图2是本申请一些实施例提供的点云识别模型的确定方法的流程示意图；

图3是本申请一些实施例提供的训练目标点云识别模型的流程示意图；

图4是本申请一些实施例提供的注意力网络单元的示意图；

图5是本申请一些实施例提供的点云识别模型的网络结构示意图；

图6是本申请一些实施例提供的点云识别的方法的流程示意图；

图7是本申请一些实施例提供的点云识别模型的确定装置的结构示意图；

图8是本申请一些实施例提供的点云识别的装置的结构示意图；

图9是本申请一些实施例提供的点云识别模型的确定设备或者点云识别的设备的硬件结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

随着科学技术的发展，点云数据已广泛应用于自动驾驶、安防监控、智慧交通等场景。

在自动驾驶场景中，基于雷达传感器等测量设备采集的点云数据，对道路中及两旁的障碍物的预先识别与语义理解，是十分为重要。因为，对于交通障碍物的点云数据的目标检测与语义分割算法的好坏直接关系到后续多传感器融合处理的效果。点云数据的识别可以包括对如图像分割、目标识别、边缘提取等。为了更好的对点云数据进行识别，需要获取高质量的点云局部特征，对点云样本数据进行多层神经网络特征图融合处理，尽可能的保留原始信息完整性(即主要特征)的同时，又能够去除信号中无用的信息。

相关技术中，利用基于PointNet、PointNet++神经网络结构的识别模型对点云数据进行分析。PointNet通过最大池化层(max pooling)对称函数避免无序点云带来的结果的不同，并且通过T-Net学习特征向量从而保持点云旋转不变性，其中，每个点的MLP特征提取是权值共享的。并且，为了使点云的信息得到充分学习，通过本地嵌入层localembedding，将点云数据进行扩展升维到64维，实现多层网络特征图之间的特征融合。PointNet++算法模型在前者的基础上解决并优化了邻域局部特征提取。提出了多层次特征提取结构，实现了多尺度特征组合和多分辨率特征组合。解决了密度不一致降采样的问题。

而KCNET神经网络结构的点云识别模型，尝试在保持简单网络结构的条件下，探寻模拟图像中的卷积过程、可学习的具有几何解释的局部特征提取方法来改进PointNet。利用核相关算法，模拟图像中的卷积过程，构造K个最近邻图，相当于K个卷积核，每个核中有M个点，用于提取局部几何结构的核相关性，并递归地在每个点邻域中进行最大池操作。

但是，相关技术中，基于KCNET点云识别模型的点云数据识别的方法仍存在一些缺陷，例如，学习效率不高、确定用于学习的卷积核具有一定的盲目性等，导致对点云数据识别的准确性不高。

为了解决现有技术问题，本申请实施例提供了点云识别模型的确定方法、点云识别方法、装置、设备及计算机存储介质，能够使点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

下面结合附图，描述根据本申请实施例提供的点云识别模型的确定方法、点云识别方法、装置、设备及计算机存储介质。应注意，这些实施例并不是用来限制本申请公开的范围。

图1是本申请一些实施例提供的点云识别模型的确定方法的实施场景示意图。如图1所示，利用历史的点云数据形成训练样本集，即点云样本数据。然后，计算平台用训练样本集训练点云识别模型。在训练得到点云识别模型之后，就可以将待识别的点云数据发送到计算平台，利用该点云识别模型，自动识别点云数据，得到点云数据对应的目标检测与语义分割的结果，有效的识别出点云所代表的物体。

下面对本申请实施例所提供的点云识别模型的确定方法进行介绍。

图2是本申请一些实施例提供的点云识别模型的确定方法的流程示意图。在本申请一些实施例中，如图2所示，该方法可以具体实施为如下步骤：

S101：利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息。

点云样本数据可以是历史点云数据，将历史点云数据作为确定该点云识别模型的训练样本数据集。

在本申请一些实施例中，点云样本数据可以包括标注后的点云数据。

预设聚类算法可以包括K-means聚类，层次聚类算法，SOM聚类算法和FCM聚类算法等。可以理解的是，在实际应用中，可以根据具体需求选择使用其他现有的聚类算法。

示例性的，利用K-means聚类算法，对N*3点云样本数据进行聚类分析，N为点云样本数据个数，每个点云数据点由其3个坐标(x,y,z)表示。根据聚类分析结果，可以得到点云的类别信息，例如，得到S个类别。

S102：根据类别信息，确定神经网络的卷积核信息。

在类别信息的基础上，可以计算得到神经网络的卷积核信息。

在本申请一些实施例中，卷积核信息可以是卷积核数量，即卷积核个数。卷积核数量是神经网络的一种超参数。在机器学习中，超参数是在学习过程开始之前设置其值的参数。

示例性的，当点云的类别个数为S时，可以利用如下公式(1)计算得到卷积核个数L：

L＝2*S (1)

其中，L和S可以为正整数。

S103：根据神经网络的卷积核信息，构建初始点云识别模型。

S104：利用点云样本数据训练所述初始点云识别模型，得到目标点云识别模型。

在本申请一些实施例中，首先，如图3所示，图3是本申请一些实施例提供的训练目标点云识别模型的流程示意图，训练目标点云识别模型，可以具体实施为如下步骤：

S1041：利用特征提取网络，对点云样本数据进行特征提取，得到第一特征图。

该特征提取网络可以是基于K最近邻图算法(KNearnest Neighbor Graphs，KNNG)的神经网络。

首先，计算点云样本数据对应的K最近邻点。然后，根据K最近邻点与卷积核信息，计算得到第一特征图。

在本申请一些实施例中，对于N*3点云样本数据，对其中的每个点找K阶近邻共K*N*3个点，每个点云样本数据从每个点的欧几里德邻域共享一个相同的图。

计算点云样本数据中的每个点的K最近邻点和L个卷积核之间的L个不同的亲缘关系，每个核包含M个可学习的三维点。具体计算公式(2)如下：

其中，k

在本申请一些实施例中，K

其中，‖·‖表示两点之间的欧几里德距离，σ表示核宽度。高斯核函数作为两点之间的距离的函数，呈现指数衰减。

S1042：将第一特征图与点云样本数据的原始图信息进行特征融合，得到第二特征图。

S1043：利用注意力网络单元，根据所述第二特征图，确定所述第二特征图对应的点云特征图信息。

注意力网络单元可以包括自注意力机制(Self-attention)的缩放点积单元(Scaled Dot-product Attention)，可以参见图4，图4是本申请一些实施例提供的注意力网络单元的示意图。先将q(x)表示查询(Query)向量，k(x)表示关键字(Key)向量，v(x)表示值(Value)向量。先进行矩阵相乘(MatMul),计算q(x)和各个k(x)的相似性或者相关性，再经过softmax层，后和v(x)进行矩阵相乘(MatMul)，最后结合点云样本数据，进行加权(Add)计算，得到最终的注意力权重。

在本申请一些实施例中，首先，可以获取第二特征图对应的权重信息。然后根据第二特征图对应的权重信息，对第二特征图进行自注意力计算，得到第二特征图对应的点云特征图信息。

示例性的，可以获取多种不同的(W

S1044：利用点云特征图信息训练点云识别模型，得到目标点云识别模型。

在本申请一些实施例中，首先，可以对点云特征图信息进行图像上采样计算，得到第一点云特征图信息。对第一点云特征图信息进行图像下采样计算，得到点云识别模型的损失函数值。根据损失函数值调整待训练的所述点云识别模型的模型参数。

最后，利用点云样本数据，对调整后的点云识别模型进行迭代训练，直至满足预设训练停止条件，以得到目标点云识别模型。

在本申请一些实施例中，图像上采样计算可以是指在网络层中的扩展升维计算。图像下采样计算可以是指降维计算。

可以理解的是，该目标点云识别模型可以为改进的KCNET神经网络结构的点云识别模型。

图5是本申请一些实施例提供的点云识别模型的网络结构示意图。

在本申请一些实施例中，该点云识别模型通过K-means等聚类算法对输入点云数据进行聚合，得到卷积核数量，并确定卷积核中的可学习点个数。在执行核相关KNNG算法计算时，可以更好地提取点云样本数据的局部几何结构的局部特征信息。其次，该点云识别模型在原有特征融合的基础上增加注意力单元机制，即该点云识别模型是基于特征融合+注意力机制的神经网络。由此，实现了对基于KCNET识别模型的改进，缓解不同网络层之间不同的感受野能力造成的特征图中关键特征的丢失。该点云识别模型可以有效地捕获更多层与层之间融合的关键信息，并在主要数据集上稳健地实现更好的性能。

在本申请一些实施例中，该点云识别模型是基于特征融合+注意力机制的神经网络。参见图5，在涉及特征融合的网络层都可以加入相应的注意力机制。

综上，本申请实施例中的点云识别模型的确定方法能够利用预设聚类算法，对点云数据进行聚类分析。基于点云聚类的结果，确定点云识别模型的卷积核信息，并训练的目标点云识别模型。由此，点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

此外，由于点云识别模型中包括了注意力网络单元，通过注意力计算可以获得不同角度的注意力权重，起到了一定的数据增强的作用。因为特征图的拼接变换可能会抵消各层的相对重要性，并抑制网络深层中的关键信息。通过基于特征融合+注意力机制的结构，可以整合所有通道图中的有关系的特征，有选择地强调深层与浅层相互关联的通道图，深层语义可以帮助注意单元发现存在于网络浅层中的有用信息。特征融合与注意力机制相辅相成的，可以学习更多角度的信息，进而可以进一步地优化点云识别模型的识别精准性

图6是本申请一些实施例提供的点云识别的方法的流程示意图。如图6所示，在一些实施例中，上述实施例中的点云识别模型，可以用于更好的识别待分析的点云数据，具体识别方法可以包括：

S601：获取待处理的点云数据。

可以理解的是，点云数据可以有待进行检测和语义分割的数据。点云数据可以包括新获取的和历史数据。这些点云数据可以包括未做标签的数据。

S602：将点云数据输入点云识别模型中，输出对点云数据的识别结果。

利用该点云识别模型，自动识别点云数据，得到点云数据对应的识别结果，有效的识别出点云所代表的物体。例如，在自动驾驶场景中，自动识别出的点云数据结果可以包括行人、汽车、自行车、道路以及道路设施和道路附属设施等等。

综上，本申请实施例中的点云识别方法，利用上述实施例中的目标点云识别模型，自动识别点云数据，由于，点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

基于上述实施例提供的点云识别模型的确定方法，相应地，本申请还提供了点云识别模型的确定装置的具体实现方式。请参见以下实施例。

图7是本申请一些实施例提供的点云识别模型的确定装置的结构示意图。如图7所示，点云识别模型的确定装置包括：

聚类模块701，用于利用预设聚类算法，对获取的点云样本数据进行聚类，得到点云的类别信息；

确定模块702，用于根据所述类别信息，确定点神经网络的卷积核信息；

构建模块703，用于根据所述神经网络的卷积核信息，构建初始点云识别模型；

训练模块704，用于利用所述点云样本数据训练所述初始点云识别模型，得到目标点云识别模型。

由此，本申请实施例中的点云识别模型的确定装置，可以用于执行上述实施例的点云识别模型的确定方法，该方法能够利用预设聚类算法，对点云数据进行聚类分析。基于点云聚类的结果，确定点云识别模型的卷积核信息，并训练的目标点云识别模型。由此，点云识别模型可以更有针对性的学习点云信息，进而提升点云识别模型的识别效率和精确性。

图7所示点云识别模型的确定装置中的各个模块/单元具有实现图2和图3中各个步骤的功能，并能达到其相应的技术效果，为简洁描述，在此不再赘述。

基于上述实施例提供的点云识别的方法，相应地，本申请还提供了点云识别的装置的具体实现方式。请参见以下实施例。

图8是本申请一些实施例提供的点云识别的装置的结构示意图。如图8所示，点云识别的装置包括：

获取模块801，用于获取待处理的点云数据；

识别模块802，用于将点云数据输入点云识别模型中，输出对点云数据的识别结果。

图9是本申请一些实施例提供的点云识别模型的确定设备或者点云识别的设备的硬件结构示意图。

点云识别模型的确定设备或者点云识别的设备可以包括处理器901以及存储有计算机程序指令的存储器902。

具体地，上述处理器901可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器902可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器902可在综合网关容灾设备的内部或外部。在特定实施例中，存储器902是非易失性固态存储器。在特定实施例中，存储器902包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器901通过读取并执行存储器902中存储的计算机程序指令，以实现上述实施例中的任意一种点云识别模型的确定方法或者点云识别的方法。

在一个示例中，点云识别模型的确定设备或者点云识别的设备还可包括通信接口903和总线910。其中，如图9所示，处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。

通信接口903，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。

总线910包括硬件、软件或两者，将点云识别模型的确定设备或者点云识别的设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线910可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该点云识别模型的确定设备或者点云识别的设备可以执行本申请实施例中的点云识别模型的确定方法或者点云识别的方法，从而实现结合图2和图3描述的点云识别模型的确定方法或者实现结合图6描述的点云识别的方法。

另外，结合上述实施例中的点云识别模型的确定方法或者点云识别的方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种点云识别模型的确定方法或者点云识别的方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。