图卷积网络系统和基于图卷积网络系统的3D物体检测方法

摘要

本发明公开了一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法。所述系统包括：形状语义提取模块，用于建模图像的点云特征中点的几何位置；多层感知器，与形状语义提取模块连接，用于利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤多级语义特征；提案生成器，与多层感知器连接，用于汇总多级语义特征，加权生成初级提案；提案推理模块，与提案生成器连接，用于利用全局语义特征和初级提案预测图像中物体的3D边界框和语义类别。本发明有效增益整个图卷积网络系统的检测性能，提高了3D物体检测的精度，使得深度网络的可解释性更强。

说明书

技术领域

本发明实施例涉及计算机视觉领域，尤其涉及一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着科学技术的发展，人们迫切需要利用计算机资源来感知世界、认识世界，由此为人们的生活提供更多的便利。由于眼睛、鼻子和耳朵等身体器官的存在,人类感知世界的方式有视觉、嗅觉、听觉等，其中，视觉信息占人类外界获取的信息中的百分之八十以上。就像眼睛之于人体一样，机器视觉这一学科在机器智能领域发挥着举足轻重的作用。目标检测作为机器视觉学科的传统课题之一，尤其是复杂场景下的目标检测，一直是研究人员的重点研究方向。

目标检测是计算机视觉领域的传统任务。与图像识别不同，目标检测不仅需要识别出图像上存在的物体，给出对应的类别，还需要将该物体通过边界框（Bounding box）进行定位。2D目标检测一般是在RGB图像中对可变数量的目标进行查找和分类，并在图像上使用2D 边界框标明。目前大多数研究都集中于2D对象预测，通过将预测扩展到3D，人们可以捕获物体在世界上的大小、位置和方向，从而在机器人技术，自动驾驶汽车，机器人视觉，图像检索和增强现实多种应用场景下发挥作用。

3D目标检测是使用RGB图像、RGB-D深度图像和激光点云等信息，输出物体语义类别及在三维空间中的长宽高、旋转角等信息的检测技术。尽管2D对象检测相对成熟并且已在行业中广泛使用，但是由于缺乏数据以及语义类别中对象的外观和形状的多样性，从2D图像进行3D对象检测仍然是一个具有挑战性的问题。

发明内容

为解决现有技术中存在的上述问题，本发明提供一种图卷积网络系统和基于图卷积网络系统的3D物体检测方法，通过多尺度注意力机制的图卷积对3D点云进行处理，提高对图像在三维空间进行的目标检测的精度。

第一方面，本发明实施例提供了一种图卷积网络系统一种图卷积网络系统，包括：

形状语义提取模块，用于接收图像的点云特征，建模所述点云特征中点的几何位置，获得全局语义特征；

多层感知器，与所述形状语义提取模块连接，用于基于所述全局语义特征，利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤所述多级语义特征；

提案生成器，与所述多层感知器连接，用于汇总过滤后的多级语义特征，加权生成至少一个初级提案；

提案推理模块，与所述提案生成器连接，用于利用全局语义特征和所述至少一个初级提案预测所述图像中物体的3D边界框和语义类别。

在一实施例中，所述形状语义提取模块包括：

快速搜索聚类（Clustering By Fast Search And Find Of Density Peaksd，CFDP）模块，用于接收所述点云特征，并使用CFDP算法对所述点云特征中的特征点进行聚类，获得多个聚类中心；

k近邻模块，与所述CFDP模块连接，用于根据所述多个聚类中心，利用k近邻关系构建关于点的几何位置的多个局部区域；

注意力聚合模块，用于将所述聚类中心以及所述聚类中心对应的局部区域中的其他点，自适应地聚合点特征，得到所述全局语义特征。

在一实施例中，所述注意力聚合模块是用于：

将所述聚类中心以及所述聚类中心对应的局部区域中的其他点自适应地聚合点特征，生成相对位置信息；

根据所述聚类中心对应的局部区域中所有的点，构建使用注意力机制的聚合方法：

其中，

在一实施例中，所述多层感知器包括：所述多层图卷积神经网络和多个自适应聚合模块，其中，第一层图卷积神经网络与所述形状语义提取模块连接，每两层图卷积神经网络之间连接有一个自适应模块；

所述多层图卷积神经网络用于提取所述多级语义特征；

所述自适应聚合模块用于使用注意力机制，对前一层图卷积神经网络输出的语义特征进行过滤，将过滤后的语义特征输入后一层图卷积神经网络。

在一实施例中，所述注意力机制为公式（1）表示的聚合方法；

所述自适应聚合模块是用于：对于聚合中心点

在一实施例中，所述提案生成器与所述多层图卷积神经网络中的每一层连接，所述提案生成器是用于：

使用投票模块将过滤后的多级语义特征转换到相同的特征空间，其中，所述投票模块使用的函数为：

其中，

使用VoteNet方法，将

在一实施例中，所述提案推理模块是用于：

利用公式

使用VoteNet方法，通过

第二方面，本发明实施例还提供了一种基于图卷积网络系统的3D物体检测方法。该方法包括：

S10：获取训练数据集，其中，所述训练数据集中包括多个训练数据，每个训练数据为一个图像的点云特征；对每个训练数据进行物体的3D边界框标注和语义类别标注；

S20：构建本发明实施例提供的任一图卷积网络系统；

S30：利用所述训练数据集对所述图卷积网络系统进行训练；

S40：采集待预测图像的点云特征，将所述待预测图像的点云特征输入训练好的图卷积网络系统，得到所述待预测图像中物体的3D边界框和语义类别。

在一实施例中，在步骤S30中，所使用的目标优化函数为：

其中，

在一实施例中，所述方法还包括：

S50：使用平均精度均值评估所述3D物体检测方法的性能，使用平均精度的变异系数来评估所述3D物体检测方法检测各种3D物体的适应性。

第三方面，本发明实施例还提供了一种计算机设备。该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明实施例提供的任一基于图卷积网络系统的3D物体检测方法。

第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机可读的程序，该程序被执行时实现本发明实施例提供的任一基于图卷积网络系统的3D物体检测方法。

本发明的有益效果为：使用快速搜索聚类算法得到更好的聚类效果，并引入注意力聚合，使得图卷积神经网络具有更好的输入特征；在引入多层感知器的图卷积神经网络中，使用自适应聚合得到抽象程度更高的多层几何特征；充分利用多级语义，引入全局语义信息，预测3D边界框和语义类别。这些操作有效增益整个图卷积网络系统的最终性能，还实现了端到端的基于多尺度注意力机制的3D物体检测，充分利用了形状语义与3D点云特征的几何对应关系，不仅提高了3D物体检测的精度，还使得深度网络的可解释性更强。

附图说明

图1是本发明实施例提供的一种图卷积网络系统的结构示意图。

图2是本发明实施例提供的一种自适应聚合模块的工作流程图。

图3是本发明实施例提供的一种基于图卷积网络系统的3D物体检测方法的流程图。

图4为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着3D采集技术的快速发展，3D传感器变得越来越普及和便宜，包括各种类型的3D扫描仪、激光雷达（LiDARs）和RGB-D相机（如Kinect、RealSense和Apple depth camera）。这些传感器获取的3D数据可以提供丰富的几何、形状和尺度信息。3D数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。其中，点云表示是一种常用的表示形式，其特点是在三维空间中保留了原始的几何信息，且不进行离散化。因此，点云是许多场景理解相关应用（如自动驾驶和机器人）的首选表示。深度学习技术主导了许多研究领域，如计算机视觉、语音识别和自然语言处理。然而，3D点云的深度学习仍然面临着数据集规模小、3D点云的高维性和非结构化等重大挑战。在此基础上，本申请重点分析了用于处理3D点云的深度学习方法。

随着图卷积网络的应用领域不断延展，研究人员开始探索图卷积神经网络如何直接对3D点云中的点进行建模。一方面，建模局部结构的能力对3D物体检测架构的成功而言至关重要，但局部形状信息并没有被很好地解释。由于可被研究的对象各式各样，检测不同对象所需的特征分布不一定相同。换句话说，识别不同的对象可能需要多级语义。另一方面，当模型在提取聚类中心及其近邻点之间的边特征时，会得到这些点之间的局部几何关系，需要深入地对局部区域中点间的几何结构进行形状信息捕捉。

实施例一

本实施例提出一种图卷积网络系统，用于3D物体检测。该系统包括：形状语义提取模块、多层感知器、提案生成器和提案推理模块。

形状语义提取模块用于接收图像的点云特征，建模所述点云特征中点的几何位置，获得全局语义特征。

多层感知器与所述形状语义提取模块连接，用于基于所述全局语义特征，利用多层图卷积神经网络提取多级语义特征，并使用注意力机制来过滤所述多级语义特征。

提案生成器与所述多层感知器连接，用于汇总过滤后的多级语义特征，加权生成至少一个初级提案。

提案推理模块与所述提案生成器连接，用于利用全局语义特征和所述至少一个初级提案预测所述图像中物体的3D边界框和语义类别。

在一实施例中，所述形状语义提取模块包括：CFDP模块、k近邻模块、和注意力聚合模块。

CFDP模块用于接收所述点云特征，并使用CFDP算法对所述点云特征中的特征点进行聚类，获得多个聚类中心。

k近邻模块与所述CFDP模块连接，用于根据所述多个聚类中心，利用k近邻关系构建关于点的几何位置的多个局部区域。

注意力聚合模块用于将所述聚类中心以及所述聚类中心对应的局部区域中的其他点，自适应地聚合点特征，得到所述全局语义特征。

在一实施例中，所述注意力聚合模块是用于：将所述聚类中心以及所述聚类中心对应的局部区域中的其他点自适应地聚合点特征，生成相对位置信息；根据所述聚类中心对应的局部区域中所有的点，构建使用注意力机制的聚合方法：

其中，

在一实施例中，所述多层感知器包括：所述多层图卷积神经网络和多个自适应聚合模块，其中，第一层图卷积神经网络与所述形状语义提取模块连接，每两层图卷积神经网络之间连接有一个自适应模块。

所述多层图卷积神经网络用于提取所述多级语义特征。

所述自适应聚合模块用于使用注意力机制，对前一层图卷积神经网络输出的语义特征进行过滤，将过滤后的语义特征输入后一层图卷积神经网络。

在一实施例中，所述注意力机制为公式（1）表示的聚合方法。

所述自适应聚合模块是用于：对于聚合中心点

在一实施例中，所述提案生成器与所述多层图卷积神经网络中的每一层连接。

所述提案生成器是用于：使用投票模块将过滤后的多级语义特征转换到相同的特征空间，其中，所述投票模块使用的函数为：

其中，

使用VoteNet方法，将融合的所述多级语义特征

在一实施例中，所述提案推理模块是用于：利用公式

图1是本发明实施例提供的一种图卷积网络系统的结构示意图，图中显示了图卷积网络中的主要结构，箭头方向指示了图卷积网络系统中主要的信号流的方向。下面结合图1，对图卷积网络的具体结构和工作原理进行详细说明。

当图像点云特征输入图卷积网络系统后，依次经过以下几个处理流程。

（一）形状语义提取：建模点云中点的几何位置，突出形状信息在3D物体检测中的重要性，具体过程如下：

1. 使用CFDP算法对点云中的特征点进行聚类。输入样本点、两个聚类类别之间的最小距离，进行样本归一化，并将样本点根据样本点的密度进行排序，生成样本点的密度图。在密度图中找到离群点，离群点即为聚类类别的中心点（称为“聚类中心”）。按照密度从大到小判别每个样本点所属的聚类类别，再求出每个聚类类别的边缘密度最大值。最后根据边缘密度最大值判断噪声点，并输出聚类类别标签。

2. 使用k近邻关系构建关于点的几何位置的局部区域。根据聚类所得到的各个聚类中心，将与聚类中心最近的

3. 通过注意力聚合模块聚合特征。具体来说，将聚类中心以及聚类中心对应的局部区域的其他点自适应地聚合点特征，生成相对位置信息。根据聚类中心所对应的局部区域中所有的点，构建一个使用注意力机制的聚合方法。聚合方法所使用的函数为：

其中，

使用图卷积神经网络（Graph Convolutional Network，GCN）和所设计的流程（一）的方法，将各个采样点的特征进行聚合并得到更新。通过在每个点及其局部邻域上应用GCN获取局部几何结构，堆叠邻域逐步变大的多层图卷积获取特征，这种做法能逐步扩大卷积的感受野并抽象逐步变大的局部区域，从而分层提取特征并沿层级保留点的几何结构。

图2是本发明实施例提供的一种自适应聚合模块的工作原理图。如图2所示，自适应聚合模块的工作流程如下。

对于聚合中心点

通过自适应聚合模块，实现了使用注意力机制来过滤多层图卷积神经网络提取的多级语义特征的功能。需要说明的是，这里的“过滤”是一个加权求和的过程，可以包括如下步骤：对于聚合中心的局部区域中的其他点，根据每个点与聚合中心之间的相关性，为所述每个点的点特征分配不同的权值，其中，所分配的权值随着相关性的增大而增大；按照所分配的权值，对聚合中心的局部区域中的其他点的点特征进行加权求和；利用加权求和后的点特征来更新聚合中心的点特征，也就是将加权平均后的点特征作为聚合中心的点特征。例如，对于与聚合中心点相关性较大的点，可以分配较大的权值；对于与聚合中心相关性较小的点，可以分配较小的权值，甚至分配为0的权值；之后再通过对点特征的加权求和来实现“过滤”相关性较小甚至不相关的点特征的效果。

（三）通过提案生成器汇总多层语义生成初级提案，具体过程如下：

1. 使用投票模块将流程（二）所得到过滤后的多级语义转换到相同的特征空间。投票模块所使用的函数为：

2. 使用VoteNet方法，将融合的多级语义

（四）提案推理模块利用全局语义和初级提案预测3D边界框和语义类别，具体过程如下：

使用VoteNet方法，将流程（一）所产生的全局语义信息和流程（三）所产生的初级提案进行合并，最终产生3D边界框和语义类别，称为“最终提案”。这里的“全局语义信息”指具有全局语义的聚合特征，也可以称为“全局语义特征”。

首先，利用公式

使用VoteNet方法，将流程（一）所产生的全局语义信息和流程（三）所产生的初级提案进行合并，最终产生3D边界框和语义类别。

在本申请实施例中，各模块可实现如下有益效果：

（1）形状语义提取模块

A. 使用CFDP算法对点云中的点进行聚类，由于经典的k-means聚类算法不能检测非球面类别的数据分布，DBscan算法必须制定一个密度阈值，CFDP算法通过上述两种经典方法的改进，选择每个区域密度的最大值，根据密度选取聚类类别。

B. 使用局部区域的中心点以及局部区域的其他点，通过注意力机制聚合点特征，不同于之前3D物体检测使用最大值池化操作仅使用单一信息的做法，本发明的注意力机制，放弃使用平均分配策略，通过学习获得的权重对特征加权，放大重要信息带来的影响，减弱冗余和不重要信息所产生的干扰；本发明的注意力聚合充分利用了所有信息，在保证信息量的同时，增加了预测结果的准确性。

（2）基于神经网络的多层感知器

A. 本发明不采用先下采样再上采样的U型网络结构，仅使用分层形式的图卷积神经网络生成多级语义。此做法在保证计算速度的同时，又不会引入上采样过程中所产生的噪音而影响准确率。

B. 经过图卷积神经网络后使用自适应聚合，使用向量分解方法降低点云的绝对坐标方差，并使模型沿基础方向学习边特征，根据边、基向量之间的几何关系进行聚合，模型即可建模这些点之间的几何结构。使用自适应聚合尽可能多的采纳点云的几何信息，增大中心点的信息量，获得抽象程度更高的几何特征。

（3）提案生成器：

不同于先前方法（如VoteNet）仅适用一个特征图进行对象预测，由于本发明通过多层感知器生成了多级语义，通过投票模块将多级语义转换到相同的特征空间，投票模块充分利用了多级语义保留的信息量大的特点，能够显著提升结果的准确率。

（4）提案推理模块

通过（1）（2）（3）中的结构，多级结构的局部语义已经被捕获并融合，但是全局语义并未被用于物体检测中，所以本发明的推理模块通过新的图卷积神经网络合并全局语义并对初级提案进行操作，并生成最终用于输出的预测边界框和语义类别。本发明中此模块能够将局部语义与全局语义相结合，产生更准确的边界框。

综上所述，在本发明实施例提出的图卷积网络系统中，使用快速搜索聚类算法得到更好的聚类效果，并引入注意力聚合，使得图卷积神经网络具有更好的输入特征；在引入多层感知器的图卷积神经网络中，使用自适应聚合得到抽象程度更高的多层几何特征；充分利用多级语义，引入全局语义信息，预测3D边界框和语义类别。这些操作不仅能在各自模块产生良好的效果，还能有效增益整个图卷积网络系统的最终性能。此外，本发明还实现了端到端的基于多尺度注意力机制的3D物体检测，与现有3D物体检测技术没有注重形状语义的3D物体检测方法相比，本发明的图卷积网络系统充分利用了形状语义与3D点云特征的几何对应关系，不仅提高了3D物体检测的精度，还使得深度网络的可解释性更强。

值得注意的是，上述实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例二

本实施例提供一种基于图卷积网络系统的3D物体检测方法。该方法基于实施例1所述的图卷积网络系统。图3为本发明实施例提供的一种基于图卷积网络系统的3D物体检测方法的流程图。如图3所示，该方法包括步骤S10-S40。

S10：获取训练数据集，其中，所述训练数据集中包括多个训练数据，每个训练数据为一个图像的点云特征；对每个训练数据进行物体的3D边界框标注和语义类别标注。

S20：构建实施例一中的任一图卷积网络系统。

S30：利用所述训练数据集对所述图卷积网络系统进行训练。

S40：采集待预测图像的点云特征，将所述待预测图像的点云特征输入训练好的图卷积网络系统，得到所述待预测图像中物体的3D边界框和语义类别。

在一实施例中，在步骤S30中，所使用的目标优化函数为：

其中，

在一实施例中，所述方法还包括：

S50：使用平均精度均值评估所述3D物体检测方法的性能，使用平均精度的变异系数来评估所述3D物体检测方法检测各种3D物体的适应性。

在本发明实施例中，步骤S40和S50代表了利用图卷积网络系统进行3D物体检测的具体过程，可以包括如下步骤：

（1）图像点云特征采集

在点云特征提取阶段，根据实际的应用需要，使用相应采集设备获取。

（2）形状语义提取模块

在形状语义提取阶段，使用快速搜索聚类、k近邻方法、注意力聚合获得聚合特征。更多的技术细节参见实施例一中的流程（一）。

（3）神经网络点云特征提取

在神经网络点云特征提取阶段，根据实际的应用需要，可以使用多层图卷积神经网络与自适应聚合模块，沿层级保留点的几何结构。更多的技术细节参见实施例一中的流程（二）。

（4）提案生成器

在生成提案阶段，汇总多层语义生成初级提案。更多的技术细节参见实施例一中的流程（三）。

（5）提案推理模块

在提案推理阶段，利用全局语义和初级提案预测3D边界框和语义类别。更多的技术细节参见实施例一中的流程（四）。

（6）基于多尺度注意力机制的图卷积网络方法

在生成边界框阶段（生成整个图卷积网络系统的阶段），通过物体边界信息、物体类别信息来建立优化目标函数：

其中，损失函数共包含4项，分别是：

训练终止的条件一般设置为迭代次数，常见的迭代次数可设置为50、100等。

需要说明的是，训练数据集中所需要标注的只有物体3D边界框和语义类别。真实物体的中心距离（用于计算

（7）本方法的评价指标可以选取目标检测工作的通用指标平均精度均值（meanAverage Precision，mAP），用于评估被比较的框架性能。还可以使用平均精度（AveragePrecision，AP）的变异系数（coefficient variable Average Precision，cvAP）来表明框架检测各种3D物体的适应性。

其中，

综上所述，在本发明实施例提出的基于图卷积网络系统的3D物体检测方法中，使用快速搜索聚类算法得到更好的聚类效果，并引入注意力聚合，使得图卷积神经网络具有更好的输入特征；在引入多层感知器的图卷积神经网络中，使用自适应聚合得到抽象程度更高的多层几何特征；充分利用多级语义，引入全局语义信息，预测3D边界框和语义类别。这些操作共同效增益了整个3D物体检测方法的检测性能。此外，本发明还实现了端到端的基于多尺度注意力机制的3D物体检测，与现有3D物体检测技术没有注重形状语义的3D物体检测方法相比，本发明的方法充分利用了形状语义与3D点云特征的几何对应关系，不仅提高了3D物体检测的精度，还使得深度网络的可解释性更强。

本发明实施例的3D物体检测方法与实施例一中的图卷积网络系统具有相同的技术原理和有益效果。未在本实施例中详尽描述的技术细节，请参照实施例一中的图卷积网络系统。

实施例三

图4为本发明实施例提供的一种计算机设备的结构示意图。如图4所示，该设备包括处理器410和存储器420。处理器410的数量可以是一个或多个，图4中以一个处理器410为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于图卷积网络系统的3D物体检测方法的程序指令/模块。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，实现上述基于图卷积网络系统的3D物体检测方法。

存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例四

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于计算机程序，用于执行本发明任意实施例所提供的基于图卷积网络系统的3D物体检测方法。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。