一种基于兼容性特征的三维对应关系分组方法

摘要

本发明公开了一种基于兼容性特征的三维对应关系分组方法。该方法首先通过计算关键点、法向量和特征描述子得到了源点云和目标点云的初始匹配集，即对应关系，然后通过计算不同匹配对之间的兼容性值为每根匹配对提取兼容性特征，将提取的特征通过MLP分类网络得到最终的输出类别。结果表明，相比于其他现有方法，本发明方法准确率高、时间复杂度低、泛化性强。

说明书

技术领域

本发明属于知识挖掘领域，具体涉及一种三维对应关系分组方法。

背景技术

三维对应关系分组对于许多基于局部几何特征匹配的任务至关重要，例如三维点云配准，三维目标识别和三维重建。三维对应关系分组的目的是对两个3D点云之间的初始点对点对应关系进行分类，这些对应关系是通过局部几何描述符匹配得到内点数(Inlier)和外点数(Outlier)而获得的。由于许多因素，例如重复模式，关键点定位错误和数据干扰(包括噪声，有限的重叠，混乱和遮挡)，在初始匹配集中会生成大量误匹配。因此，挖掘稀缺的内点的一致性并找到这些内点非常具有挑战性。现有的3D对应分组方法可以分为两类：Group-based和Individual-based。Group-based方法假设内点构成特定域中的一个群集，然而很难恢复该群集。相比之下，Individual-based方法通常先基于特征或几何约束为对应关系分配置信度分数，然后选择得分最高的对应关系。但是，这些方法主要存在以下缺陷：在具有不同应用场景和数据模态的数据集上的泛化性很差，并且精度有限，而精度对于稀疏对应关系成功进行三维配准至关重要。

发明内容

为了克服现有技术的不足，本发明提供了一种基于兼容性特征的三维对应关系分组方法。该方法首先通过计算关键点、法向量和特征描述子得到了源点云和目标点云的初始匹配集，即对应关系，然后通过计算不同匹配对之间的兼容性值为每根匹配对提取兼容性特征，将提取的特征通过MLP分类网络得到最终的输出类别。结果表明，相比于其他现有方法，本发明方法准确率高、时间复杂度低、泛化性强。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：计算源点云和目标点云的关键点，记源点云关键点为P

步骤2：计算源点云和目标点云关键点处的法向量；

步骤3：计算源点云和目标点云关键点处的特征描述子；

步骤4：计算源点云和目标点云关键点之间的对应关系，将对应关系作为匹配，由匹配组成初始匹配集，初始匹配集记作C＝{c

步骤5：获取初始匹配集中匹配的兼容性特征；

步骤5-1：假设

步骤5-2：定义刚性距离约束项：

其中，

定义法向量夹角约束项：

其中，

步骤5-3：兼容性值定义为：

其中，

步骤5-4：计算初始匹配集中每根匹配与其他所有匹配之间的兼容性值；

步骤5-5：对所有兼容性值由大到小进行排序，选取排序靠前的K个值作为兼容性特征；

步骤6：采用MLP网络对兼容性特征进行分类；

步骤6-1：将兼容性特征数据分为训练集和测试集，训练集和测试集的比例为a:1，网络训练的Mini-batch size设为B；采用Focal Loss作为损失函数；

步骤6-2：用训练集对MLP网络进行训练，直到MLP网络收敛；

步骤6-3：用测试集对收敛后的MLP网络分类结果进行评估；采用Precision精确度、Recall召回率和F-score三种结果进行评估，定义如下：

Precision定义：

Recall定义：

F-score定义：

其中，C

优选地，所述计算源点云和目标点云的关键点的方法为Harris3D关键点方法。

优选地，所述计算源点云和目标点云关键点处的特征描述子的方法为SHOT描述子。

优选地，所述K＝50，a＝4，B＝1024。

由于采用了本发明提出的一种基于兼容性特征的三维对应关系分组方法，带来了如下有益效果：

1、本发明方法时间复杂度低，本发明的时间开销第一个过程是在计算三维点云匹配关系上，属于必不可少的开销；第二个过程是在兼容性特征的计算上，但是第二个过程相对第一个过程耗时极低，网络只需训练一次，训练完成后就可用于其他匹配集合的测试。

2、本发明方法准确率高。通过在4个不同种类的点云数据库上实验发现，本发明在绝大多数情况下比现有的传统方法的准确率高。

3、本发明方法鲁棒性强。通过对数据加各种干扰，如高斯噪声、降采样，对比其它传统方法，本发明的抗干扰能力更强，效果更好。

4、本发明方法泛化性强。通过对不同的关键点、描述子生成匹配关系提取的兼容性特征，本发明依旧保持着较高的准确率。

附图说明

图1是本发明方法流程示意图。

图2是本发明方法兼容性特征的可视化图，(a)是正确匹配特征的可视化结果，(b)是错误匹配特征的可视化结果。

图3是本发明方法目标点云及加高斯噪声、随机降采样后的图像，(a)是目标原点云，(b)是对目标原点云加了0.3倍点云分辨率的高斯噪声，(c)是对目标原点云随机降采样到1/8。

图4是本发明实施例在U3M测试集下不同的算法的PRF结果对比图，(a)是Precision指标图，(b)是Recall指标图，(c)是F-Score指标图。

图5是不同干扰条件下生成的U3M测试集在本发明方法的PRF结果对比图，(a)是Precision指标图，(b)是Recall指标图，(c)是F-Score指标图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提出了一种基于兼容性特征的三维对应关系分组方法，包括以下步骤：

步骤1：计算源点云和目标点云的关键点，记源点云关键点为P

步骤2：计算源点云和目标点云关键点处的法向量；

步骤3：计算源点云和目标点云关键点处的特征描述子；

步骤4：计算源点云和目标点云关键点之间的对应关系，将对应关系作为匹配，由匹配组成初始匹配集，初始匹配集记作C＝{c

步骤5：获取初始匹配集中匹配的兼容性特征；

步骤5-1：假设

步骤5-2：定义刚性距离约束项：

其中，

定义法向量夹角约束项：

其中，

步骤5-3：兼容性值定义为：

其中，

步骤5-4：计算初始匹配集中每根匹配与其他所有匹配之间的兼容性值；

步骤5-5：对所有兼容性值由大到小进行排序，选取排序靠前的50个值作为兼容性特征；

步骤6：采用MLP网络对兼容性特征进行分类；

步骤6-1：将兼容性特征数据分为训练集和测试集，训练集和测试集的比例为4:1，网络训练的Mini-batch size设为1024；采用Focal Loss作为损失函数；

步骤6-2：用训练集对MLP网络进行训练，直到MLP网络收敛；

步骤6-3：用测试集对收敛后的MLP网络分类结果进行评估；采用Precision精确度、Recall召回率和F-score三种结果进行评估，定义如下：

Precision定义：

Recall定义：

F-score定义：

其中，C

优选地，所述计算源点云和目标点云的关键点的方法为Harris3D关键点方法。

优选地，所述计算源点云和目标点云关键点处的特征描述子的方法为SHOT描述子。

具体实施例：

本发明实施例提供的一种基于兼容性特征的三维对应分组算法，其流程如图1所示，包括从数据集中读取点云数据；计算点云的关键点和法向量；提取关键点处的特征，计算点云描述子；对源点云和目标点云进行特征匹配；对匹配集合进行兼容性特征提取，将兼容性特征输入MLP分类网络得到相应匹配的输出类别；对训练生成得到的网络进行一系列对比试验、分析实验以及泛化性实验。下面结合实施例来具体阐述本发明提供的这种基于兼容性特征的三维对应分组算法。

具体来说，要对两个点云的初始匹配集合对进行分组，即筛选出初始匹配集合中的正确匹配(内点)和错误匹配(外点)，并衡量对应关系分组结果的好坏，首先要计算源点云与目标点云的关键点和关键点处的法向量，接着需要描述关键点处的几何信息，也就是计算关键点处的特征描述子。根据源点云与目标点云的特征描述子，可以计算出两个点云关键点之间的对应关系，将这种对应关系作为匹配对。对于兼容性值的定义，它衡量的是匹配对与匹配对之间的关系，其取值范围为[0,1]，正确匹配与正确匹配一定是兼容的，其兼容性值取值接近于1，正确匹配与错误匹配是不兼容的，其兼容性值取值更接近于0，错误匹配与错误匹配基本上是不兼容的，其兼容性值取值也更趋近于0，例如某初始匹配集合中包含N个匹配对，那么某根匹配对与其他N-1根匹配对可以计算出N-1个兼容性值,选取排序后的Top-K个兼容性值就组成了该匹配对的兼容性特征。对初始匹配集合中的所有匹配对提取了兼容性特征后，可以开始对其进行分类。分类的方法是基于Pytorch设计了一个多层感知器网络，通过基于U3M数据集生成大量的兼容性特征进行预训练，在前面步骤的基础上，使用训练后的网络对初始匹配集合进行分组，最后计算网络分类的Precision(精度)、Recall(召回率)、F-Score来衡量算法的优劣。

做出以下规定：记源点云关键点为P

1、要对三维点云进行初始匹配计算，首先需要计算点云的关键点、法向量和描述子。关键点是能够表现出点云特征的一些点，如角点。关键点的计算方法有很多种，本实施例使用的是Harris3D关键点。计算描述子也被称为特征提取，是为了更进一步的描述关键点处的特征，本实施例使用的是SHOT描述子。在计算得到的初始匹配中，由于我们已经知道了点云的Ground Truth矩阵，所以可以通过GT矩阵获得初始匹配已有的正确匹配，即可以求得初始匹配中的内点数。

内点数(Inlier)：定义函数：

其中，R为旋转变换矩阵，t为平移变换矩阵。

当e(c

2、获取初始匹配集后，要开始计算初始匹配集中的兼容性值。兼容性值衡量的是匹配对与匹配对之间的关系，假设

对于

3、假设初始匹配集含N根匹配，对于每根匹配，都能计算出N-1个兼容性值，本发明选取了排序后的Top-50的兼容性值作为该匹配的兼容性特征。本发明通过实验证明了正确匹配和错误匹配的50维兼容性特征的可区分性，如图2所示，其中，(a)是正确匹配特征的可视化结果，(b)是错误匹配特征的可视化结果。通过特征的条形图可视化可以看出，正确特征与错误特征有明显的区分性，可以用于多层感知器网络进行分类。

一般来说，通过计算关键点、法向量、特征描述子产生的初始匹配内点率可能会很低，即初始匹配中含有大量错误匹配，仅包含少量正确匹配，而由兼容性值的定义可知，只有正确匹配与正确匹配的兼容性值取值更趋近于1，因此需要对匹配的兼容性值进行一个排序，选取排序后靠前的K组值作为兼容性特征，这样能确保匹配特征的准确性、可区分性。K值的取值范围不能过大也不能过小。如果K的取值范围过大，正确匹配和错误匹配的兼容性特征末端数据值趋于相似，末端数据对特征区分造成干扰，且特征维度高，增加了算法的时间复杂度。如果K的取值范围过小，错误匹配的特征可能与正确匹配的特征区分性不大，也不利于网络进行判断。本实施例通过实验证明K取50时效果较好。

4、在对网络进行训练之前，先对提取的兼容性特征数据进行预处理。将兼容性特征数据分为训练集和测试集，训练集和测试集的比例大约为4:1，网络训练的Mini-batchsize设为1024。由于初始匹配集合的内点率很低，即正确匹配的比例很低，因此损失函数采用了Focal Loss损失函数，该损失函数用于解决正负样本比例严重失衡的问题，降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。使用训练数据对网络进行迭代训练后，对测试集进行分类测试，采用Precision(精度)、Recall(召回率)、F-Score对测试集的分类结果进行评估。

分类采用的是一个MLP网络，网络结构具体包含6层(50-128-128-64-32-2)，输入是50维的兼容性特征，输出是网络判断是正确匹配和错误匹配的概率。具体操作过程为将U3M数据集按4:1的训练集测试集比例划分，最终得到训练样本的量级为490k左右，测试样本的量级为120k左右，训练过程中Mini-batch大小设为1024，由于点云初始匹配内点率很低，正负样本比失衡，损失函数使用Focal Loss，Focal Loss函数定义如下：

在网络收敛后，通过测试集在网络中呈现的Precision、Recall、F-score结果来对算法进行评估，其定义如下，其中，C

如图4所示，是U3M测试集在不同的算法中的PRF结果图(本方法简称NN，对比的方法为SS，NNSR，ST，RANSAC，GC，3DHV，GTM，SI，CV)，从图中可以看出，本发明提出的方法相比于其他方法分组效果更好。

为了衡量泛化性，本发明对目标点云数据加干扰，如高斯噪声，随机降采样，如图3所示，其中图(a)是目标原点云，(b)对点云加了0.3倍点云分辨率的高斯噪声，(c)对点云随机降采样到1/8，再通过源点云和目标点云生成的对应关系计算兼容性特征，生成测试数据；通过对不同的关键点、描述子生成匹配关系提取的兼容性特征生成测试数据，使用该网络进行测试；在其他数据库上生成测试数据进行测试。如图5所示是在不同的测试数据下本发明算法的Precision、Recall、F-score，经过与多个传统方法的实验对比发现，本发明提高了三维点云对应关系分组的精度和泛化性。