一种车身部分测量数据到整体CAD模型的配准方法

摘要

本发明公开了一种车身部分测量数据到整体CAD模型的配准方法，获取整体车身CAD模型与车身部分测量数据，得到待配准点云与目标点云，进而构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合，并进行预处理；并构建Spinnet点云神经网络提取描述子，得到各描述子集合；采用双向匹配对各描述子集合进行粗配准，并利用基于纠正法向量方向的NICP算法进行粗配准后的精配准；最后利用精配准后的匹配对集合的配准误差迭代得到高准确的匹配对集合；本发明通过构建基于深度学习的描述子，实现了从粗配准到精配准的算法模型，解决了现有技术中手工特征描述子不具有泛化性的缺点，克服了单个球体覆盖的单一性问题，在降低计算量的基础上全面提高了匹配的精度与效率。

说明书

技术领域

本发明涉及数字化检测技术领域，具体涉及一种车身部分测量数据到整体CAD模型的配准方法。

背景技术

在传统的制造行业当中，如飞机机体制造和汽车的车身制造，其表面的制造误差或装配误差对整个气动布局等性能指标都有着显著的影响，所以检测其误差是否在允许的范围之内是产品生命周期中至关重要的一环。传统的人工夹具的检测手段相当费时费力，而现今数字孪生的检测手段使整个过程实现了高效的自动化和智能化。物体的数字孪生通常是通过对物体外形进行非接触式的三维扫描，进而使得被检物体可以以密集三维点云的形式孪生在虚拟的计算机空间当中。

其中，关键步骤就是将局部的扫描点云与整体的CAD理想设计模型进行比对，其过程就是一个局部到整体的点云配准问题。但通常对于车身或者机身的点云来说，特征很不明显，在配准过程当中容易出现错误的匹配点对或者找到多个匹配点对，导致最终的配准结果错误，进而造成检测结果失效。

点云配准算法分为粗配准和精配准两个主要步骤，粗配准主要解决的问题是目标点云和待配准点云位姿相差较大的时候将两片点云拉到三个轴大致对齐的方向，而精配准将两片点云进行微调，达到合适的配准精度。

在局部到整体的点云配准当中，精配准依赖于粗配准当中找到的对应点，如果有较多的错误匹配点必然会影响到后面的精配准，所以在粗配准过程中需要将两片点云划分成多个子块，找到他们相似的子块来进行对齐。在子块(Patch)生成描述子的过程当中最常用到的是FPFH(Fast Point Feature Histogram)算法，它通过查询一定范围内相邻点之间的关系加权统计建立直方图，每个颜色的球体代表关键点的领域，并且大多数的点云块划分方法都与此类似。其它主要使用的算法还包括Shot(Signatures of Histograms ofOrientations)描述子，它是一种基于局部参考坐标系的描述子生成算法，以及基于RANSAC(Random Sample Consensus)匹配框架的4PCS(4-Points Congruent Sets)描述子，它们都通过固定的公式来计算出点云的特征。

这些现有的方法存在明显的三个缺点：

1)在关键点检测方面需要对所有点进行遍历计算才能最终判断哪些是需要进行匹配的关键点，这无疑需要庞大的计算量，造成整个配准的时效性很差，无法支持智能制造中的在线检测要求；

2)现有技术方案中的点云描述子大多数都是采用手工特征的计算方法，这样会造成不必要的计算资源浪费，并且手工特征计算出来的描述子不具备泛化性，当目标点云是由比较规整、平滑或者特征不明显的物体扫描得到时就会产生过多错误的点对，直接导致最终结果差；

3)当点云中存在大量噪声时，直接使用普通的ICP算法来缩进点与点之间距离的效果不好，因为噪声点并不是对应的正确点。

发明内容

针对现有技术中的上述不足，本发明提供一种车身部分测量数据到整体CAD模型的配准方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种车身部分测量数据到整体CAD模型的配准方法，包括以下分步骤：

S1、离散化车身整体CAD模型得到车身的目标点云；

S2、采集车身部分测量数据，得到待配准点云；

S3、根据待配准点云与目标点云分别构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合；

S4、分别对基于待配准点云的RSCS集合、基于目标点云的RSCS集合进行预处理；

S5、利用三重损失函数训练Spinnet点云神经网络，得到优化后的Spinnet点云神经网络；

S6、利用优化后的Spinnet点云神经网络分别提取预处理后的基于待配准点云的RSCS集合、基于目标点云的RSCS集合中的描述子，并分别得到基于待配准点云的描述子集合与基于目标点云的描述子集合；

S7、利用双向匹配对步骤S6中各描述子集合进行粗配准，得到粗配准后的匹配对集合；

S8、利用基于纠正法向量方向的NICP算法对粗配准后的匹配对集合进行精配准；

S9、获取精配准后的匹配对集合的配准误差，并根据配准误差回到步骤S3重新构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合，直到满足预设的配准误差阈值。

本发明具有以下有益效果：

通过采集车身部分测量数据，得到待配准点云，通过离散化车身整体CAD模型得到车身的整体目标点云，并分别构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合，并对集合进行预处理；利用三重损失函数训练Spinnet点云神经网络，并利用该网络提取描述子，得到基于待配准点云的描述子集合与基于目标点云的描述子集合；利用双向匹配对各描述子集合进行粗配准，并利用基于纠正法向量方向的NICP算法进行粗配准后的精配准；获取精配准后匹配对集合的配准误差重新构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合，迭代得到准确的匹配对集合；本发明通过构建基于深度学习的描述子，设计、实现了一个高效地将车身局部测量数据点云与车身整体CAD理想设计模型进行从粗配准到精配准的完整算法模型，解决了传统手工特征建立的描述子不具有泛化性的缺点，构建的RSCS集合克服了经典的单个球体覆盖的单一性问题，与传统的关键点检测算法相比可以大大降低计算量，显著提高效率，结合基于纠正法向量方向的NICP算法，能全面提高最终匹配的精度与效率。

附图说明

图1为本发明提供的一种车身部分测量数据到整体CAD模型的配准方法的步骤流程图；

图2为本发明实施例中优化后的Spinnet点云神经网络的结构示意图；

图3为本发明实施例中多尺度RSCS的最终分块以及配对效果示意图；

图4为本发明实施例中粗配准效果图；

图5为本发明实施例中精配准效果图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，本发明实施例提供一种车身部分测量数据到整体CAD模型的配准方法，包括以下分步骤：

S1、离散化车身整体CAD模型得到车身的目标点云；

S2、采集车身部分测量数据，得到待配准点云；

S3、根据待配准点云与目标点云分别构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合；

本发明实施例中，采用RSCS(Random sphere cover set,随机球体覆盖集合)来替代关键点检测的操作，RSCS是一个随机的覆盖球体集合。

优选地，步骤S3具体为：

在待配准点云中随机选取点云中的一个点作为球体的球心，并预设半径，并以球体内的点云构建单个点云球体；选择该单个点云球体外的任一点作为球体的球心，构建其余单个点云球体，直到遍历待处理点云，得到基于待配准点云的RSCS集合；同理，遍历目标点云，得到基于目标点云的RSCS集合，其中，预设半径的表达式为：

其中，Radius为预设半径值，π为常数值，m为进行匹配的Patch个数，即为单个点云球体的个数，在6自由度空间当中需要找到3个匹配才能计算出唯一的旋转矩阵，所以第一个m设置为3，并且达到0.7的覆盖率，V为待配准点云的最小包围球体积。

本发明实施例中，通过随机挑选一个点作为球体的球心，并设置半径R。以球心为中心计算周围与球心距离小于R的点，这些点集形成单个Patch(点云球体)，继续随机选取一个不属于任何Patch的点作为球心并重复以上步骤，直到所有的点云被一定数量的Patch所覆盖，这些Patch就形成了一个RSCS集合；以离散化车身整体CAD理想设计模型得到的点云为目标点云，真实车身的局部测量点云为待配准点云，对这两片点云分别执行一次RSCS生成操作，分别得到目标点云和待配准点云的RSCS集合。设目标点云的RSCS为P＝{p

并设置初始半径为R，依照球体体积计算公式的变形公式进行一个大概的估算，总共的候选半径为4个，m分别为3，6，12，24，最终形成多尺度的RSCS，这样可以增加球体覆盖点集合的多样性。

S4、分别对基于待配准点云的RSCS集合、基于目标点云的RSCS集合进行预处理；

优选地，步骤S4具体为：

根据预设的单个点云球体密度对基于待配准点云的RSCS集合、基于目标点云的RSCS集合进行预处理，若RSCS集合中单个点云球体的密度小于预设的单个点云球体密度，则删除该单个点云球体；得到预处理后的基于待配准点云的RSCS集合与预处理后的基于目标点云的RSCS集合。

本发明实施例中，在RSCS集合形成之后，需要根据每个Patch的密度来进行过滤，丢弃一些密度较小的Patch，在此将把一些Patch当中所涵盖的点小于10的Patch直接丢弃，则得到预处理后的基于待配准点云的RSCS集合与预处理后的基于目标点云的RSCS集合。

S5、利用三重损失函数训练Spinnet点云神经网络，得到优化后的Spinnet点云神经网络；

优选地，步骤S5中三重损失函数表示为：

其中，L为三重损失函数值，

本发明实施例中，在训练网络时，提前加载在3DMATCH和KITTI数据集上的预训练网络参数。最后在ABC(A Big CAD Model Dataset For Geometric Deep Learning)数据集上制作了1000组Patch对，每个Patch用RSCS进行划分，再通过人工的方式标注出同类分块样本和不同类的分块样本，最后完成整个网络的参数训练。在训练完之后分别将目标点云RSCS和待配准点云的RSCS当中的每个Patch送入网络形成每个Patch的描述子，则两个RSCS的Patch描述子集合分别为D＝{d

S6、利用优化后的Spinnet点云神经网络分别提取预处理后的基于待配准点云的RSCS集合、基于目标点云的RSCS集合中的描述子，并分别得到基于待配准点云的描述子集合与基于目标点云的描述子集合；

S7、利用双向匹配对步骤S6中各描述子集合进行粗配准，得到粗配准后的匹配对集合；

本发明实施例中，在初始匹配阶段，一个待配准点云的描述子(描述子是RSCS当中的Patch经过spinnet点云神经网络输出的一个32维向量)可能会在目标点云的描述子集合中找到多个对应的描述子，甚至可能会产生非对应点的相似度大于匹配点相似度的情况，所以对于描述子的匹配采用双向匹配以优化上述问题；其中双向匹配具体为：找到P在Q当中的描述子(P和Q分别指目标点云和待配准点云，欧氏距离计算的是P的Patch和Q的Patch经过神经网络形成的描述子之间的距离)欧氏距离最小的Patch对，进而对此时Q当中的这个Patch反向的在P中找到其描述子欧氏距离最小的Patch，如果在P中找到的这个Patch正好相一致，那么就保留此Patch对，否者抛弃。最后我们将得到m个Patch对，形成初始变换矩阵。

优选地，步骤S7具体包括以下分步骤：

A1、计算基于待配准点云的描述子集合与基于目标点云的描述子集合中各描述子的欧氏距离；

A2、根据各描述子的欧氏距离选择最小欧氏距离所对应的描述子对，得到匹配对；

实际中，找到目标点云P在待配准点云Q当中描述子中最小欧氏距离所对应的描述子对，进而对此时待配准点云Q当中的这个Patch反向的在目标点云P中找到其描述子欧氏距离最小的Patch，如果在目标点云P中找到的这个Patch正好相一致，那么就保留此Patch对，否者抛弃，最后得到匹配对。

A3、构建变换矩阵，并结合匹配对得到粗配准后的匹配对集合。

本发明实施例中，基于粗配准后的匹配对集合的最优分块示意图，如图3所示。

优选地，步骤A3具体为：

B1、根据基于待配准点云的RSCS集合、基于目标点云的RSCS集合构建单个点云球体的中心点点集，并根据中心点点集计算形心；

B2、根据形心计算协方差矩阵，其中，协方差矩阵计算式表示为：

其中，h为协方差矩阵，

B3、对协方差矩阵进行SVD分解，并根据分解后的左奇异向量和右奇异向量得到旋转矩阵；

本发明实施例中对矩阵h进行SVD分解，将其左奇异向量U和右奇异向量V相乘得到旋转矩阵R，旋转矩阵表示为：R＝UV

B4、根据旋转矩阵构建平移矩阵，并根据旋转矩阵与平移矩阵，对匹配对中待配准点云到目标点云的旋转与平移，得到初配准后的匹配对集合，其中，旋转矩阵与平移矩阵作为变换矩阵。

本发明实施例中，平移矩阵表示为：

本发明实施例中，经过粗配准后，局部测量数据到整体车身配准的放大效果图，即粗配准效果图如图4所示。

本发明实施例中，根据初始化的平移矩阵与初始化的旋转矩阵构建目标优化式，并根据目标优化式进行得到平移矩阵与旋转矩阵；其中目标优化式表示为：

其中，T为平移矩阵，R为旋转矩阵，平移矩阵与旋转矩阵即为变换矩阵，x

对于，该目标优化式，这个最小二乘问题可以通过奇异值分解(SVD，SingularValue Decomposition)来进行求解，首先以每个RSCS当中每个Patch的中心点形成点集，及每个Patch的球心点集，来计算两个点集的形心，再结合两个点集的形心计算得到一个协方差矩阵h，接着对矩阵h进行SVD分解，将其左奇异向量U和右奇异向量V相乘得到旋转矩阵R。

S8、利用基于纠正法向量方向的NICP算法对粗配准后的匹配对集合进行精配准；

本发明实施例中，解出初始的变换矩阵以后需要把对应点集进行精配准以进一步的缩小局部测量点云到整体目标点云的匹配误差，这一步基于NICP算法来进行。传统的ICP算法通过缩小两片点云之间最近点集的距离来进行旋转和平移，其默认最近点为对应点，并不断迭代这个过程直到最近点之间的距离小于某个设定的阈值为止。当局部测量点云含有较多噪声和不同的密度分布时，最近点或者初始计算的对应点不一定是其对应点，所以简单将最近点当作对应点的匹配精度较差，因而在此不再使用传统的点到点的距离，而采用基于纠正法向量方向的NICP算法，其不但要求距离接近还需要点附近的法向量和曲率相近，具有一定程度上的语义信息；基于纠正法向量方向的NICP算法具体为：首先要最小化法向量之间的距离就需要算出点之间的法向量，法向量的计算公式同样采用对协方差矩阵进行SVD分解来得到。

优选地，步骤S8具体包括以下分步骤：

C1、根据粗配准后的匹配对集合计算特征向量，并选择最小特征值所对应的特征向量作为法向量；

优选地，步骤C1具体为：

根据粗配准后的匹配对集合构建协方差矩阵，并对协方差进行SVD分解，得到各匹配点间的法向量，其中协方差表示为：

其中，h*为基于粗配准后的匹配对集合的协方差矩阵，(.)

本发明实施例中，可以算出三个特征值分别对应三个特征向量，其中最小特征值对应的特征向量为法向量。

C2、量化法向量与邻域点间的关系，并根据关系修正法向量的方向，得到修正方向后的法向量；

优选地，步骤C2具体为：

量化法向量与邻域点间的关系，并根据关系修正法向量的方向，其法向量与邻域点间关系的量化过程表示为：

其中，r为量化后的法向量与领域点间的关系，n

若量化后的法向量与邻域点间的关系小于预设阈值，则法向量的方向取反，即添加负号，否则保持当前法向量的方向不变，即保证当前法向量的正负号不变；得到修正方向后的法向量。

本发明实施例中，初始化精配准后的匹配对集合中的法向量在实际情况中方向是不确定正反的，这样会造成相似属性点计算出的法向量夹角差别巨大，导致最终丢失了一些重要的点对，因此通过量化法向量与邻域点间的关系来纠正方向，具体为：如果量化后的法向量与领域点间关系r的结果大于或等于0，那么法向量的正负号保持不变，否则加负号。

C3、根据各匹配点间的特征向量计算曲率，并根据预设曲率值从粗配准后的匹配对集合筛选与法向量方向一致且距离相近的匹配对点，其中曲率的计算式表示为：

其中，α为曲率，λ

本发明实施例中，曲率的作用主要是用来剔除一些不相关的点对。

C4、构建最小化目标式，并利用最小化目标式最小化与法向量方向一致且距离相近的匹配对点，得到精配准后的匹配对集合。

本发明实施例中，最小化目标式的作用是最小化两中心点的距离和法向量夹角。

优选地，步骤C4中最小化目标式表示为：

其中，

S9、获取精配准后的匹配对集合的配准误差，并根据配准误差回到步骤S3重新构建基于待配准点云的RSCS集合、基于目标点云的RSCS集合，直到满足预设的配准误差阈值。

本发明实施例中，单一尺度的Patch始终存在覆盖的点集合特征不明显的问题，所以每一次经过完整过程的配准之后都需要记录配准误差，然后重新挑选半径R来对待配准点云和目标点云进行一次RSCS操作，直到满足预设的配准误差阈值，在本实施例中循环四次，候选半径为4个，其中m取值分别为3、6、12、24，最终得到多尺度的RSCS，增加球体覆盖点集合的多样性，在挑选R过程中，需要使R覆盖的点集合的特征尽可能的明显，以便后面的粗配准能得到更高的精度；其中精配准的效果如图5所示。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。