一种基于三维特征点的装配状态识别方法

摘要

本发明提出了一种基于三维特征点的装配状态识别方法，首先提取数字模型的边角特征，然后结合尺寸特征、空间分布等特性实现深度图像点云中属于在装产品特征点及点云的提取与分割，根据在装产品特征点建立坐标系描述符，然后统计不同数字模型特征点坐标系描述符下二者特征点的匹配结果，以匹配数量及欧氏距离为约束条件选取最优解建立特征点映射关系。根据特征点映射关系实现数字模型点云与在装产品点云的配准，然后分析匹配点对的数目和间距大小进行点云相似度的运算，结合相似度分析结果实现产品装配姿态与进度状态的识别。实验表明，该方法可以快速有效地识别产品的装配状态。

说明书

技术领域

本发明属于计算机辅助装配领域，具体为一种以三维装配体点云为输入、以数字模型为模板、以装配进度状态为识别结果的方法。

背景技术

在数字化设计环境中，企业通常具备产品详细的数字模型。利用装配现场提取的在装产品深度图像数据与产品数字三维模型进行自然特征信息的匹配分析，可以实现无标记的装配对象位姿与进度的识别，进而解决图形标签难以贴在零件表面、零件无纹理导致的难以通过二维图像识别的问题。为了节约识别的时间成本，装配状态的识别首先要提取数字模型与在装产品的特征，然后基于所提取的特征给出识别方法。目前已经出现了一些用于不同特征的三维对象识别方法：

在专利“面向模型检索的装配体模型定量描述方法(CN105574265A，公开日期：20160511)”中提出了一种基于零件形状匹配的装配体描述方法，该方法在多维空间中描述零件形状分布信息，采用零件集合的形式对装配体进行描述。但进一步研究发现这种方法在描述相同零件组成但不同连接关系的装配体时会得到相近的结果，不符合识别的要求。

在文献“Ke Wang,Daxin Liu,Zhenyu Liu,et al.A fast object registrationmethod for augmented reality assembly with simultaneous determination ofmultiple 2D-3D correspondences.2020,63”中对单位视点球面进行均分以此渲染出一组关键帧，压缩后从其余关键帧中提取线链特征(COLF)作为2D特征。该方法的限制在于目标对象需要包含大量的线段，否则会降低配准率甚至会导致识别失败。

在专利“一种三维点云数据特征点提取方法及应用(CN111710023A，公开日期：20200925)”中提出了一种基于三维点云数据的特征点提取方法，对深度相机采集的点云数据进行高斯滤波降噪处理，根据构造的特征点度量函数与阈值进行比较提取特征点。这种方法虽说一定程度降低了图像的噪声，但条纹状的噪声和一些噪声点仍然存在，会产生较大误差甚至是错误的结果点，影响后续的点云配准甚至会导致识别失败。

发明内容

针对零件无纹理时二维图像难以识别以及深度图像噪声不易处理的问题，本发明通过视觉捕捉边角特征量化装配对象，提出了一种基于三维特征点的装配状态识别方法。根据装配体结构特征和曲率之间的关系实现特征点的提取，以特征点的映射关系为输入实现数字模型与在装产品的点云配准，并进行点云相似度的计算，通过分析点云相似度实现产品装配状态的识别，输出在装产品的位姿与装配进度信息。

本发明的技术方案为：

所述一种基于三维特征点的装配状态识别方法，包含以下步骤：

步骤1：对装配体的各装配阶段模型进行分析，对装配体模型表面进行网格划分，获得各装配阶段的零部件点云

步骤2：根据网格节点间的连接关系集合

步骤3：对周角数值集合

步骤4：计算特征点周角差值阈值θ

其中r为产品模型的最大倒圆角半径，R为曲面最大边缘半径，b为网格尺寸；若产品模型中无圆角，则

步骤5：在周角差值集合

步骤6：采用深度相机拍摄装配场景，进而获取三维点云数据并进行栅格化处理，对每一个栅格内的点云取其数值最大的点作为该栅格的数值，得到栅格化的装配场景点云矩阵M

步骤7：以每一栅格的中心点与栅格内的两点构成的三角作为表面网格，以

步骤8：分析装配场景各点的周角差值，提取装配平面上的点

步骤9：依据在装产品特征点的空间分布，构建在装产品特征点的坐标系，并建立坐标系描述符，获取在装产品特征点在坐标系描述符下的各点坐标数值；

步骤10：选定数字模型特征点构建数字模型特征点坐标系描述符，然后建立特征点映射关系；

步骤11：以特征点映射关系作为配准迭代的输入信息，实现在装产品与数字模型点云的配准；

步骤12：对配准后的数字模型点云进行栅格化，获得数字模型的栅格化点云矩阵

步骤13：依据配准后的点云数据，通过分析匹配点对个数和间距大小实现装配状态相似度分析；

步骤14：结合相似度分析结果实现产品装配状态识别。

进一步的，步骤1中，在装配坐标系中通过网格划分软件对模型表面进行网格划分，将网格节点存储在零部件点云

进一步的，步骤2中具体过程为：

步骤2.1：读取

步骤2.2：将三个节点夹角添加到周角数值集合

步骤2.3：对

进一步的，步骤3中，对周角数值集合

进一步的，步骤8中，具体步骤为：

步骤8.1：对点集

步骤8.2：建立装配平面拟合方程，对

进一步的，步骤9中，具体步骤为：

步骤9.1：搜寻在装产品特征点

步骤9.2：采用

步骤9.3：得到特征点集的空间旋转平移矩阵表达式

其中θ表示向量

进一步的，步骤10中，具体步骤为：

步骤10.1：在以特征点

通过D

步骤10.2：建立并设定最大匹配个数G及累计匹配间距L；

步骤10.3：分析D

步骤10.4：获得当前坐标系下的模型特征点

步骤10.5：当g＞G或者g＝G且l＜L，则令G＝g，L＝l，并建立特征点映射集合

步骤10.6：从模型的周角差值特征点集合中重新选取两个元素作为

进一步的，步骤13中，具体步骤为：

步骤13.1：读入栅格化的在装产品点云矩阵M

步骤13.2：读入第k个装配阶段的模型栅格化点云

步骤13.3：判断M

步骤13.4：判断M

步骤13.5：判断M

步骤13.6：循环进行步骤13.3至步骤13.5直至完成M

步骤13.7：依据n

采用

步骤13.8：循环步骤13.2～步骤13.7，直至对所有装配阶段的全部元素完成相似度分析，并由各装配阶段的相似度构建相似度序列R

进一步的，步骤14中，具体步骤为：

步骤14.1：读入相似度分析得出的各装配状态相似度数值，从中寻找相似度最大项并记其在相似度序列R

步骤14.2：以序号s在数字模型中所对应阶段作为识别结果。

有益效果

本发明通过视觉捕捉边角特征量化装配对象，提出了一种基于三维特征点的装配状态识别方法，首先提取数字模型的边角特征，然后结合尺寸特征、空间分布等特性实现深度图像点云中属于在装产品特征点及点云的提取与分割，根据在装产品特征点建立坐标系描述符，然后统计不同数字模型特征点坐标系描述符下二者特征点的匹配结果，以匹配数量及欧氏距离为约束条件选取最优解建立特征点映射关系。根据特征点映射关系实现数字模型点云与在装产品点云的配准，然后分析匹配点对的数目和间距大小进行点云相似度的运算，结合相似度分析结果实现产品装配姿态与进度状态的识别。实验表明，该方法可以快速有效地识别产品的装配状态。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明方法具体实施方式中某机械加工定位夹具装配体实例。

图2是本发明方法具体实施方式中装配体数字模型的点云数据。

图3是本发明方法具体实施方式中数字模型点云中特征点提取结果。

图4是本发明方法具体实施方式中由深度相机采集在装产品所在装配场景的点云可视化数据。

图5是本发明方法具体实施方式中在装产品所在装配场景的点云栅格化处理后的可视化数据。

图6是本发明方法具体实施方式中装配场景栅格化点云中特征点提取结果。

图7是本发明方法具体实施方式中装配场景栅格化点云中装配水平面提取结果。

图8是本发明方法具体实施方式中在装产品点云的分割与空间姿态变换结果。

图9是本发明方法具体实施方式中在装产品和数字模型点云特征点映射关系的构建方法流程图。

图10是本发明方法具体实施方式中特征点映射关系的构建结果。

图11是本发明方法具体实施方式中在装产品和数字模型点云配准结果。

图12是本发明方法具体实施方式中基于临近点占比的相似度分析方法流程图。

具体实施方式

本发明首先通过对装配体的数字模型及深度相机采集的在装产品三维点云数据提取特征点，然后在数字模型特征点中匹配在装产品的特征点并建立映射关系。依据特征点映射关系，使数字模型与在装产品实现点云配准，最终通过基于临近点占比的相似度分析实现产品装配状态的识别。

参照图1～图12，针对某机械加工定位夹具装配体，本实施例基于三维特征点的装配状态识别方法具体步骤如下：

步骤1：为了节约装配状态识别的时间成本，本实施例通过对三维对象提取特征点来减少后续的分析时间。对装配体的各装配阶段模型进行分析，在装配坐标系中对模型表面进行网格划分，获得各装配阶段的零部件点云

(1)对于模型表面，在装配坐标系中通过网格划分软件进行采样，采集的点存储在零部件点云

(2)在划分网格过程中获得网格节点间的连接关系集合

建立周角数值集合

步骤2：根据网格节点间的连接关系集合

(1)读取

(2)然后将三个节点夹角添加到

步骤3：对周角数值集合

步骤4：计算特征点周角差值的阈值θ

网格节点的周角与2π的差值越大表明该点所在表面的弯曲程度越大，可以认为当网格节点的周角差值大于某一阈值时，该点为周角差值特征点。表面弯曲程度以高斯曲率为内在度量，在微分几何中表达为K＝k

表1

其中r为模型的最大倒圆角半径，R为曲面最大边缘半径，b为网格尺寸。此外非棱边或顶点的曲面其曲率极大值远大于圆角的曲率

x

设三角网格中心点位于球面与z轴的交点

球面由该z轴平面截得的半径为

因此，由微分几何得出特征点周角差值的阈值θ

步骤5：在

步骤6：采用深度相机拍摄装配场景以获取三维点云数据并进行栅格化处理，对每一个栅格内的点云取其数值最大的点作为该栅格的数值，得到栅格化的装配场景点云矩阵M

步骤7：以每一栅格的中心点与栅格内某两点，如与中心点相邻的两点，构成的三角作为表面网格，以

步骤8：分析装配场景各点的周角差值，提取装配平面上的点

(1)当表面高斯曲率越小时，其表面上点的周角差值越接近于零。故对

(2)建立装配平面拟合方程，对

其中r

步骤9：依据在装产品特征点的空间分布，构建在装产品特征点的坐标系，并建立坐标系描述符，最后获取在装产品特征点在坐标系描述符下的各点坐标数值；具体步骤如下：

(1)搜寻在装产品特征点

(2)采用

(3)特征点集的空间旋转平移矩阵表达式如下：

式中：

θ——向量

t

t

此时在装产品的周角差值特征点为

步骤10：选定数字模型特征点构建数字模型特征点坐标系描述符，然后建立特征点映射关系，具体步骤如下：

(1)在以特征点

通过D

(2)建立并设定最大匹配个数G及累计匹配间距L；

(3)分析D

(4)获得当前坐标系下的模型特征点

(5)匹配原则为在保持特征点匹配数目的前提下选取累计匹配间距数值最小的特征点作为匹配结果。因此当g＞G或者g＝G且l＜L，这两种情况使得当前配准向量下的特征点匹配程度相较于其余已分析情况的匹配程度更高。此时令G＝g，L＝l，并建立特征点映射集合

(6)重新选取一组新的模型特征点并循环(1)至(5)，直至完成所有模型特征点对的组合，在分析过程中经多次更新，最终得到的映射

步骤11：以特征点映射关系作为配准迭代的输入信息，采用ICP配准方法实现在装产品与数字模型点云的配准。点云配准结果如图11所示。

步骤12：对配准后的数字模型点云进行栅格化，获得数字模型的栅格化点云矩阵，即

以各点至视点的距离为依据，不断地由距视点更近的点取代先前的点，并将每完成一个装配阶段的点集记录为该装配阶段对应模型可视部分栅格化的结果，即在装配阶段Stage

步骤13：依据配准后的点云数据，通过分析匹配点对个数和间距大小建立基于临近点占比的装配状态相似度分析方法，具体步骤如下：

(1)读入在装产品栅格化点云M

(2)读入装配阶段Stage

(3)判断M

(4)判断M

(5)判断M

(6)循环进行(3)至(5)直至完成M

(7)依据n

采用

(8)循环(2)至(7)，直至对所有装配阶段的全部元素完成相似度分析，并由各装配阶段的相似度构建相似度序列R

基于临近点占比的相似度分析方法流程图如图12所示。

步骤14：结合相似度分析结果实现产品装配状态识别的具体步骤如下：

(1)读入基于临近点占比的相似度分析方法得出的各装配状态相似度数值，从中寻找相似度最大项并记其在相似度序列R

(2)以序号s在数字模型中所对应的阶段Status

建立用于存储某机械加工定位夹具装配体的数字模型数据库。表2所示为本发明方法具体实施方式中以八个视角采集的在装产品点云数据作为输入获取的相似度分析结果以及在装产品装配状态的识别结果。

表2

该实施实例表明，本发明提出的一种基于三维特征点的装配状态识别方法能够实现数字模型特征点和在装产品特征点映射关系的建立以及点云的配准，在点云配准的基础上实现了基于相邻点占比的相似度计算，然后依据相似度结果，在以相似度最大的装配状态为识别结果的过程中具有较好识别成功率。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。