法律状态公告日
法律状态信息
法律状态
2022-09-16
实质审查的生效 IPC(主分类):G06T 7/11 专利申请号:2022105687166 申请日:20220524
实质审查的生效
技术领域
本发明涉及三维点云处理技术领域,特别是指一种基于移动最小二乘法与超体素的3D点云分割方法和装置。
背景技术
工业机器人是融合多学科、多领域的先进技术,是一个国家科技发展水平和国民经济现代化、信息化的重要标志。此外,工业机器人已广泛应用于各种自动化操作,如自动化分拣、装配、焊接、磨削等。视觉系统在机器人应用中的作用则是测量、识别及定位目标物体,为工业机器人提供目标物体的类型及位姿信息。三维视觉系统由于其能获取更多目标物的位姿,深度或物体表面点云等信息,逐渐被应用于工业机器人中。
三维分割作为三维视觉系统的一部分,其分割结果将影响到工业机器人应用的精度。三维点云分割方法包括传统点级聚类方法、基于深度学习的分割方法。基于深度学习的分割方法需要大量的训练数据,而三维标注数据的获取远比二维数据耗费人力,不适合在工程中应用。工程多采用点级聚类方法,包括欧式聚类、区域生长分割算法等,但对于大数据量的点云,这些方法计算消耗大,效率较低。且对于工业应用中易出现的点云粘连现象容易造成分割不准确。
发明内容
本发明的主要目的在于克服现有技术的工业机器人应用中,由于场景复杂性,多个相似物体杂乱堆叠、三维相机拍摄角度导致的点云粘连,而点云粘连会导致点云分割结果不稳定,不准确的上述缺陷,提出一种基于移动最小二乘法与超体素的3D点云分割方法和装置,有效去除点云粘连现象,提高分割准确率。
本发明采用如下技术方案:
一种基于移动最小二乘法与超体素的3D点云分割方法,应用于去除工业机器人中的点云粘连,其特征在于,包括如下步骤:
步骤1:获取工业机器人提供的目标物体的点云数据;
步骤2:对点云数据进行点云背景去除及去除明显离群点;
步骤3:通过八叉树对处理后的点云数据进行体素化处理,分成大小相同的体素,以最接近预设超体素分辨率网格中心的体素作为种子体素,并筛除不合格的种子体素,根据体素间的特征距离S进行区域生长,形成初始超体素,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,重新分配种子点,二次聚类,形成最终的优化超体素;
步骤4:以超体素为基本单元,计算相邻超体素的自适应融合多特征相似性,根据特征距离阈值判断是否进行融合,融合特征距离小于阈值的相邻超体素,最终完成点云实例分割并输出实例分割结果。
优选的,步骤2具体包括如下:
步骤2.1:使用RANSAC平面分割算法去除点云数据的平面背景;
步骤2.2:使用统计滤波器对点云数据进行显著离群点去除。
优选的,步骤3中,分成的所述体素为立方体体素,边长为R
其中n为体素V中包含点个数。
优选的,步骤3中,所述不合格的种子体素是指该种子体素周围的体素不足,即在给定搜索范围内,该种子体素没有足够的体素包围;设定种子体素分辨率为R
优选的,步骤3中,所述体素间的特征距离S具体为
R
S
优选的,步骤3中,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,具体步骤为:
首先,对拟合范围r的点p
E=∑w(‖p
其中,w(‖p
其次,利用移动最小二乘法拟合该局部区域,拟合方程为:
l(x,y)=[1,x,y,x
其中,x,y为拟合曲面方程点的空间位置,l(x,y)为拟合函数的基函数,l
J=∑w(‖p
可得移动最小二乘拟合曲面上p
P
最后,将拟合范围内所有的点替换成其拟合曲面上的点p
优选的,步骤4中,计算相邻超体素的自适应融合多特征相似性距离,具体步骤为:
假设两个相邻超体素p
δ
结合凹凸性判断对几何特征距离进行修正,若超体素面片经判断为有效凸性连接,则几何特征距离减半,即
再进行归一化处理:
δ(p
其中T
T
T
由此可得两相邻超体素的自适应融合多特征相似性距离δ(p
优选的,两相邻超体素的凹凸性判断具体步骤为:
假设α
一种基于移动最小二乘法与超体素的3D点云分割装置,其特征在于,包括如下:
数据获取模块,用于获取工业机器人提供的目标物体的点云数据;
预处理模块,用于对点云数据进行点云背景去除及去除明显离群点
超体素生成模块,用于通过八叉树对处理后的点云数据进行体素化处理,分成大小相同的体素,以最接近预设超体素分辨率网格中心的体素作为种子体素,并筛除不合格的种子体素,根据体素间的特征距离S进行区域生长,形成初始超体素,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,重新分配种子点,二次聚类,形成最终的优化超体素;
超体素融合模块,用于以超体素为基本单元,计算相邻超体素的自适应融合多特征相似性,根据特征距离阈值判断是否进行融合,融合特征距离小于阈值的相邻超体素,最终完成点云实例分割。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
1)本发明在过分割过程,采用移动最小二乘法曲面拟合来优化生成的超体素块,有效去除点云粘连现象,提高分割准确率。
2)本发明基于超体素的实例分割算法,对点云数据有简化效果,在工业应用中能节省点云后续配准、位姿估计等操作的计算、时间消耗。
附图说明
图1是本发明方法流程图;
图2使示范例经过预处理后的效果图;
图3是凹凸性判断准则说明图;
图4是点云粘连去除范例;
图5是点云实例分割结果范例。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明中,对于术语“第一”、“第二”、“第三”等仅用于区别类似的对象,而不必用于描述特定的顺序或先后次序,也不能理解为指示或暗示相对重要性。对于描述中,采用了“上”、“下”、“左”、“右”、“前”和“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明,而不是指示或暗示所指的装置必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
另外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
参见图1,一种基于移动最小二乘法与超体素的3D点云分割方法,去除工业机器人应用中,由于场景复杂性,多个相似物体杂乱堆叠及三维相机拍摄角度导致的点云粘连。包括如下步骤:
步骤1:获取工业机器人提供的目标物体的点云数据,其可包括目标物的位姿,深度或物体表面点云等信息。
步骤2:对点云数据进行点云背景去除及去除明显离群点。具体包括如下:
步骤2.1:使用RANSAC平面分割算法去除点云数据的平面背景;
步骤2.2:使用统计滤波器对点云数据进行显著离群点去除。
经过该步骤处理后的效果图如图2所示。
步骤3:通过八叉树对处理后的点云数据进行体素化处理,分成大小相同的体素,以最接近预设超体素分辨率网格中心的体素作为种子体素,并筛除不合格的种子体素,根据体素间的特征距离S进行区域生长,形成初始超体素,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,重新分配种子点,二次聚类,形成最终的优化超体素。
该步骤中,通过八叉树分成的体素为立方体体素,边长为R
其中n为体素V中包含点个数。
其中,对于筛除不合格的种子体素,不合格的种子体素是指该种子体素周围的体素不足,即在给定搜索范围内,该种子体素没有足够的体素包围;设定种子体素分辨率为R
只有在搜索范围内,包围体素数量符合n>min_n的种子体素被保留下来成为初始种子体素。
进一步的,计算体素间的特征距离S,根据体素间的特征距离S进行区域生长,形成初始超体素。体素间的特征距离S为:
R
S
即对空间距离特征和法向量特征进行归一化处理,可得到体素间特征相似性即体素间的特征距离S。
进一步的,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,具体步骤为:
首先,对拟合范围r的点p
E=∑w(‖p
其中,w(‖p
其次,利用移动最小二乘法拟合该局部区域,拟合方程为:
l(x,y)=[1,x,y,x
其中,x,y为拟合曲面方程点的空间位置,l(x,y)为拟合函数的基函数,l
J=∑w(‖p
可得移动最小二乘拟合曲面上p
P
最后,将拟合范围内所有的点替换成其拟合曲面上的点P
步骤4,以超体素为基本单元,计算相邻超体素的自适应融合多特征相似性,根据特征距离阈值判断是否进行融合,融合特征距离小于阈值的相邻超体素,最终完成点云实例分割并输出实例分割结果。
该步骤中,计算相邻超体素的自适应融合多特征相似性距离,具体步骤为:
假设两个相邻超体素p
δ
考虑到基于凹凸性分割算法中,两相邻面片为凸性连接时,为同一物体的可能性更大,因此结合凹凸性判断对几何特征距离进行修正,参见图3,两相邻超体素的凹凸性判断具体步骤为:
假设α
判断两向量超体素是否为有效凸连接,若超体素面片经判断为有效凸性连接,则几何特征距离减半,即
对两个特征距离进行归一化处理,得到两相邻超体素的自适应融合多特征相似性距离δ(p
δ(p
其中T
T
T
由此可得两相邻超体素的自适应融合多特征相似性距离v(p
该步骤中,根据特征距离阈值判断是否进行融合,融合特征距离小于阈值的相邻超体素,最终完成点云实例分割。如图4为点云粘连去除范例,图5是三种工件点云实例分割结果范例。
本发明还提出一种基于移动最小二乘法与超体素的3D点云分割装置,采用上述的一种基于移动最小二乘法与超体素的3D点云分割方法,包括如下:
数据获取模块,用于获取工业机器人提供的目标物体的点云数据;
预处理模块,用于对点云数据进行点云背景去除及去除明显离群点
超体素生成模块,用于通过八叉树对处理后的点云数据进行体素化处理,分成大小相同的体素,以最接近预设超体素分辨率网格中心的体素作为种子体素,并筛除不合格的种子体素,根据体素间的特征距离S进行区域生长,形成初始超体素,使用移动最小二乘法对每个初始超体素进行曲面拟合投影优化,重新分配种子点,二次聚类,形成最终的优化超体素;
超体素融合模块,用于以超体素为基本单元,计算相邻超体素的自适应融合多特征相似性,根据特征距离阈值判断是否进行融合,融合特征距离小于阈值的相邻超体素,最终完成点云实例分割并输出实例分割结果。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
机译: 利用点云表示和生成点云的体素表示的3D打印建模系统和方法
机译: 基于超体素的时空视频分割的快速,渐进方法
机译: 基于超体素的时空视频分割的快速渐进方法