用于工业机器人的三维立体相机位姿在线标定装置及方法

摘要

本发明公开了一种用于工业机器人的三维立体相机位姿在线标定装置及方法，包括工业机器人带动标定用立体靶标以一定姿态运动至标定点位；三维立体相机可测量空间内的三维点云数据，并向工业控制计算机的标定控制模块输出标定用立体靶标及其附近结构件的局部三维点云数据，标定控制模块处理解算获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标；识别检索获取各可见的标定用特征顶点在工业机器人坐标系下的三维坐标；解算获得三维立体相机与工业机器人之间的坐标转换矩阵。本发明不需要额外的标定工装附件，具有高效、高精度、在安装机械手后与使用过程中也能在线校验或标定三维立体相机与工业机器人的坐标转换矩阵的特点。

说明书

技术领域

本发明属于智能工业机器人技术领域，具体涉及一种用于智能工业机器人的三维立体相机位姿在线标定装置及其方法。

背景技术

传统的工业机器人针对已知规格尺寸、位姿提前定位准确的单一类型物料或产品，采用示教编程的方式，已广泛应用于化工、金属加工、食品、饮料、烟草、电子等行业的生产制造、拆码垛、上下料等场景中。然而它无法适应工业4.0时代作业对象无法准确定位的小批量、多品种物料或产品的柔性生产。

随着机器视觉技术和产品的发展与成熟，具有视觉感知能力的工业机器人给出了智能工业机器人的解决方案。该方案是基于视觉感知技术，识别动态场景中的环境、作业对象以及设备自身的状态，智能地规划适用当前场景的作业工序和工艺，实现可变场景下的智能生产制造、拆码垛、上下料、拣选等作业。

智能工业机器人的视觉感知传感器目前已经由采用2D工业相机发展到了三维立体相机，三维立体相机能够输出基于三维立体相机坐标系的三维点云数据，控制工业机器人作业时，必须将三维立体相机下的坐标转换至工业机器人坐标系下，这就需要智能工业机器人使用前，标定三维立体相机与工业机器人坐标的旋转平移转换矩阵。

针对三维立体相机固定安装在机器人外面的底座上的形式，因三维立体相机的组件包含一个或多个2D工业相机，行业内目前绝大多数采用的是传统的2D工业相机与工业机器人坐标转换矩阵的标定方法：在安装作业机械手单元前，在机器人法兰上安装棋盘格等平面合作靶标，机器人带动平面合作靶标运行多个点位，2D工业相机采集处理每个点位上的平面合作靶标图像，提取特征角点，利用仿射变换原理，求解得到2D工业相机与工业机器人的坐标转换矩阵，并以此替代三维立体相机与工业机器人的坐标转换矩阵。然而，2D工业相机像素空间二维坐标与物空间三维坐标并不是线性关系，三维立体相机通常需要非线性地修订初始计算得到的三维点云数据后得到更高精度的三维点云数据。因此，该标定方法会导致三维立体相机坐标转换至工业机器人坐标时，与实际空间的三维坐标偏差大，精度低。而且该种标定方法需要额外的标定工装附件，耗时长，机器人法兰上安装作业机械手时，需要将平面合作靶标拆下，过程繁琐，无法在使用过程中在线校验或标定三维立体相机与工业机器人的坐标转换矩阵。

目前行业内也采用了在安装作业机械手单元前，在机器人法兰上安装具有显著三维特征的球形、尖顶等立体合作靶标，机器人带动立体合作靶标运行多个点位，三维立体相机采集处理每个点位上的立体合作靶标三维点云数据，利用PCL点云库中的通用算法提取球心或尖顶特征角点在三维立体相机坐标系下的坐标，结合球心或尖顶在工业机器人坐标系下的已知坐标，可以求解得到三维立体相机与工业机器人的坐标转换矩阵。该种标定方法采用通用算法提取球心或尖顶特征，严重依赖于立体合作靶标的三维点云质量，往往需要人工剔除质量差的三维点云数据，只能实现离线标定；同时需要额外的标定工装附件，耗时长，机器人法兰上安装作业机械手时，需要将立体合作靶标拆下，过程繁琐，无法在使用过程中在线校验或标定三维立体相机与工业机器人的坐标转换矩阵。

因此，研究提出不需要额外的标定工装附件、高效、高精度、在安装机械手后与使用过程中也能在线校验或标定三维立体相机与工业机器人的坐标转换矩阵的一种用于智能工业机器人的三维立体相机位姿在线标定方法具有重大意义和价值。

发明内容

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种用于智能工业机器人的三维立体相机位姿在线标定方法，旨在解决现有技术中需要额外的标定工装附件、精度低、耗时长、机器人法兰上安装作业机械手时，需要将平面合作靶标拆下，过程繁琐，无法在使用过程中在线校验或标定三维立体相机与工业机器人的坐标转换矩阵的问题。

本发明是通过下述技术方案来实现的。

本发明提供了一种用于工业机器人的三维立体相机位姿在线标定方法，包括如下步骤：

步骤1，工业控制计算机的标定控制模块下发标定指令，工业机器人带动标定用立体靶标以一定姿态运动至标定点位；

步骤2，三维立体相机采集可测量空间内的三维点云数据，并向工业控制计算机的标定控制模块输出标定用立体靶标及其附近结构件的局部三维点云数据；

步骤3，标定控制模块对局部三维点云数据进行处理，解算获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标；

步骤4，工业控制计算机的标定控制模块对可见的标定用特征顶点进行识别，检索获取各个可见的标定用特征顶点在工业机器人坐标系下的三维坐标；

步骤5，利用三维立体相机坐标系与工业机器人坐标系下的一一对应的可见的标定用特征顶点，解算获得三维立体相机与工业机器人之间的坐标转换矩阵。

对于上述技术方案，本发明还有进一步优选的方案：

优选的，所述步骤1中，标定点位及标定用立体靶标姿态的确定，包括如下步骤：

1a)建立标定用基础坐标系：以工业机器人基坐标系为标定用基础坐标系；坐标系为由X轴、Y轴近似位于水平面内，Z轴垂直于X轴、Y轴形成的XY平面；

1b)确定标定平面沿XY平面的范围：标定平面平行于标定用基础坐标系的XY平面；标定平面沿XY平面的范围覆盖工业机器人作业空间中沿X轴、Y轴的极限位置；

1c)确定标定平面沿Z轴的高度：标定平面沿Z轴的高度选择工业机器人作业空间内某一高度处；

1d)确定标定点位：选择标定平面的顶点为标定点位；

1e)确定标定用立体靶标的姿态：标定用立体靶标的标定用特征顶点倾斜向上。

优选的，所述步骤2中，三维立体相机采集可测量空间内的三维点云数据，并向工业控制计算机的标定控制模块输出标定用立体靶标及其附近结构件的局部三维点云数据的方法，包括如下步骤：

2a)标定控制模块下发三维点云数据采集指令，三维立体相机采集可测量空间内的三维点云数据；

2b)三维立体相机采用直通滤波方法处理步骤2a)中采集到的三维点云数据，得到标定用立体靶标及其附近结构件的局部三维点云数据。

优选的，所述步骤3中，标定控制模块对局部三维点云数据进行处理的方法，包括如下步骤：

3a)采用直通滤波的方法，从局部三维点云数据中分割提取仅包含标定用立体靶标的三维点云数据；

3b)对得到的标定用立体靶标的三维点云数据，进行平面分割和拟合，获得平面的区域和特征法向量；

3c)对得到的拟合平面进行相交运算，获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标。

优选的，所述步骤4中，对可见的标定用特征顶点进行识别的方法，包括如下步骤：

4a)根据可见的标定用特征顶点的坐标，计算可见的标定用特征顶点间距；

4b)结合可见的标定用特征顶点间距，标定用特征顶点间的拓扑关系，识别出标定用特征顶点的编号；

4c)根据标定用特征顶点的编号，在已知的数据库中检索得到该顶点在标定用立体靶标中的三维坐标；

4d)将标定用立体靶标中的坐标转换到工业机器人法兰坐标系下的三维坐标；

4e)将工业机器人法兰坐标系下的三维坐标转换到工业机器人基坐标系下的三维坐标。

优选的，所述步骤5中，解算三维立体相机与工业机器人之间的坐标转换矩阵的方法，具体如下：

5a)三维空间中同名点在三维立体相机坐标系与工业机器人坐标系下满足：

其中，P

5b)利用步骤3，步骤4获得的多个可见的标定用特征顶点在三维立体相机坐标系与工业机器人坐标系下的三维坐标，利用最小二乘法解算，获得三维立体相机与工业机器人之间的坐标转换矩阵。

本发明进而提供了一种所述方法采用的一种用于工业机器人的三维立体相机位姿在线标定装置，包括：

工业控制计算机，包括标定控制模块，标定控制模块控制工业机器人带动标定用立体靶标运动到标定点位后触发三维立体相机采集处理三维点云数据；标定控制模块中三维点云数据处理模块处理三维点云数据，获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标；

三维立体相机，用于采集处理标定用立体靶标三维点云数据，并向标定控制模块输出标定用立体靶标及其附近结构件的局部三维点云数据；

工业机器人，用于带动标定用立体靶标以一定姿态运动至标定点位；

标定用立体靶标，用于提供空间内特征角点；

所述工业控制计算机分别连接三维立体相机和工业机器人，工业机器人连接标定用立体靶标，实现三维立体相机与工业机器人之间的位姿在线标定。

优选的，在工业机器人上安装有作业机械手和标定用立体靶标，标定用立体靶标上设有三维立体相机采集处理点云所需的标定用特征顶点。

优选的，所述作业机械手通过转接法兰紧固连接在工业机器人上，标定用立体靶标安装在工业机器人与作业机械手连接的转接法兰上。

优选的，所述标定用立体靶标为多边形框架结构，在多边形内框中设有一对对称的梯形结构和一个长方形结构，一对对称的梯形结构内框顶点和多边形外框的顶点为三维立体相机采集处理点云所需的标定用特征顶点。

本发明由于采取以上技术方案，其具有以下有益效果：

1.本发明通过采用安装于工业机器人法兰与作业机械手中间的标定用立体靶标，其上具有多个通过平面相交而形成的标定用特征顶点；通过在标定点位提取可见的标定用特征顶点，结合其在工业机器人坐标系下的坐标，直接求解获得三维立体相机与工业机器人的坐标转换矩阵，具有精度高、标定过程简单、快速的显著优势。

2.本发明中标定用立体靶标安装于工业机器人法兰与作业机械手中间，作业机械手的安装、使用、拆卸不会改变标定用立体靶标的位置和姿态，可以实现智能工业机器人安装完作业机械手单元后和使用过程中均能实现在线校验和标定的功能。

3.本发明中标定用立体靶标上具有多个通过平面相交而形成的标定用特征顶点，对三维立体相机采集的标定用立体靶标的三维点云数据采用平面分割和拟合、平面相交求解，能够极大减小棱边噪声、残边、孔洞等引起的标定用特征顶点提取误差，进一步确保了在线校验或标定的可靠性、稳定性。

4.本发明中在标定点位提取的是可见的标定用特征顶点，对可见的标定用特征顶点进行识别，检索获取各个可见的标定用特征顶点在工业机器人坐标系下的三维坐标，提高了算法的鲁棒性，能够适应环境光变化引起的三维点云数据质量不一致问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1示出了本发明实施例提供的一种用于智能工业机器人的三维立体相机位姿在线标定系统的组成框图；

图2a、2b示出了本发明实施例提供的一种用于智能工业机器人的三维立体相机位姿在线标定系统的结构示意图；

图3示出了本发明实施例提供的一种用于智能工业机器人的三维立体相机位姿在线标定方法的工作流程框图；

图4示出了本发明实施例提供的标定点位及标定用立体靶标姿态确定流程框图。

图5示出了本发明实施例提供的标定用立体靶标的模型点云示意图。

图中：1、标定用立体靶标；2、标定用特征顶点；3、标定控制模块；4、三维点云数据处理模块；5、标定用特征顶点数据库；6、三维立体相机；7、支架；8、工业机器人；9、作业机械手；10、工业机器人控制柜；11、工业控制计算机；12、局部三维点云数据；13、可见的标定用特征顶点；14、作业空间；15、转接法兰；16、连接螺栓；17、定位销。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

如图1，图2a、2b所示，一种用于智能工业机器人的三维立体相机位姿在线标定装置，包括标定用立体靶标1、标定用立体靶标1上的标定用特征顶点2、标定控制模块3、标定控制模块3中的三维点云数据处理模块4、标定控制模块3中的标定用特征顶点数据库5。

如图2a所示，示出了一种用于智能工业机器人的三维立体相机位姿在线标定装置结构示意图，包括三维立体相机6、支架7、工业机器人8、作业机械手9、工业机器人控制柜10和工业控制计算机11。

工业机器人8上安装有作业机械手9，工业控制计算机11放置在工业机器人控制柜10中，三维立体相机6架设在支架7上，工业机器人8的作业空间14位于三维立体相机6视场范围内；工业机器人8和三维立体相机6与工业控制计算机11信号连接。

如图2b所示，作业机械手9通过转接法兰15紧固连接在工业机器人8上，在转接法兰15下方通过连接螺栓16和定位销17水平连接标定用立体靶标1，标定用立体靶标1为多边形框架结构，在多边形内框中设有一对对称的梯形结构和一个长方形结构，一对对称的梯形结构内框顶点和多边形外框的顶点为三维立体相机6采集处理点云所需的标定用特征顶点2。

标定用特征顶点2在标定用立体靶标1中的三维坐标存于标定用特征顶点数据库5中，三维坐标可以根据标定用特征顶点2的编号索引获得。

标定控制模块3安装于工业控制计算机11中。标定控制模块3，用于控制工业机器人8的运动位置和姿态；控制工业机器人8带动标定用立体靶标1运动到标定点位P

三维点云数据处理模块4，对包含标定用立体靶标1的局部三维点云数据12进行处理，获得可见的标定用特征顶点13在三维立体相机坐标系下的三维坐标。

标定控制模块3利用在三维立体相机坐标系与工业机器人坐标系下的一一对应的可见的标定用特征顶点13，解算获得三维立体相机与工业机器人之间的坐标转换矩阵RT

三维立体相机6安装于工业机器人1一侧的支架7上；支架7不限于通过焊接形成一体化结构件，也可通过型材装配形成组件；支架7不限于安装于地面上，也可吊装；支架应具有力学稳定性，确保三维立体相机6的坐标系长时间内稳定。

三维立体相机6的测量范围能够覆盖工业机器人的作业空间14；三维立体相机2通过安装通信控制电缆连接于工业控制计算机4。

工业机器人8是大范围运动执行机构；工业机器人8的臂展范围覆盖具体应用场景下的作业空间14需求。

工业机器人8通过安装通信控制电缆连接于工业机器人控制柜10；工业机器人控制柜1 0通过安装通信控制电缆连接于工业控制计算机11。

如图3所示，本发明相应的给出了一种基于所述用于智能工业机器人的三维立体相机位姿在线标定方法，步骤如下：

步骤1，工业控制计算机的标定控制模块下发标定指令，工业机器人带动标定用立体靶标以一定姿态运动至标定点位P

如图4所示，标定点位及标定用立体靶标姿态的确定，包括如下步骤：

1a)建立标定用基础坐标系：以工业机器人基坐标系为标定用基础坐标系OXYZ。X轴、Y轴近似位于水平面内，Z轴垂直于X轴、Y轴形成的XY平面。

1b)确定标定平面沿XY平面的范围：标定平面平行于标定用基础坐标系的XY平面。标定平面沿XY平面的范围覆盖工业机器人作业空间中沿X轴、Y轴的极限位置；标定平面的形状，优选长方形。

1b)步骤中，优选地，以工业机器人作业空间中沿X轴、Y轴极限位置x

1c)确定标定平面沿Z轴的高度：标定平面沿Z轴的高度选择工业机器人作业空间内某一高度处；标定平面沿Z轴的高度，优选与工业机器人最高作业空间高度距离1/3倍作业范围处，即z

1d)确定标定点位：选择标定平面的顶点为标定点位。

1e)确定标定用立体靶标的姿态：标定用立体靶标的标定用特征顶点斜向上。标定用立体靶标的姿态，优选地标定用立体靶标的顶面与XY平面成45度夹角，即姿态分量为(A

步骤2，三维立体相机采集可测量空间内的三维点云数据，并向标定控制模块输出标定用立体靶标及其附近结构件的局部三维点云数据。

三维立体相机采集并输出标定用立体靶标及其附近结构件的三维点云数据的方法，包括如下步骤：

2a)标定控制模块下发三维点云数据采集指令，三维立体相机采集可测量空间内的三维点云数据。

2b)三维立体相机采用直通滤波方法处理步骤2a)中采集到的三维点云数据，得到标定用立体靶标及其附近结构件的局部三维点云数据。直通滤波方法中的滤波参数由三维立体相机采集三维点云数据所处的标定点位、标定用立体靶标的尺寸决定，需完全包含标定用立体靶标的三维点云数据。

步骤3，标定控制模块中三维点云数据处理模块对局部三维点云数据进行处理，解算获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标。

标定控制模块对局部三维点云数据进行处理的方法，包括如下步骤：

3a)采用直通滤波的方法，从局部三维点云数据中分割提取仅包含标定用立体靶标的三维点云数据。

3b)对步骤3a)中得到的标定用立体靶标的三维点云数据，进行平面分割和拟合，获得平面的区域和特征法向量。

3c)对步骤3b)中得到的拟合平面进行相交运算，获得可见的标定用特征顶点在三维立体相机坐标系下的三维坐标。

步骤4，标定控制模块对可见的标定用特征顶点进行识别，检索获取各个可见的标定用特征顶点在工业机器人坐标系下的三维坐标。

对可见的标定用特征顶点进行识别的方法，包括如下步骤：

4a)根据可见的标定用特征顶点的坐标，计算可见的标定用特征顶点间的距离。

4b)结合可见的标定用特征顶点间的距离，标定用特征顶点间的拓扑关系，识别出标定用特征顶点的编号。

4c)根据特征顶点的编号，在已知的数据库中检索得到该顶点在标定用立体靶标中的三维坐标。

4d)将标定用立体靶标中的坐标转换到工业机器人法兰坐标系下的三维坐标。

4e)将工业机器人法兰坐标系下的坐标转换到工业机器人基坐标系下的三维坐标。

步骤5，利用三维立体相机坐标系与工业机器人坐标系下的一一对应的可见的标定用特征顶点，解算获得三维立体相机与工业机器人之间的坐标转换矩阵。

解算三维立体相机与工业机器人之间的坐标转换矩阵的方法，具体如下：

5a)空间中同名点在三维立体相机坐标系与工业机器人坐标系下满足：

其中，P

5b)所述步骤3，步骤4)分别获得了多个可见的标定用特征顶点在三维立体相机坐标系与工业机器人坐标系下的三维坐标，利用最小二乘法解算，获得三维立体相机与工业机器人之间的坐标转换矩阵。

下面通过一个具体实施例来进一步说明本发明。

如图2所示，建立标定用基础坐标系OXYZ，以拆垛机器人基坐标系O

拆垛机器人作业空间中沿X轴的极限位置x

拆垛机器人最高作业空间高度为1800mm，作业范围为1200mm，标定平面沿Z轴的高度，选择与工业机器人最高作业空间高度距离1/3倍作业范围处，即1400mm。确定四个标定点位为[(-660,720,1400)、(660,720,1400)、(660,1680,1400)、(-660,1680,1400)]。

标定用立体靶标的姿态，选择标定用立体靶标的顶面与XY平面成45度夹角，即拆垛机器人法兰绕Y

标定控制模块下发标定指令，拆垛机器人带动标定用立体靶标以一定姿态运动至第一标定点位P

标定控制模块中三维点云数据处理模块对局部三维点云数据进行处理，采用直通滤波，从局部三维点云数据中分割提取仅包含标定用立体靶标的三维点云数据，标定用立体靶标的三维点云数据如图5所示。

如表1所示，采用平面分割和拟合，获得平面的区域和特征法向量。对拟合平面进行相交运算，获得可见的标定用特征顶点P

表1可见的标定用特征顶点在三维立体相机坐标系下的三维坐标

标定控制模块计算可见的标定用特征顶点间的距离，用特征顶点间的拓扑关系，识别出标定用特征顶点的编号。根据特征顶点的编号，在已知的数据库中检索获取各个可见的标定用特征顶点P

标定控制模块下发标定指令，拆垛机器人带动标定用立体靶标以一定姿态依次运动至第二至第四标定点位P

利用三维立体相机坐标系与工业机器人坐标系下的一一对应的可见的标定用特征顶点，利用最小二乘法解算，获得三维立体相机与工业机器人之间的坐标转换矩阵RT

本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。