一种基于主动双目视觉的机械手手眼标定方法

摘要

本发明公开了一种基于主动双目视觉的机械手手眼标定方法，有如下步骤：S1、使用2D平面标定靶对双目视觉传感器进行标定，建立双目视觉传感器坐标系；S2、移动机械手末端到任意位置，记录此时机械手末端在机械手坐标系下的坐标，结构光发生器向机械手末端投射编码图像，双目视觉传感器采集图像，利用编码图案信息和极线几何约束计算机械手末端在双目视觉传感器坐标系下的三维坐标；S3、重复步骤S2得到多组坐标数据，计算出机械手坐标系与双目视觉传感器坐标系的关系，即机械手手眼关系。

说明书

技术领域

本发明涉及一种机械手的手眼标定方法，尤其涉及一种基于主动 双目视觉的机械手的手眼标定方法。

背景技术

随着视觉技术的发展，和工业中对机器人精度要求的提高，越来 越多的工业机器人将视觉传感器作为其操作导航工具。视觉传感器为 给机械手提供导航指引，首先要进行手眼标定，得出视觉传感器与机 械手的位置关系，然后再根据视觉传感器采集目标物体在双目视觉传 感器坐标系下的坐标，转换为在机械手坐标系下的坐标，为机械手操 作提供指引。由视觉传感器与机械手的位置关系可将视觉传感器系统 分为：Eye-in-Hand式和Eye-to-Hand式。Eye-in-Hand式为视觉传 感器安装在机械手上，此种安装方式的手眼标定算法较复杂，但摄像 机可以和机械手控制端组成闭环控制系统，随着机械手的移动可以降 低摄像机标定误差的影响，所以此种方法对摄像机标定精度的不是很 严格。Eye-to-Hand式为视觉传感器与机械手分离，视觉传感器安装 在机械手外的某处，不随机械手移动而改变位置，此种安装方式的手 眼标定算法较简单，但精度受摄像机标定的限制，具体表现在视觉传 感器计算得到目标点坐标的精度，故对摄像机标定的精度要求很严 格。现有的Eye-to-Hand式机械手手眼标定方法，如专利“基于3D图 像传感器的室内机器人视觉手眼关系标定方法”(申请号： 201410166077.6)，在机械手末端添加标志点，使用视觉传感器采集 该标志点三维坐标的方法，得出用以计算手眼关系矩阵的坐标数据， 方法简单，但有些情况并不适合在机械手末端添加标志点，如机械手 末端较尖锐、细小的情况。

发明内容

为解决上述问题，本发明的目的在于提供一种算法和操作简单且 又具有高精度的基于主动双目视觉的机械手的手眼标定方法。

本发明解决其问题所采用的技术方案是：

一种基于主动双目视觉的机械手的手眼标定方法，包括以下步 骤：

S1、使用2D平面标定靶对双目视觉传感器进行标定，建立双目 视觉传感器坐标系；

S2、移动机械手末端到任意位置，记录此时机械手末端在机械手 坐标系下的坐标，结构光发生器向机械手末端投射编码图像，双 目视觉传感器采集图像，利用编码图案信息和极线几何约束计算 机械手末端在双目视觉传感器坐标系下的三维坐标；

S3、重复步骤S2得到多组坐标数据，计算出机械手坐标系与双 目视觉传感器坐标系的转换关系。

进一步，所述双目视觉传感器由两个摄像机和一个结构光发生器 组成。

具体地，所述结构光发生器位于两个摄像机之间。

进一步，步骤S1中，通过立体视觉摄像机标定方法求得双目视 觉传感器的内部参数和相互位置关系的外部参数，建立双目视觉传感 器坐标系。

进一步，步骤S2中，通过机械手控制器移动机械手末端到任意 位置，通过机械手控制器读取并记录此时机械手末端在机械手坐标系 下的坐标。

进一步，步骤S2中，结构光发生器向机械手末端投射编码图像， 双目视觉传感器采集图像后，利用编码图案信息和极线几何约束及步 骤S1中所标定的内部参数和外部参数，计算出机械手末端在双目视 觉传感器坐标系下的三维坐标。

进一步，步骤S3中，通过多次移动机械手末端的位置，重复至 少4次步骤S2分别得到4组以上机械手末端在机械手坐标系、双目 视觉传感器坐标系下的三维坐标，其中至少4次机械手末端所移动的 位置点不共面。

进一步，步骤S3中，记录每次机械手末端在机械手坐标系下的 坐标及其对应在双目视觉传感器坐标系下的坐标，采用最小二乘法求 得转换矩阵，将所述的转换矩阵作为最后得出的手眼关系矩阵。

进一步地，所述双目视觉传感器坐标系为C_W，机械手坐标系为C_M， 双目视觉传感器坐标系C_W到机械手坐标系C_M的关系为：C_M＝T·C_W， 矩阵T为机械手手眼转换矩阵。

具体地，步骤S3中，通过4次移动机械手末端的位置，分别得 到4组机械手末端在机械手坐标系下的三维坐标(x_j,y_j,z_j)(j＝1,2,3,4)， 和双目视觉传感器坐标系下的三维坐标(X_j,Y_j,Z_j)(j＝1,2,3,4)，且这4 个坐标位置点不共面，上述机械手坐标系下的三维坐标和双目视觉传 感器坐标系下的三维坐标的机械手手眼转换矩阵T为：

$T=\left(\begin{array}{cccc}{X}_1& X_2& X_3& X_4\\ Y_1& Y_2& Y_3& Y_4\\ Z_1& Z_2& Z_3& Z_4\\ 1& 1& 1& 1\end{array}\right){\left(\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\\ z_1& z_2& z_3& z_4\\ 1& 1& 1& 1\end{array}\right)}^{-1}.$

本发明的有益效果是：本发明采用的一种基于主动双目视觉的机 械手的手眼标定方法，具有算法简单、测量精度高、易操作的特点， 无需在机械手末端添加标志点，并能以一种精度更高的双目结构光的 算法计算机械手末端的三维坐标数据，再计算得到机械手手眼关系矩 阵，相比被动双目视觉通过标志点来定位查找，主动双目视觉是利用 投射结构光的辅助编码信息进行对应点对查找，故无需在机械手末端 添加标志点，适应性更广，加之主动双目视觉是投射了具有编码信息 的结构光在物体表面，利用这些编码信息可以更精确的找到双目中的 对应点，所以精度更高，可以有效满足机器人手眼标定的需要。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明机械手与双目传感器的结构示意图；

图2是本发明机械手坐标系与双目视觉传感器坐标系的关系图；

图3是本发明基于双目视觉的机械手的手眼标定方法的方法流程 图。

具体实施方式

本发明的一种基于主动双目视觉的机械手的手眼标定方法，参照 图1所示，包括机械手1和机械手末端2，还包括主动双目视觉传感 器3，所述主动双目视觉传感器3由双目视觉传感器左摄像机5、双 目视觉传感器右摄像机6和结构光发生器4组成。为了确保光结构发 生器4向机械手末端投射的编码图案能被两个摄像机采集到，所述结 构光发生器4位于双目视觉传感器左摄像机5和双目视觉传感器右摄 像机6之间。

参照图3所示，本发明的一种基于主动双目视觉的机械手的手眼 标定方法的具体包括如下步骤：

S1、使用2D平面标定靶对双目视觉传感器进行标定，建立双目 视觉传感器坐标系；

S2、移动机械手末端到任意位置，记录此时机械手末端在机械手 坐标系下的坐标，结构光发生器向机械手末端投射编码图像，双 目视觉传感器采集图像，利用编码图案信息和极线几何约束计算 机械手末端在双目视觉传感器坐标系下的三维坐标；

S3、重复步骤S2得到多组坐标数据，计算出机械手坐标系与双 目视觉传感器坐标系的转换关系，即机械手手眼关系。

一般来说，3D立体靶标的制作成本较高，且加工精度受到一定 的限制，而在本发明步骤S1中，采用2D平面标定靶结合双目视觉 传感器进行标定，通过立体视觉摄像机标定方法求得双目视觉传感器 的内部参数和相互位置关系的外部参数并建立双目视觉传感器坐标 系。

即让双目视觉传感器左摄像机5、双目视觉传感器右摄像机6在 两个以上不同方位拍摄2D平面标定靶，从而建立起双目视觉传感器 的三维坐标系，其中双目视觉传感器及2D平面标定靶可自由移动， 无需知道其运动参数。具有制作成本低，加工精度容易实现、算法简 单的优点。

具体地，步骤S2中，机械手1受到机械手控制器的控制而移动， 当机械手1移动到任一位置时，通过机械手控制器即可读取并记录此 时机械手末端2在机械手坐标系下的坐标。

再通过结构光发生器4向机械手末端2投射编码图像，双目视觉 传感器采集图像后，利用编码图案信息和极线几何约束及步骤S1中 所标定的内部参数和外部参数，即可计算出机械手末端在双目视觉传 感器坐标系下的三维坐标。

其中，在步骤S3中，为了获得计算出机械手坐标系与双目视觉 传感器坐标系的转换关系，需要重复步骤S2获得多组坐标数据，为 了获得三维坐标的对应关系，通过多次移动机械手末端2的位置，重 复至少4次步骤S2分别得到4组以上机械手末端2在机械手坐标系、 双目视觉传感器坐标系下的三维坐标，其中至少4次机械手末端所移 动的位置点不共面。记录每次机械手末端2在机械手坐标系下的坐标 及其对应在双目视觉传感器坐标系下的坐标，采用最小二乘法求得转 换矩阵，将所述的转换矩阵作为最后得出的手眼关系矩阵。

以下实施例为本发明的详细具体步骤：

步骤S1，使用2D平面标定靶对双目视觉传感器进行标定，求 得双目摄像机的内部参数和相互位置关系的外部参数，建立双目视觉 传感器坐标系C_W，其与机械手坐标系C_M的位置关系如图2所示。

步骤S2，使用机械手控制器控制机械手末端移动到机械手坐标 系下(x₁,y₁,z₁)处。采用4步相移编码方式投射结构光条纹到机械手末 端，并用相机采集图像。在条纹变化方向上，空间上每个点的被相位 值唯一编码。对相机采集到的相移条纹图进行解码，计算每个像素点 的相位值。根据相位值相等的条件，并结合双目立体视觉的极线几何 约束，即可精确计算出机械手末端在双目视觉传感器坐标系下的三维 坐标(X₁,Y₁,Z₁)。

步骤S3，重复步骤S2多次，设次数为N，则N>4，即使用机 械手控制器控制机械手末端移动到机械手坐标系下(x_i,y_i,z_i)处，双目 视觉传感器采集此时机械手末端图像，计算得出机械手末端在双目视 觉传感器坐标系下的坐标(X_i,Y_i,Z_i)(i＝2,3,…,N+1)，以4次移动后机械手 末端在机械手坐标系下不共面为条件，取出多组坐标数据，采用最小 二乘法求得转换矩阵，将求得的转换矩阵作为最后得出的手眼关系矩 阵。

主要计算过程如下：

机械手坐标系C_M和双目视觉传感器坐标系C_W都有如下关系：

C_M＝T·C_W，

$\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=T·\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right),$

矩阵T即为机械手手眼转换矩阵。设机械手末端4次移动后在机 械手坐标系下的坐标为(x_j,y_j,z_j)(j＝1,2,3,4)，在双目视觉传感器坐 标系下的坐标为(X_j,Y_j,Z_j)(j＝1,2,3,4)，且这4个位置点不共面，则 可得如下方程：

$\left(\begin{array}{cccc}{X}_1& X_2& X_3& X_4\\ Y_1& Y_2& Y_3& Y_4\\ Z_1& Z_2& Z_3& Z_4\\ 1& 1& 1& 1\end{array}\right)=T.\left(\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\\ z_1& z_2& z_3& z_4\\ 1& 1& 1& 1\end{array}\right)$

由此可计算出机械手手眼关系矩阵：

$T=\left(\begin{array}{cccc}{X}_1& X_2& X_3& X_4\\ Y_1& Y_2& Y_3& Y_4\\ Z_1& Z_2& Z_3& Z_4\\ 1& 1& 1& 1\end{array}\right){\left(\begin{array}{cccc}{x}_1& x_2& x_3& x_4\\ y_1& y_2& y_3& y_4\\ z_1& z_2& z_3& z_4\\ 1& 1& 1& 1\end{array}\right)}^{-1}.$

得出矩阵T即为一个机械手手眼转换矩阵，再采用最小二乘法得 出最终的转换矩阵，即为最终得出的机械手手眼关系矩阵。

尽管上面结合附图对本发明进行了详细的描述，但是本发明的应 用并不局限于上述的实施例中，上述的具体实施方式仅仅只是一种方 法解释，不是限制性的，本领域的其他技术人员在本发明的启示下， 不脱离本发明思路方法的情况下，也可以做出其他很多方法应用，但 这些均属于本发明的保护之内。