用于带有工具偏移量的相机-机器人系统的自动校准

摘要

提供了一种用于自动校准具有工具偏移量的相机‑机器人系统的方法。

说明书

技术领域

本发明涉及相机-机器人系统。特别地，本发明涉及校准基于视觉的引导系统。

背景技术

基于视觉的引导系统或相机-机器人系统常用于工业中。相机充当机器人的传感器，并“看到”感兴趣物体。然而，由视觉系统检测到的这些物体位置处于相机像素坐标，其需要映射到机器人坐标，以便它可以执行任务，比如拾取和放置。将相机像素坐标映射到机器人坐标(现实世界毫米)的该过程通常称为手-眼校准或相机-机器人校准。

此外，如图1所示，对于具有安装在机器人上的臂工具12的端部的选择性依从组装机器人臂或选择性依从铰接机器人臂(“SCARA”)或人臂机器人10，通常在工具12的工具中心16和机器人的Z轴18的中心线之间具有X,Y偏移量14(该偏移量为出于说明目的而被放大)。为了准确定位机器人，还必须测量该工具偏移量，并由机器人控制器将其合并到机器人逆向运动学中。通常使用人工观察来完成这两个过程(校准和工具偏移量测量)，人工观察包括将机器人轻推或移动到已知参考点并尽可能精确地对准眼睛。根据要进行的测量次数，受过培训的操作者可能会花费约60到100分钟进行该人工过程。人工观察会在校准中引入误差，且最多只能实现+/-0.2mm的位置精度，并且不了解校准误差在整个机器人工作空间中的分布。其他误差源是由于机器人抓具元件设计中的机械公差而存在的工具中心点中的未知偏移量，即与定义所有机器人定位有关的点。

在本领域中需要对相机-机器人系统进行改进以使这些缺点最小化。

发明内容

目的是提供一种自动校准过程，以将相机像素映射到机器人坐标，以及计算未知的工具偏移量。

通过以下结合附图对优选实施例的更详细描述，本发明的其他特征和优点将变得显而易见，所述附图以示例的方式示出了本发明的原理。

附图说明

图1示出了包括附接工具的现有技术手臂机器人的视图。

图2示出了准备抓握示例性校准目标的示例性工具的上部透视图。

图3示出了沿着图2的线3-3截取的工具/校准目标的横截面。

图4示出了准备抓握示例性校准目标的示例性工具的平面图。

图5示出了用于校准操作的校准目标测量点的示例性布置。

图6-8示出了在校准具有工具偏移量的相机-机器人系统的操作中的顺序步骤。

图9示出了校准目标的示例性相机捕获图像。

图10示出了在校准具有工具偏移量的相机-机器人系统的操作中的顺序步骤。

图11示出了校准具有工具偏移量的相机-机器人系统的示例性过程的图。

图12示出了实际与计算机器人坐标值之间的差异的图形表示。该图示出了X和Y坐标，单位为mm。

图13示出了用于确定值的线性的实际和计算机器人坐标值之间的差异的图形表示。该图示出了X和Y坐标，单位为mm。

图14示出了校准具有工具偏移量的相机-机器人系统的示例性过程的图。

具体实施方式

旨在结合附图阅读根据本发明原理的说明性实施例的描述，这些附图应被认为是整个书面描述的一部分。在本文公开的本发明的实施例的描述中，对方向或定向的任何引用仅是为了描述的方便，而不是以任何方式限制本发明的范围。相对术语比如“下”、“上”、“水平”、“竖直”、“上方”、“下方”、“上”、“下”、“顶部”和“底部”以及它们的派生词(例如“水平地”、“向下”、“向上”等)应解释为是指所描述的或所讨论的附图中所示的定向。这些相对术语仅是为了描述的方便，并且不需要以特定的定向构造或操作该设备，除非如此明确指出。术语比如“附接”、“附结”、“连接”、“联接”、“互连”等是指一种关系，其中各结构直接或通过中介结构间接地彼此固定或附接，以及活动或刚性附接或者关系，除非另有明确说明。此外，本发明的特征和优点通过参考优选实施例进行说明。因此，本发明明确地不应限于这样的优选实施例，其示出了可以单独存在或以特征的其他组合存在的特征的一些可能的非限制性组合；本发明的范围由所附的权利要求书限定。

参照图5-11，本发明包括一种过程，用于自动校准具有臂工具的端部或工具偏移量的相机-机器人系统。例如，对于具有3个自由度即X和Y轴以及偏摆(XY平面中的旋转分量；围绕Z轴的旋转)的相机-机器人系统，自动校准过程校准机器人工具点定义X,Y偏移量，并且还将相机坐标校准为机器人坐标X,Y和偏摆。对于此自动校准过程，不需要了解工具中心点(“TCP”)。即，TCP可以对应于某个X和Y偏移量，并且该偏移量不需要是已知的。尽管可以提供工具X,Y偏移量的机械设计尺寸，但由于机械公差，这些X,Y偏移量与“设计”偏移量不同。该校准过程自动计算实际X,Y偏移量。

对于大多数常规机器人-相机校准，操作者精确地教导一个点，即，将使用一些特殊的基准将工具中心点对准可以从视觉系统看到的已知位置。随后，要进行常规校准，还需要两个附加条件：1)每毫米像素值(基于相机分辨率)，以及2)每毫米像素值在整个感兴趣区域中是恒定的。实际上，即使在相机校准之后，相机镜头失真也可能存在，和/或机器人本身可能没有线性运动。结果，每毫米像素在感兴趣区域中的任何地方都不是恒定数，并且可能无法正常工作。本发明的自动校准过程不需要满足这些条件中的任何一个。

总之，提出的自动校准过程最适合需要精确校准的应用。

术语“臂工具的端部”、“工具”、“抓具”等可以互换使用。

术语“校准目标”是指由机器人工具拾取并放置在网格上各个点处且然后由视觉系统检测的部件。尽管可以，但校准目标通常不是专门设计的部件。唯一的要求是，从预定的有利位置(例如从部件竖直上方的位置)观察时，该“校准目标”应具有唯一且明确的定向。也就是说，当视觉系统检测到该部件时，它应该具有明确的定向。示例是具有一个倒角的矩形物体。通常，校准目标将是为其部署机器人拾取和放置系统的任何部件。通常，臂工具或工具的端部是专门为此部件设计的。

术语“校准目标”、“校准部件”、“部件”等可以互换使用。

术语“数据点”、“测量点”、“观察点”等可以互换使用。

校准过程“假定”校准物体已被工具干净地释放。也就是说，如果机器人移动到一点或位置，并且抓具打开，则在抓具打开时部件不会移动，并且放置在该精确点或位置处。实际上，该“干净释放”可通过降低工具夹紧力来实现，比如通过调节空气压力(对于使用气动的系统)。另外，“干净释放”可通过精心设计的抓具来实现，该抓具在抓住部件的同时提供机械对中。例如，如图2和3所示，抓具20包括为部件26专门设计的抓具部分22、24，该部件26与机器人要拾取和放置的其他部件相同。如果在X,Y和偏摆(将被标记为“u”)中有预定的相对偏移量，则当抓具移动到关闭位置时，该部件将在抓具的爪之间成方形并对中。因此，无论部件在被抓住之前的定向如何，在抓住部件时，部件的姿势总是固定的。术语“姿势”定义为部件相对于坐标系的位置和定向。在这种情况下，使抓具部分24的定位销与部件26的相应特征28接触，并使抓具部分22的相对指状件与部件26的平坦特征30接触，以提供支撑。图2和3表示抓具专门设计用于部件以提供对中的情况。然而，如果将普通抓具32与平行爪一起使用，比如图4所示，则可以设计特殊的校准目标34。在这种情况下，当抓具移动到关闭位置时，校准目标将始终具有相同的姿势。视觉系统将识别与工具中心点(“TCP”)对应的点，比如图3中相应部件26的TCP36和图4中的校准目标24。

为了清楚起见，如图1进一步所示，机器人的中心线Z轴18对应于“工具0”或“默认工具”。即，当引用默认工具中的机器人坐标时，这些坐标对应于该点，并且这些机器人坐标是始终已知的以通过机器人软件在空间中的任何点处使用。这就是机器人认为其所在的位置。实际有用的工具可以安装在偏移量Tx,Ty(假定其是未知的或不是精确已知的)处，并标记为“工具1”。除了校准参数外，这些未知工具偏移量也通过此自动校准方法或过程来计算。如果视觉系统检测到任何部件，则需要使用工具1拾取这些部件。

自动校准的基础数学

视觉坐标、机器人坐标和工具偏移量之间的关系在方程式1中描述如下：

Poly(Cx,Cy)＝[Rx；Ry]+Rot(Ru)*[Tx；Ty] [1]

以下是已知量：

Cx,Cy＝沿相机x和y轴的相机像素位置。

Rx,Ry＝工具0(工具凸缘或默认工具的中心线)中的机器人X和Y坐标。

Ru＝以度为单位的机器人偏摆(u)(工具0)。

以下是未知量：

Tx,Ty＝相对于Z轴中心线的未知工具点偏移量。

Poly＝是期望阶的多项式拟合。

Rot(Ru)表示给定角度Ru的围绕Z轴的旋转矩阵。

多项式拟合“Poly”可以是任何期望阶的，取决于应用的性质以及操纵器和传感器中存在的非线性。通常，可以检查从1到5的模型阶用于合适的拟合。Cx和Cy中的1阶多项式的形式为(mx

上面的方程式将X,Y像素位置映射到它们在机器人坐标中的对应位置。以类似的方式，相机坐标中的物体定向可以与机器人坐标中的对应定向有关。

校准：线性情况(n＝1)

对于第一观察或测量点，

Cx

其中，方程式的右侧对应于机器人的TCP的物理位置。在方程式2中，有八个未知量：m

采取其他观察点并将其分离为矩阵的乘积，得出方程式4：

可以使用最小二乘标准算法对其求解。如前所述，这仅是线性拟合示例。以类似方式制定的高阶拟合方程式。

例如，对于每阶拟合，都有某些未知系数以及未知工具偏移量Tx，Ty。对于二阶拟合(n＝2)，将有14个未知数，包括Tx，Ty。对于阶n＝3，有22个未知变量。对于每个对应的阶数(“N”)方程式，需要求解的未知变量数如下：

Number of points＝(N)

其中，观察或测量点的数量等于变量数除以2。

校准过程的示例性设置

图5-10针对用于实践本发明的校准过程的示例性装置，其中图5-8和10示出了校准具有工具偏移量的相机-机器人系统的操作中的顺序步骤。图11示出了与本发明的校准过程的操作对应的过程图。如图5(以及图11的步骤60)所示，用于校准过程的设置包括在多个观察或数据或测量点(比如测量点48、52、54、56、58、60、62、64、66、68、70、72、74、76、78)处设置或创建校准目标44的网格或阵列45。要收集的测量点的数量、它们之间的间距(均匀间距或非均匀间距)以及在机器人的“设置”模式期间操作者定义或初始确定测量点(比如工作表面42上)的区域。工作表面42在图5中被示为大体平坦表面，比如以二维，例如X，Y坐标。即，尽管测量位置可以相对于彼此不均匀地间隔开，但它们必须在同一平面(固定的Z平面)上，并且它们应该在相机视场(“FOV”)内。由于表面平整、光洁度等原因，Z坐标的微小变化是允许的。如果将这种校准方法扩展到使用三维(“3D”)相机的地方，则测量点可以位于3D空间中的任何位置。即，当使用3D相机时，对测量点的唯一要求是它们必须位于相机40(图6)的预定区域或视场内。

由于仅在设置模式下完成测量点的定位，因此在常规操作中，一旦定义了这些观察或测量点，操作者就不必重新定义它们。数据或测量点无需收集在矩形网格中。例如，如果感兴趣区域是圆形扇区(饼图)，则将相应地收集观察。收集观察(在何处和多少)的方式通常取决于：1)感兴趣区域的形状，以及2)“实际数据”(其是机器人坐标中的测量点的实际位置)与根据拟合或通过来自校准方程式的计算值来估算的数据之间的均方根(“RMS”)误差，这将在下面进行更详细的讨论。

如图6所示，用于校准过程的设置包括具有臂工具或工具12的端部的机器人10、照明源38、相机40和工作表面42。图6还示出了工具12从巢46拾取校准目标44。巢46的位置是机器人已知的定义位置，并且必须被手动教导以将校准目标44定位在该定义位置处(图11的步骤62)。在一实施例中，该巢是默认工具位置中的定义位置。当机器人处于“教导”模式时，机器人被轻推或移动到巢46，并且操作者将该点保存在相机-机器人系统的存储器中。然而，该手动教导点仅是近似，但足够精确，以至于当机器人到那里时，工具将正确地抓住物体。如先前所讨论，正是在该点处，抓具或工具的机械对中特性是适用的。即使工具在巢处的初始抓取位置是近似的，抓具或工具也确保在抓取时部件相对于工具自对中。尽管确切的工具中心是未知的，但由于工具安装在机器人上，因此操作者可以足够接近或准确地看到和定位工具，以抓住物体。由于机器人教导模式和校准目标相对于工具的自对中都是本领域普通技术人员众所周知的，因此不提供进一步讨论。

如图7(以及图11的步骤64)所示，机器人10的工具12将校准目标44从巢46的定义位置移动到测量点48。测量点48对应于默认TCP在机器人基本坐标系中的机器人坐标，其是已知位置。

一旦校准目标44已被放置在测量点48处，如图8所示，机器人10就移动远离校准目标44。更具体地，机器人10移动远离校准目标44足够远，使得作为视觉系统一部分的相机40在由照明源38提供照明的情况下捕获校准目标44的图像(图11的步骤66)。图9示出了校准目标44的示例性相机捕获图像50。此外，视觉系统检测或识别校准目标44在相机坐标中的位置(也是图11的步骤66的一部分)。该位置不仅识别校准目标的位置，而且还识别相对于定义位置的定向参数，比如角度定向，比如如前所述的偏摆(绕Z轴的旋转)。应当理解，在3D空间中，可能需要测量其他旋转定向，比如翻滚和/或俯仰，这将需要其他感测设备。在这种情况下，可以使用6自由度或更高机器人操纵器。用于机器人的视觉系统的操作是众所周知的，因此在此不做进一步讨论。

一旦相机40已经捕获图像并且识别校准目标44的位置，如针对图9(以及图11的步骤66)讨论，以众所周知的方式将机器人坐标和相机坐标保存到相机-机器人系统中的存储器(图11的步骤68)。一旦将坐标保存到存储器，如图10所示，机器人10的工具12就将校准目标44从测量点48移动到测量点52。一旦校准目标44已被放置在测量点52处，如图10所示，机器人10就移动远离校准目标44，捕获图像并为校准目标识别位置，如先前讨论。应当理解，然后将校准目标44放置在栅格或阵列的每个剩余测量点中，如图5所示，视觉系统捕获图像并对于那些测量点识别校准目标44的位置。换句话说，在执行图11的步骤68之后。执行图11的步骤70需要对每个剩余测量点重复步骤64、66和68。

一旦所有机器人坐标和相机坐标已被保存在存储器中，如图11的步骤72所示，就根据以下方程式计算相机-机器人校准值和工具偏移量：

Poly(Cx,Cy)＝[Rx；Ry]+Rot(Ru)*[Tx；Ty]

比如对于一阶方程式，如前所述。

一旦已经计算出了相机-机器人校准值和工具偏移量，则在图11的步骤74中，将工具偏移量的计算值设置或输入到机器人中，并且在图11的步骤76中，将相机-机器人校准值保存到存储器。

与手动校准相比，本发明的自动校准过程提供了多个值得注意的优点。例如，熟练操作者可能需要180-300秒来手动定位机器人工具，而自动校准过程则需要2-3秒。这表示约100倍的时间改进因子。同样，熟练操作者的手动操作精度被限制为+/-0.2mm，而自动校准过程为+/-0.05mm。这表示约4倍的精度改进因子。当机器人重复能力为+/-0.01mm并使用5兆像素(“MP”)摄像头时，可实现+/-0.05mm的校准误差。此外，手动校准需要熟练操作者，而自动校准过程仅需要按钮操作。

为了帮助确保实现自动校准过程的改进精度，如图12所示，将实际数据(即机器人坐标)与计算数据(即从校准方程式获得的计算坐标)进行比较，如前所述。另外，优选将实际数据的线性与计算数据进行比较。如果存在非线性，则需要获取更多数据或测量点，并且求解校准方程式以合并其他测量点。计算数据和实际数据之间的误差分布在图13中示出，对于非线性拟合的示例性XY图。

线性、非线性或需要其他测量点可以如下建立：

对于示出线性拟合(例如图12)的校准误差的X,Y图，如果实际数据和计算数据的所有绘制点通常彼此均等接近，并且RMS校准误差在“可接受”范围内，则可以得出，线性拟合对于该应用是足够的。误差的“可接受”范围取决于应用，例如通常在0.2mm以下。然而，如果观察到一个或多个观察点与图上的其余点相比在实际和计算数据之间显示出更大偏差，并且校准误差在可接受范围以上，则这表明机器人或相机中的非线性。如果与其他点相比，在几个点中观察到比其他偏差更大的偏差，但校准RMS误差仍在可接受范围内，则仍可以使用线性拟合。

根据以上，如果确定需要高阶拟合(模型阶2或更高)，则对于高阶拟合可以观察到与图12类似的曲线。同样，在比较实际和计算数据时，可以检查所有数据点它们是否相对均等地接近。如果没有，可以选择甚至更高拟合方程式，直到实际和计算数据“拟合”。

如图14(其类似于图12)所示，步骤72A包括针对方程式的许多阶N(比如1-5)或直到获得足够数量的观察或测量点的N阶计算工具偏移量中的相机-机器人校准值。例如，如上所述，对于方程式的一阶，需要至少4个数据或测量点，优选为更多个。在图14的步骤74中，比较方程式的每个阶的实际和计算值之间的差异，并且在图14的步骤76中，选择在机器人坐标的实际值和计算值之间具有最小差异的方程式阶的方程式解。在图14的步骤78中，将所选方程式的方程式解值保存在存储器中。在一实施例中，在步骤74中，仅比较一阶方程的实际与计算值之间的差异，并且当该差异小于预定数值时，使用一阶方程的方程式解并将其保存到存储器，而无需进一步计算方程式的其他阶。在一实施例中，在步骤74中，仅比较一阶和二阶方程式的实际与计算值之间的差异，并且在步骤76中，一阶方程式和二阶方程式的方程式解具有较小差异值，并且在步骤78中，将所选阶方程式的方程式解值保存到存储器。在一实施例中，当多于一个方程式阶的解在实际与计算值之间产生的差异小于预定值时，所选的方程式阶为具有最小数的方程式阶。

尽管已经参照优选实施例描述了本发明，但本领域技术人员将理解，在不脱离如所附权利要求限定的本发明的精神和范围的情况下，可以进行各种改变并且可以用等同物代替其要素。特别地，对于本领域技术人员将清楚的是，在不背离其精神或实质特性的情况下，本发明可以以其他特定形式、结构、布置、比例、尺寸以及其他要素、材料和部件来实施。本领域技术人员将理解，本发明可以在结构、布置、比例、尺寸、材料和部件的许多修改下使用，并且在本发明的实践中以其他方式使用，这些修改在不脱离本发明原理的情况下特别适于特定的环境和操作要求。因此，当前公开的实施例在所有方面都应被认为是说明性的而不是限制性的，本发明的范围由所附权利要求限定，并且不限于前述描述或实施例。