首页> 中国专利> 根据直线特征执行视觉系统平面手眼校准的系统和方法

根据直线特征执行视觉系统平面手眼校准的系统和方法

摘要

本发明提供一种系统和方法,通过使用具有至少一个特征的所制物体来对一个视觉系统进行手眼校准。该特征可以是线性特征,并且物体在一运动台体上至少在一个自由度上以平移或旋转方式运动。该系统还包括至少一第一视觉系统相机和一图像处理器。所述第一视觉系统相机布置为可获取所制物体的第一线性特征的图像,并可响应于所述运动台体在至少一个平移自由度上的运动而跟踪所述第一线性特征的运动。所述第一线性特征沿一平面在至少两个不同的位置被识别。基于所述至少两个位置,所述系统计算所述第一相机在像素坐标系中的像素位置与在运动坐标系中物理位置之间的映射关系。

著录项

  • 公开/公告号CN104735444A

    专利类型发明专利

  • 公开/公告日2015-06-24

    原文格式PDF

  • 申请/专利权人 康耐视公司;

    申请/专利号CN201410784244.3

  • 发明设计人 刘刚;

    申请日2014-12-16

  • 分类号H04N17/00(20060101);

  • 代理机构44205 广州嘉权专利商标事务所有限公司;

  • 代理人谭英强

  • 地址 美国马萨诸塞州

  • 入库时间 2023-12-18 09:33:32

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-10-12

    授权

    授权

  • 2015-07-22

    实质审查的生效 IPC(主分类):H04N17/00 申请日:20141216

    实质审查的生效

  • 2015-06-24

    公开

    公开

说明书

技术领域

本发明涉及一种在机器视觉系统应用中所使用的校准系统和方法以及校准物体。

背景技术

在机器视觉系统(本文称为“视觉系统”)中,一个或多个摄像机被用于对成像场景中 的物体或表面执行视觉系统处理。这些处理可以包括检查、符号解码、调整以及各种其它的 自动化任务。更具体地讲,视觉系统可用于检测成像场景中穿过的一个平面工件。场景通常 由一个或多个视觉系统摄像机成像,这些摄像机(一个或多个)可以包括操作相关视觉系统 处理以产生结果的内部或外部视觉系统处理器。通常需要校准一个或多个摄像机以使它/它们 有足够的精度和可靠性来执行视觉任务(多个)。校准板可用于校准摄像机。

校准物体(通常是一个“板”的形式)通常以在其表面带有特色图案的平板状物体的形 式提供。特色图案通常经过精心设计,从而使用户能够很容易地从一个相机捕获的校准板图 像中识别出每个可见特征。一些示例性的图案包括但不限于:点网格,线网格,或者大致的 蜂窝图案,三角形棋盘图案等等。每个可见特征的特点可由(面)板的设计(比如相对于设 计内部隐含定义的一个参考位置和/或坐标系的位置或方向)推知。

由交叉线和修饰图形镶嵌排列而成的棋盘图案设计,提供了在即便透视系数和镜头畸变、 图案部分损坏、不均匀光照等非理想条件下执行校准时在精度和鲁棒性方面的一些优点。更 具体地说,在一个静止物体的二维(2D)校准时,通过校准棋盘边缘确定单个棋盘块的各个 角的相对位置,一般对于确定视觉系统的精度是足够的,并且视情况而定,向相机处理器提 供适当的校正系数以便运行时物体在考虑这些校正系数的条件下得到测量。

通过进一步了解校准原理可知:对于一个刚体,比如一个校准板,一种运动可由一对姿 态来表征:运动前的初始姿态、运动后的终止姿态——“姿态”在此定义为用于描述在任意 特定瞬间、当前坐标系下物体状态的一组数值——物体的一种虚拟特性。例如,在二维空间, 一个刚体可用三个数字表征:X平移,Y平移和旋转R。校准板前后的姿态描述了当相机(多 个)和校准板间存在相对运动时校准板如何呈现给相机(多个)。典型地,按所谓的“手眼校 准”标准,一个校准板以许多不同的姿态呈现给相机(多个),而每个相机获取校准板在每个 姿态下的一幅图像。对于机器视觉的手眼校准,典型情况下,校准板被移动到多个预定姿态, 而相机(多个)获取所述校准板的特定图像。此种手眼校准的目标是在“运动坐标系”中确 定相机(多个)和校准板的刚体姿态。该运动坐标系可以用多种方式来定义。姿态的数目(指 定校准板和/或这些相机在空间中的位置)必须在一个适当的坐标系中解释。一旦单一的统一 坐标系被选定,则姿态和运动均在该全局坐标系中描述/解释。这个选定的坐标系被常称作“运 动坐标系”。典型地,“运动”由一个能够完成物理运动的实际设备来提供,比如一个机器人 手臂,或者一个运动台站,比如一台起重机架。请注意,校准板既可以相对于一个或多个固 定相机运动,相机(多个)也可以相对固定校准板运动。此种运动执行装置的控制器使用数 值(即姿态)命令装置执行任何想要的运动,而那些数值在适合该装置的本地坐标系中被解 释。注意:尽管可以选定任意运动坐标系以提供一个相对于运动执行装置与相机(多个)的 通用的全局坐标系,但通常希望选择运动执行装置的本地坐标系作为整体的运动坐标系。

因此,手眼校准通过运动的执行(或者移动校准板,或者移动相机)针对运动坐标系校 准系统,并在运动之前和之后获取图像以确定该运动对于一个运动物体的作用效果。通过进 一步的背景延伸,这不同于典型的内在的和外在的相机校准,这种校准不包括(即“免于”) 在一个运动坐标系中确定相机的外在姿态。在这种情况下,相机(多个)通常都使用所捕获 的一个处于所有相机视野内特定位置的校准板的图像相对于校准板自身的坐标系得到校准。 机器视觉校准软件根据每台相机捕获的校准板图像推导出每台相机的相对位置。这种校准被 称作“针对校准板的校准相机”,而一个手眼校准被称作“针对运动坐标系的校准相机”。

当机器视觉系统使用手眼校准时,其软件通过把图像中观察到的运动效果和受控运动(其 受控运动数据是已知的)相关联来求解各个姿态。校准的另一个结果是在相机图像中的每个 像素位置和运动坐标系中一个物理位置建立映射,因此在图像空间找到一个位置后,在运动 坐标系中该位置可被解出,并且运动执行装置可据之执行命令。

在各种制造过程中,希望对齐一个扁平工件或更一般地,对齐一个所关注特征位于通常 相互平行的离散平面上的工件。更具体地,组装应用中,一个工件与另一个工件对齐。一个 示例性的处理是需要把一部蜂窝电话或一台平板电脑的复盖玻璃插入其壳体内。另一个示例 性的处理涉及打印应用,其中工件与处理设备对齐,比如丝网印刷移动电话、平板电脑或平 板显示器的复盖玻璃的时候。

机器视觉手眼校准的标准技术(例如在以上描述的复盖玻璃安装布置时就要求移动一个 特殊的校准目标,例如棋盘校准板)可能在操作方面比较麻烦(例如,工作区域的空间约束, 特殊安装固定和/或用于握持目标的抓取装置)。这就使得自定义校准板和/或固定件的使用成 为必需的,会增加成本和安装时间。

发明内容

通过移动一个典型的(运行时刻)工件(其下面的部件/物体处理装置,比如一个机器人 和/或运动平台,被设计为在其计划的、运行时刻制造过程中进行处理)而提供一种用于执行 平面的(即2D)手眼校准的系统和方法,本发明克服了先前技术的不足。该系统和方法可在 手眼校准中降低对某个特定校准目标的视觉系统的依赖。具体地,示例性实施例通过在台体 运动时察看对于一个物体/工件的一个或多个直线特征保证手眼校准的性能。本系统和方法有 望使范围广泛的视觉系统应用获得足够的校准精度水平。该系统和方法通过工件随平台运动 期间仅仅察看一个或多个直线特征即可示例性地执行手眼校准,并使用这些特征建立一个坐 标系,以便视觉系统作为参照。该系统和方法利用单一的全局(和/或运动)坐标系便可应用 于单个或多个相机配置。

在一个示例性实施例中,提供了一种用于视觉系统(利用具有至少一个特征的所制物体) 的平面的(2D)手眼校准的系统和方法。该特征可以是线性特征,并且物体在一运动台体上 至少在一个自由度上以平移或旋转方式运动。该系统还包括至少一第一视觉系统相机和图像 处理器。该第一视觉系统相机可按多种参数校准,这些参数可以是(或不是)相机本身具有 的,以及安排用于获取所制物体第一线性特征的图像并响应于运动台体在至少一个平移自由 度上的运动而跟踪第一线性特征的运动。一处理/处理器识别一个二维(2D)平面上至少两个 不同位置的第一线性特征,并基于至少两个位置,计算出第一相机像素坐标系中的像素位置 与运动坐标系中物理位置间的映射关系。线性特征为一边缘、一支架和一有明显对比度差异 的区域中的至少一个。可选地,可提供第二视觉系统相机(也可经过校准)。另外,在进一步 实施例中,可布置提供可选的视觉系统相机(例如第三个,第四个,等等)。第二视觉系统相 机可适当布置以便识别并分别跟踪所制作物体的至少一个第二线性特征。做为选择,两个或 更多相机中的每一个(第一相机,第二相机等等)可跟踪同一个第一(等)特征(例如来自 视域的不同点)。运动台体包括至少一将所制物体沿x轴移动的第一滑道,和一将所制物体 沿y轴移动的第二滑道,y轴在2D平面通常大致与x轴正交。运动台体可包括升降机,所 述升降机布置为沿一个与2D平面正交的z轴移动所制物体。该系统可以进一步包括转台, 可使所制物体至少能绕x轴,y轴和z轴之一旋转。第一滑道、第二滑道和升降机中至少有 一个由包括转动导螺杆和受控电机的致动器驱动。示例性的旋转台体旋转所制物体。运动台 体可包括导螺杆驱动的滑道和可操作地连接至该导螺杆的受控电机。电机可包括伺服电机或 步进电动机中的至少一个。运动台体包括滑道和可操作地与之相连的受控线性电机。

附图说明

本发明以下描述参考下列附图,其中:

图1是一个示意图,表示一个示例性的制造布置,使用了一个或多个机器视觉系统相机 和相关的处理部件,用于按照此处图示的实施例的校准系统和方法;

图2是一个含多个视觉系统相机视域的示意图,每个视域指向一个包括单个线性边缘特 征物体的分立区域;

图3是一个过程流程图,该过程利用附加到一个运动台体上的运行时刻物体的线性特征 执行一个或多个相机的手眼校准;

图4是一个示意性的平面图,说明在一个示例性实施例中用于其视觉系统的一个单轴运 动台体;

图5是一个示意性的平面图,说明在一个示例性实施例中用于其视觉系统的一个带有旋 转的三轴运动台体;

图6是一个示意性的平面图,说明在一个示例性实施例中用于其视觉系统的一个两轴运 动台体;

图7是一个示意性的平面图,说明在一个示例性实施例中用于其视觉系统的一个XXY类 型运动台体。

具体实施方式

I.手眼校准,进一步的考虑

传统的手眼校准,无论是手动执行,还是在一个视觉系统内,都必需在观察到的影像特 征位置和它们的期望物理位置之间建立对应关系,并使观察到的位置和期望位置之间的差异 最小化。在示例性实施例中,线性特征等的使用,都借用了传统的手眼校准的各个方面,不 过强调了更多的考虑。这些考虑起因于按原先技术执行的传统的手眼校准中可用的校准特征 与使用了运行时刻所制物体及有选择的线性特征的新颖校准方法之间的差异。这些差异主要 涉及对应关系的类型,反过来,对应关系类型导致计算的不同方式并使所获图像中所观察到 的数据和期望数据之间的差异最小化。

先前的技术趋于使用完全指定特征沿X和Y轴的2D位置的“点数据”。请注意,在三维 手眼校准中,点数据完全地指定一个特征的三维位置。然而,该示例性实施例描述一个平面 内的二维手眼校准,因此所作考虑主要适用于二维(2D)环境,将在下面进一步描述。例如, 如果特征是一个圆盘,则“点数据”包括其中心的x和y坐标。可以预期第三维度能够利用 适当的技术加入进来。在刘刚(GANG LIU)等的名为“使用不准确的校准目标的机器视觉系统” 的共同转让的美国专利申请号13/835,759中,讲授并描述了一种带有与一个点对点距离度量 有关的相伴方程的解决方案,该方案参考了大卫J.迈克(David J.Michael)等的名为“确 定一个相机和一个可移动物体间校准关系的基于NONFEEDBACK的机器视觉方法”的专利(美 国专利号5,960,125),每一个教导都以参考的形式清楚地结合进来,作为有用的背景信息。

示例性的实施例采用“线性数据”,只部分地指定了一个特征在x-y平面中的二维(2D) 位置。即在一条直线(线性特征)延伸通过一个相机整个视野(FOV)的情况下,相机没有对 示例性的直线的终点成像。更具体地讲,相机缺乏关于直线终点的任何信息源。因此,根据 图像数据,相机和相关的视觉系统只可以确定沿法线方向的直线位置(与图像中直线/线性特 征的延长线垂直),但是缺乏数据来确定实际成像的是直线的哪一段。事实上,如果相机沿着 直线方向被移动,则所获取的图像将保持完全相同。因此,相机和视觉系统包括只能确定沿 一个维度的线段位置的数据(与线段的延长线垂直)。如此,当试图对应一个观察得到的线性 特征与一个期望的线性特征时,沿着线性特征延长线的两个特征(观察的和预期的)的相对 变换没有有用的信息。这是试图校准直线时的一个关键差别,其位置数据只有沿直线的法线 可用,而不是使用点数据的更传统的校准那样,其位置数据在两个垂直的维度都可用(即沿 着x和y轴)。通过非限制性实例,计算点到线距离的公式可定义如下:

d=u*y-v*x-r

其中,(x,y)指定给定的点的位置。(r,u,v)参数化一个给定线,其中(u,v)是其单位长度 方向矢量,而r是离原点(0,0)的带符号垂直距离。d是所述点到线的带符号的垂直距离。 应注意当且仅当d=0时所述点会准确落在所述线上。还请注意,可以想到的是,上述等式仅 表示指定一个点线对应关系的多种技术之一。基于此处的教导,特别考虑了对技术人员应该 是清楚的技术。

通过实例和比较,在传统的手眼校准视觉系统中,校准过程操作按一种相对简单的方式 来计算两点间距,一个由观察图像位置推导获得,另一个由预期位置推导获得。所述计算产 生相机运行时刻操作时使用的必要校准参数。然而,基于线性数据的校准参数是截然不同的, 因为该校准方法/算法使用了所谓的点到线度量,其为从一个给定点到给定线的垂直距离。从 所述图像中观察的线段上的任何点可作为所述点,其中所述点作为相应观察所得数据的角色。 一条预期线是所观察物体(部件)边缘的假定模型,受特定运动台体姿态影响,在此姿态图像 被获取。从所述点到所述线的距离是手眼校准理论试图最小化的差异。这种一般化方法将在 下面进一步描述。

根据使用线性特征校准的示例性实施例,一个目标是在使用所制运行时刻物体时允许校 准出现-即在一个实际的制造/处理过程期间一个或多个物体被成像和操作,而不是使用一个 有目的建造的校准物体。这种校准假定包括某些具有线性特征的边缘、框架等部件。使用一 个所制运行时刻物体可提高操作的便利并避免停机和在场景中部署一个校准物体和相关的运 动台体的相伴成本。通常,物体的几何形状要求并不严格,并且常常不希望在使用它校准前 精确测量其几何形状。

一个特殊校准物体和一个所制物体(用于校准)两者都可包括一个或多个适合视觉系统 方法/算法来提取的影像特征。使用一个专用校准物体和一个运行时刻物体之间的关键区别是 典型情况下缺乏特征(一般多重)间相对的空间关系方面的可用的精确尺寸。如果这样的度 量在一个物体运行时刻可以获得,一般精度都非常低,因此,如果用作常规的校准物体,将 对校准结果产生大的误差。因此,根据示例性实施例,手眼校准(以及相关的校准处理/处理 器)通常可以预先不知道运行时刻物体的几何形状。所述处理/处理器为作为手眼校准过程一 部分的成像物体上的观察所得直线(线性特征)推导出适当的等式,且不用输入任何精确测量 的几何形状,比如部件的宽度或高度。以这种方式,按照此处示例性实施例,使用最小的先 验信息并使用正常通过运动台体场景的物体,利用在一个或多个方向上沿着(例如)x-y平 面的运动(其也用于台体运行时刻操作),校准处理/处理器为相机和相关的视觉系统推导出适 当的校准参数这使特别地建造校准物体的需求最小化或彻底消除,固定件诸如此类及替代品 依赖台体的可用运动和反馈能力。

注意,通常示例性实施例在此指“平面的”或2D手眼校准-即校准过程使用线性特征操 作物体沿着一个平面(例如x,y)进行运动。适当时可以指定一个或多个高度(例如Z轴) 值,但是通常对于沿着一个平面的给定校准测量集是不变的。

II.说明性视觉系统布置

通过非限制性实例,图1显示了一个一般化制造布置100,其中一个第一物体或工件110 由一个运动机械手和/或运动台体组件120悬挂于一个第二物体或工件112之上。在各种实施 例中,第一工件110可以是一个透明窗体或其它面状构造,第二工件112可以是一个框架或 壳体,被构造或布置为永久性地在一个组装步骤中接受第一工件110。第一工件之整个或部 分表面可以是透明的(如图所示)、半透明或不透明。下面进一步描述工件110,112在未装配 和装配后的配置情况。第二工件112位于一个运动台体(可包括一个部件运送器)121上, 其按照该领域的技巧在一个运动台体控制器和相关的控制过程124控制下沿多个方向(箭头 122)之每个方向运动。所述方向122可表征为在xy平面内的X轴和Y轴平移(或移动),以 及垂直于xy平面的Z轴(可选)平移(移动)。同样地,可以出现至少围绕z轴的旋转运动 R。在一个示例性布置中,所述机械手组件120可被构造和布置为沿着至少一个轴(Z)运动(箭 头130),且可选地沿着x和/或y轴运动。可选地,在物体110和112组合期间使用的所有 Z轴动作可由所述运动台体本身执行。所述运动台体平移的方向,和所述运动台体121运动 的方向可看作视觉系统相机在“运动坐标系”中的坐标轴,其在使用了适当的技术进行离线 (非运行时刻)校准过程中都得到校准(下面进一步描述)。一种替代性布置100可包括绕x 轴/或y轴规定的旋转(即“倾斜”)。

所述布置100至少包括一个,示例为四个视觉系统相机140,142,144和146,每个都 带有各自的图像传感器(简称“传感器”)150,152,154和156。每个传感器150,152,154 和156通过各个镜头组件160,162,164和166在其视野内接收来自一个图像场景的光。所 述场景由一个或多个照明组件170,172,174和176照亮,其可通过所述各个相机140,142, 144和146的处理器选通。一个或多个所述照明组件可以是“内部的”,比如一个相机壳体内 摄相机镜头周围的环形发光器,或一个或多个所述照明组件可以是外部的,适当布置后在所 述场景中提供可接受的照明效果以使闭塞和其它不受欢迎的效果(比如由于表面的镜面反射) 最小化。可以提供比图1所述布置100描述的更多或更少的发光器。另外,尽管所述相机140, 142,144和146被描述为其光轴OA与场景倾斜布置(对z轴成锐角),在替代性实施例中, 每个相机的光轴OA可与z轴大体对齐(即在轴)。通常,如果实际可行,所述相机布置为能 提供完整的、无阻挡的两个工件110和112的边缘视图。

用于每个(一个或多个)相机的视觉系统处理器可全部或部分位于所述各个相机壳体之 内。与每个相机有关的视觉系统处理器和处理功能由方块180表示。在此为每个相机都提供 了一个单独的视觉系统处理器,相机可个自处理图象信息,并与一个进一步的远程处理器, 比如一台PC机,分享视觉系统结果。可替代地,一个或多个相机处理器可担当“主”视觉系 统处理器,而另一个相机担当“从”处理器,向主处理器传送未处理的图像数据以便进一步 处理。可替代地,所有相机140,142,144和146可布置为通过适当的相机接口(例如,一 个USB链接或基于TCP/IP的网络)将多个图像帧传送到一个中心视觉系统处理单元(例如一 台PC机)。

应注意,在此处所述相机可事先(可选地)根据内在和/或其它参数进行校准。这可使用 在此处描述的一个传统的校准板实现。

按照一个示例性实施例,所述视觉系统处理器/处理180包括一个相关的对齐处理182。 所述对齐处理182被构造并布置为能确保第一工件110的外边缘184与当前工件112即第二 工件的内部边缘186适当对齐。所述对齐处理182与所述操纵器组合的机器人控制188通信, 以跟随并指示Z轴运动,同时也与所述运动台体控制器124通信,以跟随并指示x和y轴运 动。基于来自对齐处理182的反馈,随着所述机械手沿着z轴降低第一工件使之与第二物体 接合,所述运动台体121受控(一般在x,y方向以及旋转R)移动第一工件110与第二物体 112进入适当的对齐状态。

在其它制造布置中,一个所制工件或物体与处理设备对齐,比如手机,平板电脑和平板 显示器复盖玻璃的丝网印刷。对齐挑战与此类布置中出现的以上描述类似。如下面进一步描 述,在另外的实施例中,明确考虑了操纵部件完成多种运动的各种可替换布置。一般地,所 述视觉系统包括特别的运动台体布置的模型,而该模型部分地基于引起所述特别运动的致动 器的结构与功能。

III.校准过程

如图2所示,这种情况很常见:同时使用多个相机,当物体随运动台体(或其它运输工 具)运动时,每个相机的视野用于跟踪完整物体200的一部分。如所示,所述每个相机的视 野210,220,230和240分别位于与离散边缘212,222,232和242相邻的物体之部分区域。 在各种的实施中,贯穿运行时刻的运动-台体-操纵过程,由每个相机分别跟踪的物体部分 可保持在该相机的视野之内。在其它实施例中,可以预见的是不同特征可进入单个相机的视 野中。如果是这样,就要使用适当的跟踪技术以区分所述不同的特征。

在一个示例性实施例中,所述对齐处理182包括一个训练系统,该系统在设置阶段(一 般在任何运行时刻阶段之前)利用所制运行时刻物体200的(典型情况下)线性边缘特征执 行手眼校准。如本文所述,所述运行时刻物体和/或所制物体(object under manufacture) 是一个通常由运动台体运载以实行一个或多个组装和/或制造步骤的物体。这区别于特别地用 于相机/视觉系统的物体。如上总体描述的那样,按照在该领域已知的技术,手眼校准用于在 图像像素坐标和运动台体坐标之间建立对应关系,其中运动台体物理上移动所述物体进入期 望的对齐位置。在校准期间,台体移动物体到多个预定姿势,以便所述特征(多个)的一维 (1D)位置信息可根据每个姿势推导而得。以这种方式(如上所提),所述系统和方法降低 了对特定校准物体的依赖,其在所述的制造/检查环境所给定的空间约束下难于和/或不便使 用。

参考图3,显示的是一个使用线性边缘特征用于手眼校准的过程300。对每个相机,获取 传统的校准物体的至少一个图像,例如在步骤310中的“棋盘形”校准。在步骤320中,该 图像用于校准每个相机特定的图像-实物的映射(或像素-校准特征的映射)。相机(多个) 的固有变量在确定所述映射过程中可选地使用,但在此对于示例性实施例不是必须的。通常, 步骤310和320确保所述相机和所述校准物体间没有移动。

在步骤330中,一个在制造时典型的运行时刻物体出现在成像场景中,而接受手-眼校 准的每个相机都可看到所述物体的一个或多个线性的(即直线)特征(虽然有时术语称为一 个“工件”),同时所述物体刚性连接于所述运动台体。这些线性特征可以是边缘或任何其它 特征,其表示一个可分别的线段--例如,打印的边缘、符号或字母、支架、切块等等。通 常,在设置期间所述视觉系统可使用典型的边缘检测技术和工具发现这样的线性特征,而用 户可在校准过程中手动标志这些特征进行跟踪。在第一位置和/或旋转角度获取所述物体的图 像之后,所述台体(和联接物体)被移动到另外的预定姿势(即另外的x-y转移位置和/或转 动角R),直到设定的最后姿势(判定步骤332)。在每个姿势,每个相机捕捉所述物体/工件 (步骤330)的一个图像。在获取了所述物体在一个或多个姿势的图像后,就从那些图像提 取观看到的线性特征(使用从步骤320获得的相机校准参数)。所述线性特征的相对物理位置 基于所述运动台体的已知位置(示例性的使用由控制器124或其它物理位置感测系统(步骤 350)提供的反馈)与那些分立的线性特征的关联决定。然后位置信息被用于使任何点到线的 差异最小化,从而通过使一个观察点到一个预期线的距离差异最小化来计算手眼校准,其在 步骤360中将每个相机的像素位置映射到所述运动台体运动坐标系中的物理位置。更具体地, 所述校准处理和/或处理器使用一个所谓的点到线度量,其为一个给定点到一个给定线的垂直 距离。任何从所述图像中提取的观察线段上的点(像素)都可充当所述点——其在对应关系 中作为所述观察数据的角色。一条预期线是所观察部件边缘的假定模型,受特定运动台体姿 态影响,在此姿态图像被获取。根据在此处所述示例性实施例,从所述点到所述线的距离是 手眼校准理论试图最小化的差异。

IV.运动台体布置

参阅图4-7,说明了按照该领域的技巧实施的多个不同的运动台体。每个所述实施方式 以及任何等效的布置可用于与所述示例性实施例的教导结合使用。

按照一个实施例,图4显示一个示例性的单轴(例如X轴或Y轴)运动台体400,其被 置于成像场景之内。所述物体410(幻线所示)附加到所述台体滑块420,其在沿着一个轨道 或其它基于线性轴承的引导方式(例如,轨道430)的适当的轴承上移动。所述滑块420由 一个致动器电机440驱动。所述电机可包括任何可接受的适当连接的旋转或线性电机、减速 齿轮传输等等。在一个实施例中,所述致动器电机440可包括伺服或步进电动机,其向一个 适当的电机控制器(以上描述的)提供反馈控制信号。所述控制器允许所述系统处理器精确 地找到滑块的当前位置并比较该位置与由视觉系统报告的其在运动坐标系中的位置。在本实 施例中所述电机440旋转一个采用传统设计的导螺杆。所述导螺杆相对所述滑块420上的一 个固定螺纹块旋转,从而以一个已知的比率把旋转运动转换为线性运动(双箭头460)。在替 代实施例中,旋转致动器电机可用以用线性电动机代替,其按照已知的原理移动滑块。术语 “致动器”或“致动器电机”应广义地理解为包括多样的旋转和线性电动机,包括那些由电 力、液体和/或其它原动力驱动。

应注意两个或更多(许多)以上描述的单轴运动台体可被以各种的配置方式叠置(或别 的方式布置)以产生直角的运动效果(例如一个xy布置,如下所述)。可以预见的是,运动 台体可如此布置以产生三个直角运动(例如x,y和z坐标轴),以及可选地,绕z轴旋转一 个(或更多)度数。平移和/或旋转(例如,绕x和/或y轴倾斜)的附加程序在进一步台体 结构中会明确规定。多家供应商提供商用的运动台体和运动台体部件。例如,以各种自由度 组合转换的台体可由加利福尼亚州的Rancho Santa Margarita Newmark系统公司提供。

参见图5,显示了一个具有xy配置的在成像场景内的一个两轴运动台体。所制物体410 安装在滑块510上,其在两个独立致动器(总体如上所描述)540和550牵引驱动(双箭头 520和530)下运动。这些力被正交布置在一个2D X轴/Y轴(xy)平面之内。按照在此处的实 施例,该平面一般定义了手眼校准的运动坐标系。

参考图6,显示了一个具有xyzR结构的四自由度运动台体。所制物体410安装在滑块610 上,其在两个独立致动器(总体如上所描述)640和650牵引驱动(双箭头620和630)下运 动。再次说明,这些力被正交布置在一个2D X轴/Y轴(xy)平面之内。按照在此处的实施例, 该平面一般定义了手眼校准的运动坐标系。在xy平面内物体410的旋转(双弯曲箭头R)可 由一个旋转的台体660(幻影所示)提供,其具有一个相关的致动器670和适当的齿轮传动。 一个Z轴升降台体(未示出)正交地移动物体410(横越680)到xy平面——目的是驱动所述 物体与一个与之对齐的上覆物体接触。

应该清楚,范围宽泛的运动台体和结构可与此处描述的手眼校准系统和方法联合使用。 图7显示一个按照xxy布置的特别的示例性的(非限制性实例)运动台体结构700。滑块701 在所述成像场景内运载所制物体410。所述致动器720沿着Y轴方向转移(双箭头730)所述 滑块710。一对致动器740和750按间隔的指向布置,沿着所述直角X轴方向(指定x1和x2) 转移(双箭头760和770)所述滑块710。所述两个致动器740和750可相互独立地控制以便 各自可同时在相反的方向进行平移。所述致动器还可以枢轴连接至所述滑块710。因此,每 个致动器740和750的反向平移可在xy平面之内引起有限旋转R1。这样可限制所述物体410 与叠置的相关物体转动对齐。注意,提供的可选Z轴升降机和/或对齐物体(在图7中未示出) 可提供在此处描述并显示的所述和其它示例性结构之机械手降低到物体410。更一般地,向 所述台体滑块提供了所谓UVW布置。即,一个第一滑块和一个第二滑块大致相互平行,并且 所述第一和第二滑块大致与第三个滑块垂直。每个滑块可独立地线性驱动。另外,可明确预 期的是一对致动器(与x1,x2布置类似)可应用于所述台体的Y轴驱动器以提供一个带有有 限旋转(双箭头R1)的xxyy台体布置,由同一平面内的位于一对直角坐标轴中的致动器提供。 即,为台体提供了四个滑块,第一滑块和第二滑块大致相互平行,而第一和第二滑块同时大 致垂直于第三和第四滑块——其中第三和第四滑块大致分别相互平行。使用两对滑块用于在 两个直角方向之每个方向平衡力或负载。作为一个进一步备选方案,所述台体可布置为一个 xyy布置,其每个滑块都可线性地驱动。

总体很清楚,以上描述的在一个平面的(2D)运动环境中对所制运行时刻物体利用线性 的(或等效的)特征所做手眼校准之系统和方法,在设置效率和成本方面提供了重要的改进, 而且一般地有助于避免修改制造环境以适应一个传统的校准物体。

前述为本发明之示例性实施例的详细描述。在不脱离本发明的精神和范围的情况下,可 以进行各种修改和补充。以上描述的各种实施例的各自特性可视情况与其它描述的实施例特 性组合,以便在相关的新实施例中提供多重特性组合。此外,尽管前述描写了本发明的设备 和方法的许多分离的实施例,但在此所描述的只是本发明之原理的应用的示例。例如,在替 代实施例中,所述运动台体可布置为一个机械手手臂,构台等诸如此类,并且术语“运动台 体”应广义地理解为包括这样的结构。例如,在此处所使用的术语“处理”和/或“处理器” 应广义地包括多种基于硬件和/或软件的功能和部件。还有,此处使用了各种方向和指向术语, 比如“垂直”,“水平”,“向上”,“向下”,“底部”,“顶部”,“侧面”,“正面”,“后面”,“左”, “右”,等等,只用于相对的常规而非相对于固定坐标系,比如地心引力,的绝对定向。此外, 所描述处理或处理器可与其它处理和/或处理器组合或分割为各种子处理或处理器。此类子处 理和/或子处理器按照此处实施例可为各种组合。同样地,可明确预期的是,此处的任何功能, 处理和/或处理器可使用电子硬件、由程序指令的非易失性计算机可读取媒介构成的软件,或 硬件和软件的结合。此外,可以预见的是某些或所有视觉系统处理任务可在主模块或一个远 程处理器(例如服务器或PC机)中执行,其在操作上通过有线或无线通信(网络)链接经所 述接口模块连接到所述主模块。另外,在识别和跟踪在此描述的线性特征时,可明确预期线 性特征和点特征两者都可通过所述整个系统识别并分别跟踪,从而提供一个系统,其混合了 所述物体的线特征和点特征的识别与跟踪,产生一个用于校准的映射。因此,本说明书仅作 为实例提供,并不限制本发明的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号