首页> 中国专利> 相机安装于机器人手臂上的手眼标定方法及手眼标定装置

相机安装于机器人手臂上的手眼标定方法及手眼标定装置

摘要

本发明提供一种相机安装于机器人手臂上的手眼标定方法,包括步骤:控制相机拍摄标定纸上所有图形中心的像素坐标,构建平面相机标定模型;根据像素坐标和平面相机标定模型获取相机的内参参数和畸变参数;获取同一个图形的像素坐标并根据畸变参数对相机进行畸变校准,获取校准后的像素坐标;根据校准后的像素坐标、机器人末端位姿坐标和内参参数获取相机工具第一初值;根据相机工具第一初值和内参参数,控制机器人在不同手系下迭代运动至对准图形中心,获取机器人关节坐标,根据机器人关节坐标获取相机工具第二初值;构建非线性优化模型,代入相机工具第二初值和内参参数获取优化后的相机工具和内参参数。本发明标定过程简单,标定成本低且精度高。

著录项

  • 公开/公告号CN112330749A

    专利类型发明专利

  • 公开/公告日2021-02-05

    原文格式PDF

  • 申请/专利权人 深圳众为兴技术股份有限公司;

    申请/专利号CN202011138340.2

  • 发明设计人 郭晓彬;黄国辉;迟杰恒;罗奇;

    申请日2020-10-22

  • 分类号G06T7/80(20170101);G06F17/11(20060101);

  • 代理机构44205 广州嘉权专利商标事务所有限公司;

  • 代理人邱维杰

  • 地址 518000 广东省深圳市南山区艺园路马家龙田厦产业园(原27栋-29栋)5-001室

  • 入库时间 2023-06-19 09:49:27

说明书

技术领域

本发明属于机器人手眼标定领域,尤其涉及一种相机安装于机器人手臂上的手眼标定方法及手眼标定装置。

背景技术

随着工业现场的工艺对精度要求越来越高,机器人需要通过搭配高精度的工业相机作为机器人的“眼睛”协调以完成高精度的工艺。为了保证抓取精度,在安装工业相机后需进行机器人和工业相机之间的手眼标定。现有的相机一般安装于机器人的末端上,手眼标定的过程较为复杂,甚至需要在机器人的末端安装治具吸附标记完成标定、精度不高且鲁棒性差。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种相机安装于机器人手臂上的手眼标定方法,标定过程简单,标定成本低,标定精度高且鲁棒性强。

根据本发明的第一方面实施例的相机安装于机器人手臂上的手眼标定方法,包括以下步骤:控制相机拍摄标定纸上所有图形的中心的像素坐标,构建平面相机标定模型;根据所述像素坐标和平面相机标定模型,构建矩阵方程,获取安装于机器人手臂的相机的内参参数以及畸变参数;控制相机在不同位姿下获取同一个所述图形,获取所述图形对应的像素坐标,以及获取当前机器人末端位姿坐标,并根据所述相机的畸变参数对相机进行畸变校准,获取校准后的所述像素坐标;根据校准后的所述像素坐标、所述机器人末端位姿坐标以及所述内参参数,构建矩阵方程,获取相机工具第一初值;根据所述相机工具第一初值以及内参参数,控制机器人在不同手系下迭代运动,使相机中心对准图形中心,获取机器人关节坐标;根据所有所述机器人关节坐标,构建矩阵方程,获取相机工具第二初值;构建非线性优化模型,并将所述相机工具第二初值以及所述内参参数代入所述非线性优化模型中,获取优化后的相机工具以及内参参数。

根据本发明实施例的一种相机安装于机器人手臂上的手眼标定方法,至少具有如下有益效果:本发明先通过平面相机标定模型和像素坐标获取相机的内参参数以及畸变参数,再通过畸变校准获取校准后的像素坐标,根据校准后的像素坐标、机器人末端位姿坐标以及内参参数,构建矩阵方程,获取相机工具第一初值,根据相机工具第一初值以及内参参数,机器人在不同手系下,不断迭代运动,使相机中心自动对准图形中心,获取机器人关节坐标,根据所有的机器人关节坐标构建矩阵方程,获取相机工具第二初值,构建非线性优化模型,通过相机工具第二初值、内参参数作为优化变量代入非线性优化模型中,获取优化后的相机工具以及内参参数,完成手眼标定。本发明的手眼标定方法,标定过程简单、自动化,无需依靠治具完成标定。且通过畸变参数对像素坐标进行校准,校准后,能够提高相机工具第一初值的准确度,再根据相机工具第一初值、机器人的末端位姿坐标以及若干个图形的像素坐标获取相机工具第二初值,通过若干个图形的像素坐标、相机工具第一初值等参数获取相机工具第二初值,能够提高相机工具第二初值的准确度,通过非线性优化模型获取优化后的相机工具第二初值以及内参参数,能够有效提高手眼标定的精度,标定精度高且鲁棒性强,标定成本低。同时,本发明的相机安装于机器人的手臂上,并非安装于机器人的末端,能够避免在工作时,安装于机器人末端的夹具转动而导致夹具缠绕相机的数据传输线的问题。

根据本发明的一些实施例,所述控制相机拍摄标定纸上所有图形的中心的像素坐标,包括:建立每一所述图形对应的模板,控制所述相机分别拍摄所述标定纸的所有所述图形;获取与所述图形的中心分别对应的像素坐标。

根据本发明的一些实施例,所述控制相机在不同位姿下获取同一个所述图形,获取所述图形对应的像素坐标,以及获取当前机器人末端位姿坐标,并根据所述相机的畸变参数对相机进行畸变校准,获取校准后的所述像素坐标,包括:控制所述机器人改变位姿,并控制所述相机拍摄所述标定纸上的一个所述图形;获取机器人在若干个不同位姿下,所述相机所拍摄的同一个所述图形所对应的像素坐标,并获取当前机器人末端位姿坐标;根据所述相机的畸变参数对相机进行畸变校准,获取校准后的所述像素坐标。

根据本发明的一些实施例,所述根据校准后的所述像素坐标、所述机器人的末端位姿以及所述内参参数,构建矩阵方程,获取相机工具第一初值,包括:根据所述内参参数,将校准后的所述像素坐标转换成相机坐标系的坐标;将所述相机坐标系的坐标转换成机器人末端坐标系的坐标;根据所述机器人末端位姿坐标,将所述机器人末端坐标系的坐标转换成机器人基坐标系的坐标,构建矩阵方程,获取所述相机工具第一初值。

根据本发明的一些实施例,所述根据相机工具第一初值以及内参参数,控制机器人在不同手系下迭代运动,使相机中心对准图形中心,获取机器人关节坐标,包括:控制所述相机移动至所述标定纸上的一个所述图形的中心附近处;获取所述相机拍摄的所述图形;根据所述图形获取与所述图形对应的像素坐标,并获取当前的机器人末端位姿坐标;根据所述图形的像素坐标和相机主点坐标获取所述相机中心与图形中心之间的像素偏差;根据所述相机工具第一初值、机器人末端位姿坐标以及相机中心与图形中心之间的像素偏差获取机器人末端的偏移量;根据所述机器人末端的偏移量,控制机器人末端迭代运动至相机中心与图形中心对准,获取机器人在不同手系下的机器人关节坐标。

根据本发明的一些实施例,所述构建非线性优化模型,并根据所述相机工具第二初值以及所述内参参数迭代获取优化后的相机工具以及内参参数的步骤之后,还包括以下步骤:判断手眼标定的误差。

根据本发明的一些实施例,所述判断手眼标定的误差,包括:控制所述机器人改变位姿,并控制所述相机拍摄所述标定纸上的一个所述图形;获取机器人在若干个不同位姿下,所述相机拍摄的同一个所述图形;根据所述图形获取与所述图形对应的像素坐标,并获取当前机器人末端位姿坐标;根据所述机器人末端位姿坐标,将像素坐标转换成机器人基坐标系下的坐标;根据所述机器人基坐标系下的坐标计算最小覆盖圆半径,判断手眼标定的误差。

根据本发明的一些实施例,所述图形为轴对称图形,相邻所述图形中心点之间的距离相同。

根据本发明的第二方面实施例的手眼标定装置,包括:至少一个处理器和用于与所述处理器通信连接的存储器;所述存储器存储可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述处理器能够执行根据本发明第一方面实施例所述的相机安装于机器人手臂上的手眼标定方法。

根据本发明的第三方面实施例的计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行据本发明第一方面实施例所述的相机安装于机器人手臂上的手眼标定方法。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例的相机安装于机器人手臂上的手眼标定方法的流程图。

图2为本发明实施例的相机安装于机器人的手臂的示意图。

图3为本发明实施例的标定纸的示意图。

图4为本发明实施例的控制相机拍摄标定纸上所有图形的中心的像素坐标的流程图。

图5为本发明实施例的控制相机在不同位姿下拍摄同一个图形,获取图形对应的像素坐标,以及获取当前机器人末端位姿坐标,并根据相机的畸变参数对相机进行畸变校准,获取校准后的像素坐标的流程图。

图6为本发明实施例的根据校准后的像素坐标、机器人末端位姿坐标以及内参参数,构建矩阵方程,获取相机工具第一初值的流程图。

图7为本发明实施例的根据相机工具第一初值以及内参参数,控制机器人在不同手系下迭代运动,使相机中心对准图形中心,获取机器人关节坐标的流程图。

图8为本发明另一实施例的相机安装于机器人手臂上的手眼标定方法的流程图。

图9为本发明实施例的判断手眼标定的误差的流程图。

图10为本发明实施例的相机安装于机器人手臂上的手眼标定方法的总流程图。

图11为本发明实施例的手眼标定装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、外、内等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

为了对本发明的技术特征、目的和效果有更加清晰的理解,先对照附图详细说明本发明的具体实施方式。

请参考图1,本发明提供一种相机安装于机器人手臂上的手眼标定方法,包括以下步骤:

步骤S100,控制相机拍摄标定纸上所有图形的中心的像素坐标,构建平面相机标定模型;

步骤S200,根据像素坐标和平面相机标定模型,构建矩阵方程,获取安装于机器人手臂的相机的内参参数以及畸变参数;

步骤S300,控制相机在不同位姿下拍摄同一个图形,获取图形对应的像素坐标,以及获取当前机器人末端位姿坐标,并根据相机的畸变参数对相机进行畸变校准,获取校准后的像素坐标;

步骤S400,根据校准后的像素坐标、机器人末端位姿坐标以及内参参数,构建矩阵方程,获取相机工具第一初值;

步骤S500,根据相机工具第一初值以及内参参数,控制机器人在不同手系下迭代运动,使相机中心对准图形中心,获取机器人关节坐标;

步骤S600,根据所有机器人关节坐标,构建矩阵方程,获取相机工具第二初值;

步骤S700,构建非线性优化模型,并将相机工具第二初值以及内参参数代入非线性优化模型中,获取优化后的相机工具以及内参参数。

根据本发明实施例的相机安装于机器人手臂上的手眼标定方法,先通过平面相机标定模型和像素坐标获取相机的内参参数以及畸变参数,再通过畸变校准获取校准后的像素坐标,根据校准后的像素坐标获取相机工具第一初值,根据相机工具第一初值、机器人末端位姿坐标、内参参数以及各个图形的像素坐标获取每个图形分别对应的机器人关节坐标,根据获取的所有的机器人关节坐标构建矩阵方程,获取相机工具第二初值,构建非线性优化模型,通过相机工具第二初值、内参参数作为优化变量代入非线性优化模型中,获取优化后的相机工具第二初值以及内参参数,完成手眼标定,本发明的手眼标定方法,标定过程简单、自动化,无需依靠治具完成标定。且通过畸变参数对像素坐标进行校准,校准后,能够提高相机工具第一初值的准确度,再根据相机工具第一初值、机器人末端位姿坐标以及若干个图形的像素坐标获取相机工具第二初值,通过若干个图形的像素坐标、相机工具第一初值等参数获取相机工具第二初值,能够提高相机工具第二初值的准确度,通过非线性优化模型获取优化后的相机工具第二初值以及内参参数,能够有效提高手眼标定的精度。同时,本发明的相机安装于机器人的手臂上,并非安装于机器人的末端,能够避免在工作时,安装于机器人末端的夹具转动而导致夹具缠绕相机的数据传输线的问题。

请参考图2,在本发明的一些实施例中,相机安装于机器人的手臂上。在本实施例中,机器人为SCARA机器人,将相机安装于机器人的小臂上,能够避免安装于机器人末端的夹具转动而导致夹具缠绕相机数据传输线的问题,避免影响夹具的动作。当然,还可以采用其他常见的机器人,将相机安装于机器人的小臂上后,进行手眼标定。具体地,A点和B点之间的距离为机器人的大臂长度,B点和E点之间的距离为机器人的小臂长度,D点为机器安装于机器人的小臂上的位置,C点为相机的摄像头。坐标系{x

请参考图3,在本发明的一些实施例中,图形为轴对称图形,相邻的图形的中心点之间的间距相同。具体地,标定纸上的图形个数可变,图形的个数大于或等于9个。可以理解的是,标定纸的大小需满足能够布满相机的整个视野范围即可。在本实施例中,将六边形设为第一图形,长方形设为第二图形,正方形设为第三图形,圆形设为第四图形,标定纸上的其余图形依次标记为第五图形至第n图形。以第一图形的中心为原点,X轴穿过第二图形的中心,Y轴穿过第三图形的中心,建立坐标系,确定每个图形的中心点在坐标系下的坐标即图形中心坐标(x

请参考图4,在本发明的一些实施例中,步骤S100中的控制相机拍摄标定纸上所有图形的中心的像素坐标,包括:

步骤S110,建立每一图形对应的模板,控制相机分别拍摄标定纸的所有图形;

步骤S120,获取与图形的中心分别对应的像素坐标。

具体地,将标定纸放置于相机的视野范围内并且使得标定纸中心位于相机的视野中心附近。设置相机主点参数,建立标定纸的图形的相机识别模板,并触发相机拍照并获取图形中心的像素坐标(u

获得图形中心的像素坐标(u

其中,

其中,(u

在建立平面相机标定模型后,进行步骤S200,根据像素坐标和平面相机标定模型,构建矩阵方程,获取安装于机器人手臂的相机的内参参数以及畸变参数;除了能够根据平面相机标定模型获取相机的内参参数以及畸变参数外,还能够根据平面相机标定模型获取的外参参数。具体地,获取相机的内参参数、外参参数以及畸变参数的过程如下:

将平面相机标定模型

作变量代换得到:

根据n个像素坐标分别与图形中心坐标一一对应的关系,构建矩阵方程:

AL=B

其中,

B=[u

L=[L

利用最小二乘法求解AL=B。

由于β>0,θ=atan2(L

内参参数α以及γ,外参参数θ、t

根据平面相机标定模型和像素坐标完成内参参数、外参参数以及畸变参数的获取。

请参考图5,在本发明的一些实施例中,步骤S300,控制相机在不同位姿下拍摄同一个图形,获取图形对应的像素坐标,以及获取当前机器人末端位姿坐标,并根据相机的畸变参数对相机进行畸变校准,获取校准后的像素坐标,包括:

步骤S310,控制机器人改变位姿,并控制相机拍摄标定纸上的一个图形;

步骤S320,获取机器人在若干个不同位姿下,相机拍摄的同一个图形所对应的像素坐标,并获取当前机器人末端位姿坐标;

步骤S330,根据相机的畸变参数对相机进行畸变校准,获取校准后的像素坐标。

具体地,先控制机器人改变位姿,并控制相机在机器人各个不同的位姿下拍摄标定纸上的一个图形,获取机器人在m次不同位姿下,相机拍摄第一图形,并得到第一图形的像素坐标(u

其中,(u

请参考图6,在本发明的一些实施例中,步骤S400,根据校准后的像素坐标、机器人末端位姿坐标以及内参参数,构建矩阵方程,获取相机工具第一初值,包括:

步骤S410,根据内参参数,将校准后的像素坐标转换成相机坐标系的坐标;

步骤S420,将相机坐标系的坐标转换成机器人末端坐标系的坐标;

步骤S430,根据机器人末端位姿坐标,将机器人末端坐标系的坐标转换成机器人基坐标系的坐标,构建矩阵方程,获取相机工具第一初值。

具体地,步骤S410,根据内参参数,将校准后的像素坐标转换成相机坐标系的坐标,计算公式如下:

其中,(u

经过步骤S410将像素坐标转换成相机坐标系的坐标后,进行步骤S420,将相机坐标系的坐标转换成机器人末端坐标系的坐标,计算公式如下:

其中,(x

经过步骤S420将相机坐标系的坐标转换成机器人末端坐标系的坐标后,进行步骤S430,根据机器人末端位姿坐标,将机器人末端坐标系的坐标转换成机器人基坐标系的坐标,构建矩阵方程,获取相机工具第一初值。其中,根据机器人末端位姿坐标,将机器人末端坐标系的坐标转换成机器人基坐标系的坐标的计算公式如下:

其中,(x

由于第一图形在机器人基坐标系下的坐标始终不变,即第i-1次拍摄得到的机器人基坐标系的坐标值与第i次拍摄得到的机器人基坐标系得坐标值相同,即:

利用m次拍摄得到的像素坐标与对应的机器人末端坐标系的坐标,构建矩阵方程,并利用最小二乘法求解,得到相机工具第一初值。其中相机工具第一初值包括坐标系{x

可以理解的是,在本实施例中,通过第一图形获取相机工具第一初值,当然,也可以通过拍摄第二图形或第三图形等,选择标定纸上的其中一个图形根据上述步骤获取相机工具第一初值即可。

请参考图2和图7,在本发明的一些实施例中,步骤S500,所述根据相机工具第一初值以及内参参数,控制机器人在不同手系下迭代运动,使相机中心对准图形中心,获取机器人关节坐标,包括:

步骤S510,控制相机移动至标定纸上的一个图形的中心附近处;

步骤S520,获取相机拍摄的图形;

步骤S530,根据图形获取与图形对应的像素坐标,并获取当前的机器人末端位姿坐标;

步骤S540,根据图形的像素坐标和相机主点坐标获取相机中心与图形中心之间的像素偏差;

步骤S550,根据相机工具第一初值、机器人末端位姿坐标以及相机中心与图形中心之间的像素偏差获取机器人末端的偏移量;

步骤S560,根据机器人末端的偏移量,控制机器人末端迭代运动至相机中心与图形中心对准,获取机器人在不同手系下的机器人关节坐标。

具体地,先控制相机中心(即相机主点)移动至标定纸的其中一个图形的中心附近,控制相机拍摄标定纸上的同一个图形(如拍摄第一图形),并获取第一图形对应的像素坐标,同时,获取当前机器人末端位姿坐标,根据像素坐标与相机主点获取相机中心与图形中心之间的像素偏差,获取相机中心与图形中心之间的像素偏差后,多次迭代运动,控制机器人末端移动至相机中心对准第一图形的中心,对准后,获取对准时的机器人的第一关节和第二关节的坐标(即机器人关节坐标),并且重复上述步骤获取机器人在另一个手系下,相机中心对准第一图形中心时的机器人的第一关节和第二关节的坐标(即获取相机中心对准第一图形中心时,机器人在两个不同手系下的机器人关节坐标)。控制相机更换所拍摄的图形(控制相机移动至另一图形如第二图形的中心处附近),并且重复上述步骤,获取在两个手系下,相机中心对准第二图形的中心时的机器人的第一关节和第二关节的坐标,以及获取在两个手系下,相机中心对准第三图形的中心时的机器人的第一关节和第二关节的坐标。重复上述步骤,获取相机中心对准标定纸上的各个图形时,机器人在不同手系下分别对应的机器人关节坐标,将各个机器人关节坐标构建矩阵通过最小二乘法求解,获得相机工具第二初值,相机工具第二初值包括坐标系{x

具体地,控制相机中心移动至标定纸中心附近,控制相机拍摄第一图形,得到第一图形中心的像素坐标(u′,ν′),并获取此时的机器人末端坐标(x,y,c),获取第一图形中心的像素坐标(u′,ν′)与相机主点(u

获取第一图形中心的像素坐标(u′,v′)与相机主点(u

其中,Δu和Δν为第一图形中心的像素坐标(u′,v′)与相机主点(u

根据机器人末端需运动的偏移量,获取机器人末端需运动到的位置,计算公式如下:

其中,在公式x=x-Δx以及y=y-Δy中,等式左边的(x,y)为机器人末端下一次需运动到的位置,等式右边的(x,y)为此时的机器人末端坐标的x轴坐标以及y轴坐标,Δx和Δy为机器人末端需运动的偏移量。

重复上述步骤,多次计算机器人末端需运动的偏移量,机器人末端根据偏移量移动至相机中心对准第一图形中心,获取对准第一图形中心时,机器人的第一关节与第二关节坐标为

在一个手系下,相机主点在机器人坐标系下的坐标的计算公式如下:

其中,参考图2,L

在另一个手系下,相机主点在机器人坐标系下的坐标的计算公式如下:

其中,L

由于相机主点对准的是同一个图形的中心,因此,x

构建矩阵方程,利用最小二乘法计算sinθ

请参考图1,在本发明的一些实施例中,步骤S700,构建非线性优化模型,并将相机工具第二初值以及内参参数代入非线性优化模型中,获取优化后的相机工具以及内参参数。

具体地,在获取相机工具第二初值(旋转角度θ

通过计算得到的准确度较高的相机工具第二初值作为非线性优化算法迭代寻优的迭代初值,能够有效提升迭代的计算速度以及标定精度。可以理解的是,除了使用LM非线性优化算法外,还能够采用遗传算法、退火算法、共轭梯度法以及拟牛顿法等非线性优化算法进行迭代寻优。

请参考图8,在本发明的一些实施例中,在步骤S700,构建非线性优化模型,并根据相机工具第二初值以及内参参数迭代获取优化后的相机工具第二初值以及内参参数之后,还包括步骤S800,判断手眼标定的误差。

请参考图9,在本发明的一些实施例中,步骤S800,判断手眼标定的误差,包括:

步骤S810,控制机器人改变位姿,并控制相机拍摄标定纸上的一个图形;

步骤S820,获取机器人在若干个不同位姿下,相机拍摄的同一个图形;

步骤S830,根据图形获取与图形对应的像素坐标,并获取当前机器人末端位姿坐标;

步骤S840,根据机器人末端位姿坐标,将像素坐标转换成机器人基坐标系下的坐标;

步骤S850,根据机器人基坐标系下的坐标计算最小覆盖圆半径,判断手眼标定的误差。

请参考图10,本发明提供一种相机安装在机器人手臂上的手眼标定方法,包括以下步骤:(1)将具有若干个图形的标定纸置于相机视野范围内,相机拍照得到所有图形的中心的像素坐标,建立带畸变的平面相机标定模型,构建矩阵方程,利用最小二乘法求解矩阵方程,得到相机的内参参数和畸变参数(上述步骤为相机标定的过程);(2)机器人在多个不同位姿下,相机依次拍照标定纸同一图形得到像素坐标,获取机器人末端位姿,根据标定纸上图形中心在机器人基坐标系下始终不变的关系,构建矩阵方程,利用最小二乘法求解矩阵方程,得到相机工具第一初值;(3)根据相机工具第一初值和相机的内参参数,机器人在不同手系下,不断迭代运动,使相机中心自动对准图形中心,获取机器人关节坐标,根据标定纸上图形中心在机器人基坐标系下始终不变的关系及运动学正解,构建矩阵方程,利用最小二乘法求解矩阵方程,得到相机工具第二初值;(4)根据标定纸上图形中心在机器人基坐标系下始终不变的关系,将相机内参参数、相机工具作为优化变量,构建非线性优化模型,利用L-M非线性优化算法迭代寻优(上述步骤为非线性优化迭代寻优过程);(5)机器人多个不同位姿下,相机依次拍照标定纸同一图形得到像素坐标,获取当前机器人末端位姿坐标,将图形中心的像素坐标转换成在机器人基坐标系下的坐标,并计算最小覆盖圆半径以衡量手眼标定误差(上述步骤为手眼标定精度验证过程)。本发明实施例提供了一种相机安装在机器人手臂上的手眼标定方法,标定成本低、实用性强、一键全自动的手眼标定方案,无需高精度的标定板,采用自行制作的标定纸,使用普通打印机打印,便可完成高精度、高鲁棒性的机器人手眼标定。

本发明的手眼标定方法,标定纸的图形只要是轴对称图形,保证图形中心的间距相同,使用普通的打印机打印即可,不同的相机视野范围,只需自行制作标定纸,标定成本低、实用性强,无需使用高精度的标定板。只需设定好相机主点,机器人末端圆周运动路径的半径,即可一键自动完成标定,无需依靠治具完成标定。通过基于视觉的迭代运动算法,可以使相机主点精准对准图形中心,计算相机工具第二初值,将相机工具第二初值和相机内参参数作为非线性优化模型的迭代初值,大大提升迭代计算的速度与标定精度。对标定纸的打印效果要求不高,即使图形中心的间距误差较大、轮廓变形或模糊,也可高精度完成标定,鲁棒性强。

请参考图11,本发明实施例还提供了一种手眼标定装置,该手眼标定装置可以是任意类型的智能终端,如手机、平板电脑、个人计算机等。

进一步地,手眼标定装置包括:一个或多个处理器和用于与处理器通信连接的存储器。其中图11中以一个处理器为例。处理器和存储器可以通过总线或其他方式连接,图11以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序,如本发明实施例中的手眼标定装置对应的程序指令。处理器通过运行存储在存储器中的非暂态软件程序以及指令,从而实现上述的相机安装于机器人手臂上的手眼标定方法。

存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储上述相机安装于机器人手臂上的手眼标定方法的相关数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至该手眼标定装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明的第三方面,提供了计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,被一个处理器执行,可使得上述一个或多个处理器执行上述相机安装于机器人手臂上的手眼标定方法。

以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号