一种提高工业机器人三维视觉识别精度的匹配矫正方法

摘要

本发明公开了一种提高工业机器人三维视觉识别精度的匹配矫正方法，包括如下步骤：(a)建立视觉引导的机器人系统；(b)零件位置的检测及调整；(c)零件的检测及更换；(d)图像的获取和转化；(e)摄像头畸变处理；(f)摄像机标定；(g)对图像灰度化处理；(h)图像预处理；(i)边缘特征提取；(j)边缘特征匹配及矫正。本发明对图像进行特征点匹配，根据其特征点的拓扑关系，获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准确度，提高了三维建模的精度。

说明书

技术领域

本发明属于机器人三维视觉系统技术领域，具体涉及一种提高工业机器人 三维视觉识别精度的匹配矫正方法。

背景技术

工业机器人是一种对生产条件和生产环境适应性和灵活性很强的柔性自动 化设备。特别适用于多品种、变批量的柔性生产。它对稳定提高产品品质、提 高生产效率和改善劳动条件起着非常重要的作用。由于机器人是一种能适应产 品迅速更新换代的柔性自动化设备，所以它的应用大大缩短了新产品的换产周 期，从而提高了产品的市场竞争力。在当代工业技术革命中，工业生产日益趋 向柔性自动化方向发展，工业机器人技术已成为现代工业技术革命中一个重要 组成部分，许多国家都已将机器人技术列入高技术发展计划。工业机器人技术 的发展必将对社会经济和生产力的发展产生更加深远的影响。

工业机器人是FMS加工单元的主要组成部分，它的灵活性和柔性使其成为 自动化物流系统中必不可少的设备，主要用于物料、零件的装卸、分捡和贮运。 目前全世界有数以百万的各中类型的工业机器人应用在机械制造、零件加工和 装配及运输等领域，不过这些应用都是基于先精确的示教后运行，而且工作环 境都是预先安排好的，所以机器人能成功地抓取物体。但是我们知道很多情况 下特别是流水线的场合零件的位姿常常是不固定的，实际目标物体的位姿和理 想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任务的 失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限 制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高生产 线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和主动性要 求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了解， 这迫使人们增加传感器来提高机器人对环境的感知能力，在这方面，视觉、接 近觉、触觉和力觉具有重大的作用，机器人视觉被认为是机器人最重要的感觉 能力。视觉是人类观察世界和认知世界的重要手段。据统计表明，人类从外界 获取的信息，80％以上都是来自视觉，这表明人类视觉功能的重要性，以及人类 对视觉信息有非常高的利用率。人类长久以来都梦想赋予工业机器人视觉功能，机 器人视觉是模拟人类视觉在机器人上的体现。

如今的高端工业机器人视觉正朝三维技术发展，通过对产品三维信息的识 别可以得到更加完整的空间信息以提高识别的准确率。这种三维视觉技术的基 础是建立产品的三维模型，双目视觉是现在常用的三维建模方法之一。它主要 采用两个标定好的摄像头，从不同的角度对产品拍摄二维图像，然后利用特征 点匹配法，将产品上的同一个点分别在两幅图像中的影像点配对，从而建立三 维点云与最终的三维模型。这种三维建模的方法很依赖于产品位置、产品形状 标准化、特征点匹配的精度，然而现有的特征点匹配法的精度不够高，经常会 产生误匹配的情况，严重影响后续的三维建模的精度。

发明内容

本发明提供了一种提高工业机器人三维视觉识别精度的匹配矫正方法，将 零件准确地调整到扫描位置，严格控制零件的形状轮廓，对获取的同一零件的 两张不同角度的图像进行特征点一一匹配，判断和消除无匹配点对，矫正误匹 配点对，提高了特征点匹配的准确度，提高了三维建模的精度。

本发明采用如下技术方案：

一种提高工业机器人三维视觉识别精度的匹配矫正方法，其特征在于包括 如下步骤：

(a)建立视觉引导的机器人系统：

采用上、下两层的独立结构系统，上层结构系统控制获取、处理外界信息， 作出决策，并对下层结构系统发送控制信息，上层结构系统采用机器人控制器， 下层结构系统接受上层结构系统的控制信息，对电机的进行控制操作，电机驱 动连接机器人本体，再将末端操作器固定到机器人的机械臂上，接着将传感器 固定在处于直角坐标上的末端操作器上，将零件放置在工作台面上；

(b)零件位置的检测及调整：

采用检测模块检测放置在工作台面上的零件，记录零件所处的位置，根据 扫描系统的路径，通过分析模块分析出对比标准图像的位置与零件所处的位置 的错位量，通过位置补正系统调整零件在工作台面上的位置，使得零件处于扫 描系统的扫描面范围中；

(c)零件的检测及更换：

确定零件处于扫描面范围中后，轮廓识别系统以合格的零件的轮廓信息为 基准，排查处于工作台面上的零件，获得零件的相识度，将处于工作台面上的 不合格零件更换成新的零件；

(d)图像的获取和转化:

将扫描系统以恒定的运动速度沿平行于扫描面的方向前进，扫描系统扫过 零件表面，调整扫描系统角度，扫描系统再次扫过零件表面，通过信号采集模 块获取两张同一物体不同角度的图像，将获取的图像经过转化模块分割成由相 邻像素组成的许多水平线，将每个像素的亮暗程度用一个整数值来表示，图像 被表示为一个整数矩阵，转化为数字化图像；

(e)摄像头畸变处理：

通过视觉畸变处理模块测算出摄像头畸变实际像素坐标和理想像素坐标，通 过实际像素坐标和理想像素坐标测算出镜头畸变系数向量，通过镜头畸变系数 向量排查出畸变类型，为后期摄像机标定工作做好准备；

(f)摄像机标定：

确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标之间 的映射关系，将摄像头坐标系下的三维测量坐标转换为机器人处理模块坐标系 下的三维坐标；

(g)对图像灰度化处理；

(h)图像预处理：

图像预处理采用图像增强和图像平滑方式处理图像中的噪声信号，提高图 像的清晰度，保证后续边缘特征提取的操作顺利进行；

(i)边缘特征提取：

进过预处理后的两张同一物体不同角度的图像，采用SURF算法模块，在 20*20大小的像素区域范围内，分成4*4个子区域，在每个子区域用相对主方向 的水平和垂直方向的Harr小波响应之和以及响应的绝对值之和来确定，最终形 成64维特征描述向量，对两张同一物体不同角度的图像进行特征点提取，接着 运用特征点匹配的方法将两张图像的特征点一一匹配；

(j)边缘特征匹配及矫正：

针对其中一张图像作为参考图像，根据其特征点对其进行三角剖分，获得 该图像的三角剖分图，根据参考图像的三角剖分图，对另一张图像进行特征点 连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘和正常的比例， 判断出错误的匹配点，删除错误的匹配点所对应的特征点对，删除异常边缘， 在检测的异常边缘的基础上检测并消除误匹配点对，计算一个特征点所连接的 异常边缘的数量与其连接的总边缘的数量的比值，出现比值大于一定的阈值， 将其对应的特征点对删除，完成边缘特征匹配及矫正。

本发明由于采用了上述技术方案，具有以下有益效果：

本发明先通过分析模块分析出对比标准图像的位置与零件所处的位置的错 位量，通过位置补正系统将零件准确地调整到扫描位置，接着轮廓识别系统以 合格的零件的轮廓信息为基准，严格控制零件的形状轮廓，然后对获取的同一 物体的两张不同角度的图像进行特征点一一匹配，根据其特征点的拓扑关系， 获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样 的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正 常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准 确度，提高了三维建模的精度，这样使得在工业机器人工作之前，通过工业机 器人三维视觉实时地采集零件的位置信息并处理相关图像信息，准确地对零件 进行识别和定位，确定所需的零件的位置和方向，从而工业机器人可以准确抓 取零件，工业机器人通过三维视觉了解工作环境的变化，相应地调整动作，保 证任务的正常完成，提高生产的柔性和自动化程度。

附图说明

下面结合附图对本发明作进一步说明：

图1为本发明一种提高工业机器人三维视觉识别精度的匹配矫正方法的结 构框图；

图2为本发明中建立视觉引导的机器人系统的结构示意图；

图3为本发明中参考图像的三角剖分图；

图4为本发明中正常图像的三角剖分图；

图5为本发明中异常图像的三角剖分图。

图中，1-机器人控制器；2-电机；3-机器人本体；4-机械臂；5-末端操作 器；6-传感器；7-零件；8-工作台面；9-位置补正系统；10-特征点；11-边缘。

具体实施方式

在工业流水线的场合，零件的位姿常常是不固定的，实际目标物体的位姿 和理想目标物体位姿总是有偏差的，这种偏差哪怕很小就会导致机器人操作任 务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大 地限制了机器人的实际应用范围。随着现代生产制造技术的进步，进一步提高 生产线的柔性的要求也日益迫切，对工业机器人系统应用领域、灵活性和主动 性要求也越来越高，而机器人具备一定自主性的前提是对自身环境有一定的了 解，这迫使人们增加传感器来提高机器人对环境的感知能力，由此本发明提供 了一种提高工业机器人三维视觉识别精度的匹配矫正方法，如图1所示，其提 高了特征点匹配的准确度，提高了三维建模的精度，工业机器人通过三维视觉 了解工作环境的变化，相应地调整动作，保证任务的正常完成，提高生产的柔 性和自动化程度。

本施工方法包括如下步骤：

(a)建立视觉引导的机器人系统：

如图2所示，采用了上下两层的独立结构系统，上层结构系统主要用来控 制外界信息的获取、处理，作出决策，并对下层结构系统发送控制信息，上层 结构系统采用机器人控制器1，上层结构系统所设计的平台采用工业级设计，工 作性能稳定；下层结构系统通过接受上层结构系统的控制信息，完成对电机2 的控制操作，使得机器人本体3产生需要运动状态。对于运动控制方面，采用 两轮差动的控制方式，电机2驱动连接机器人本体3，分别由独立的电机2来驱 动左轮和右轮前进和后退，从而使机器人本体3产生直线或者曲线的运动方式， 再加一个万向轮起到辅助支撑的作用，再将机器人的末端操作器5固定到机器 人的机械臂4上，接着在处于直角坐标上的机器人末端操作器5上安装传感器6， 将零件7放置在工作台面8上，传感器6上的扫描系统朝向零件7，传感器6的 视觉信息被后期工作使用，得到三维信息，后期可根据具体场合的需要，配置 其他的传感器，具有良好的可扩展能力。在建立视觉引导的机器人系统中，机 器人本体3的结构性能参数如表1：

表1

(b)零件位置的检测及调整：

采用检测模块检测放置在工作台面上的零件7，记录零件7所处的位置，根 据扫描系统的路径范围，通过分析模块分析出对比标准图像的位置与零件所处 的位置的错位量，通过位置补正系统9横向左右微移零件7，调整零件7在工作 台面8上的位置，使得零件7处于扫描系统的扫描面范围中，使得扫描系统能 准确地捕捉到工业流水线上的零件的信息，为后期三维视觉识别的匹配矫正提 供可靠的图像资源。

(c)零件的检测及更换：

确定零件7处于扫描面范围中后，轮廓识别系统以合格的零件的轮廓信息 为基准，排查处于工作台面8上的零件7，获得零件7的相识度，一般轮廓识别 系统中轮廓显示的是绿色，则说明该零件是合格的零件；轮廓识别系统中轮廓 显示的是红色，则说明该零件是不合格的零件。技术人员根据轮廓识别系统， 应及时将处于工作台面上的不合格零件更换成新的零件，一般在工业流水线上 设置两台轮廓识别系统，两台轮廓识别系统间距控制在6-15m，每台轮廓识别系 统一般需要2-3名技术人员进行操作。

(d)图像的获取和转化：

三维视觉系统强调精度和速度，所以需要图像采集模块及时、准确地提供 清晰的图像，这样才能使得图像处理模块在比较短的时间内得出正确的结果， 由此可知图像采集部分的性能会直接影响到整个三维视觉的性能。在建立视觉 引导的机器人系统中，将扫描系统以恒定的运动速度沿平行于扫描面的方向前 进，扫描系统扫过零件的表面，调整扫描系统角度，扫描系统再次扫过零件的 表面，通过信号采集模块获取两张同一物体不同角度的图像。在自然情况下， 图像并不能直接由处理模块分析。因为处理模块只能处理数字而不是图片，所 以所获取两张同一物体不同角度的图像在用处理模块进行处理前需要转化为数 字形式，图像转化为数字形式的方法为将获取两张同一物体不同角度的图像经 过采样划分为图像像素区域，将图像转化为数字化图像，最常见的划分方案是 方形采样网格，图像被分割成由相邻像素组成的许多水平线，经过采样后的图 像还不是数字图像，因为这些像素上的灰度值仍是一个连续量，必须进行量化， 所谓量化就是将每个像素的亮暗程度用一个整数值来表示，即像素的灰度离散 化，完成上述转化后，图像被表示为一个整数矩阵，这样才能将采集模块获取 的图像转化为数字化图像。

(e)摄像头畸变处理：

由于制造、安装、工艺等原因，摄像机镜头存在着各种畸变，为了提高摄 像机标定的精度，在摄像机标定的时候必须考虑成像镜头的畸变。通过视觉畸 变处理模块测算出摄像头畸变实际像素坐标和理想像素坐标，通过实际像素坐 标和理想像素坐标测算出镜头畸变系数向量，通过镜头畸变系数向量排查出畸 变类型，为后期摄像机标定工作做好准备。一般畸变类型主要包括：

1、径向畸变：光学镜头径向曲率的变化是引起径向变形的主要原因。这种 变形会引起图像点沿径向移动，离中心点越远，其变形量越大。正的径向变形 量会引起点向远离图像中心的方向移动，其比例系数增大；负的径向变形量会 引起点向靠近图像中心的方向移动，其比例系数减小。

2、偏心畸变：由于装配误差，组成光学系统的多个光学镜头的光轴不可能 完全共线，从而引起偏心变形，这种变形是由径向变形分量和切向变形分量共 同构成。

3、薄棱镜畸变：薄棱镜变形是指由光学镜头制造误差和成像敏感阵列制造 误差引起的图像变形，这种变形是由径向变形分量和切向变形分量共同构成。

(f)摄像机标定：

对数字化图像进行预处理之前需要进行摄像机标定，充分考虑成像镜头的 畸变后，确立外界三维场景中的特征点坐标与其在图像平面上的对应像点坐标 之间的映射关系，得到摄像机模型。在视觉引导的机器人系统中传感器测量的 数据是以传感器自身坐标为基础的，因而测量数据要转换为机器人坐标下表示。 摄像机采集到数据后，找出图像亮斑中心像素位置，像素位置n与目标物体在 摄像机坐标下的坐标P_摄像机(x，y，z)存在以下关系：

x＝Lsin(θ)；y＝Lcos(θ)；z＝常数

式中x，y,z表示在摄像机坐标系下被测零件7的三维坐标；L表示扫描转镜中 心到物体与激光束交点的距离；θ表示激光束偏离之间位置角度。机器人处理 模块中的坐标系的零件7位置和摄像头下的坐标系的零件7位置之间的关系为：

P_机器人(x₁，y₂，z₃)＝A₀A₁P_摄像机(x，y，z)

式中A₀表示末端操作器5关于机器人坐标原点的变换矩阵；A₁表示传感器6在 末端操作器5上的安装矩阵。经过摄像机标定，可将摄像头坐标系下的三维测 量坐标转换为机器人处理模块坐标系下的三维坐标，确立外界三维场景中的特 征点坐标与其在图像平面上的对应像点坐标之间的映射关系。

(g)对图像灰度化处理：

采集模块获取的图像是彩色图像，而我们知道彩色图像色彩丰富，包含信 息量大，图像处理速度慢，考虑到算法没有使用彩色和识别系统的实时性要求， 对彩色图像灰度化处理是必须的。灰度化就是使彩色的R、G、B分量值相等的 过程，因此灰度图像中的每一个像素的R、G、B分量值是相等的，而彩色图像 的每一个像素的R、G、B分量值是不相等的，所以显示出红绿蓝等各种颜色， 灰度图像则没有这种差异，有的只是亮度上的不同。灰度化处理的方法主要有 以下三种：最大值法、平均值法和加权值法。

(h)图像预处理：

图像采集所得到的图像往往含有较多噪声，所以必须经过预处理，除去大量 的噪声信号，使图像更清晰。图像预处理采用图像增强和图像平滑方式处理图 像中的噪声信号,图像预处理技术主要是提高图像数据中的信噪比、进行背景的 抑制等，目的是减轻后续处理部分的数据处理压力，以满足图像处理系统的实 时性要求，而且预处理的好坏直接影响到后面的特征提取，边缘特征匹配及矫 正的操作。

图像增强可以提高图像的视觉效果，也有利于进一步的自动处理。图像增 强可以指减少图像中的噪声，也可以指强调或抑制图像中的某些细节。图像增 强的主要方法有：基于点运算的方法、基于空间运算的方法、基于频域运算的 方法。

图像平滑的主要目的是为了消除噪声。噪声并不限于人眼所能看见的失真 和变形，有些噪声只有在进行图像处理才能被发现。图像的噪声往往跟信号交 织在一起，如果平滑的不当，就会使图像本身的细节变得模糊不清。图像平滑 主要包括：领域平均法、维纳滤波、中值滤波法。

(i)边缘特征提取：

进过预处理后的两张同一物体不同角度的图像，采用SURF算法模块，在 20*20大小的像素区域范围内，分成4*4个子区域，在每个子区域用相对主方向 的水平和垂直方向的Harr小波响应之和以及响应的绝对值之和来确定，最终形 成64维特征描述向量，这样对两张同一物体不同角度的图像进行特征点10提 取，接着运用特征点匹配的方法将两张图像的特征点10进行一一匹配。

(j)边缘特征匹配及矫正：

如图3所示，针对其中一张图像作为参考图像，根据其特征点10对其进行 三角剖分，获得该图像的三角剖分图，根据参考图像的三角剖分图，对另一张 图像进行特征点10连接，形成边缘11。图4显示的是正常图像的三角剖分图， 该图中没有任何边缘交叉，因此没有异常边缘；图5显示的是异常图像的三角 剖分图，该图中存在边缘交叉，因此有异常边缘。当判定出异常边缘后，进一 步根据每一个特征点的异常边缘和正常的比例，判断出错误的匹配点，删除错 误的匹配点所对应的特征点对，删除异常边缘，在检测的异常边缘的基础上检 测并消除误匹配点对，计算一个特征点所连接的异常边缘的数量与其连接的总 边缘的数量的比值，出现比值大于一定的阈值，将其对应的特征点对删除，这 样完成边缘特征匹配及矫正。

本发明先通过分析模块分析出对比标准图像的位置与零件所处的位置的错 位量，通过位置补正系统将零件准确地调整到扫描位置，接着轮廓识别系统以 合格的零件的轮廓信息为基准，严格控制零件的形状轮廓，然后对获取的同一 物体的两张不同角度的图像进行特征点一一匹配，根据其特征点的拓扑关系， 获得参考图像的三角剖分图，根据参照图像的三角剖分图对另一图像进行同样 的特征点连接，并判定出异常边缘，进一步根据每一个特征点的异常边缘与正 常的比例，判断和消除无匹配点对，矫正误匹配点对，提高了特征点匹配的准 确度，提高了三维建模的精度，这样使得在工业机器人工作之前，通过工业机 器人三维视觉实时地采集零件的位置信息并处理相关图像信息，准确地对零件 进行识别和定位，确定所需的零件的位置和方向，从而工业机器人可以准确抓 取零件，工业机器人通过三维视觉了解工作环境的变化，相应地调整动作，保 证任务的正常完成，提高生产的柔性和自动化程度。

以上仅为本发明的具体实施例，但本发明的技术特征并不局限于此。任何 以本发明为基础，为解决基本相同的技术问题，实现基本相同的技术效果，所 作出地简单变化、等同替换或者修饰等，皆涵盖于本发明的保护范围之中。