基于双目视觉的弧焊机器人焊缝三维信息获取研究

摘要

现有的焊接机器人系统从整体上看基本都属于第一代的示教再现型或部分第二代的离线编程型,这两类工业生产中服役的机器人都不具有适应焊接环境和作业条件变化的能力。使焊接机器人能够根据一定的传感信息而具有自动调节、自主规划的功能,对实现焊接机器人的自主焊接具有十分重要的现实意义。为了增强弧焊机器人的自主能力和自适应能力,提高机器人智能化水平,本文模拟焊工在焊接过程对环境的观察和适应能力,将两个CCD摄像机安装在机器人末端,在较大范围内观察焊接环境,利用双目视觉原理实现初始焊接位置的识别和导引,获取焊缝的三维空间信息,为进一步实现焊接机器人自主焊接奠定了基础。基于视觉传感的焊缝初始位置定位和三维信息获取是一个视觉三维重建的过程。双目立体视觉是三维重建的重要方法之一,本文将两个CCD成一定角度配置,安装在机器人末端,使得焊接环境处于双目的有效视场内,获取宏观环境下的图像,在较大范围内自主寻找初始焊接位置和计算整个焊缝在机器人坐标系下的三维坐标,控制机器人运动到初始焊接位置并能在焊前沿焊缝路径运动。图像的识别是视觉定位的基础,针对焊接环境本身的特点,本文提出了一套宏观环境下初始焊接位置和焊缝识别算法。该算法首先进行焊缝的识别,然后利用识别后的图像对初始焊位进行图像定位。焊缝的识别包括反光区域的去除、图像增强、边缘检测及后续处理等步骤,本文提出的自适应分区模糊增强算法(简称ARFIE),根据归一化的相对图像模糊对比度对图像进行自适应分区,根据分区级别信息进行模糊增强,可对不同对比度的图像获得良好的增强效果。焊缝的整体识别算法可很好的识别不同材料和不同焊接环境下的工件图像。对初始焊位的图像定位,本文提出以焊缝与工件边缘交点做初始值,局部范围内角点提取定位的算法,可精确的识别初始焊位。标定是从二维图像信息到三维空间信息的桥梁,本文对建立双目视觉系统进行了标定,包括双目各自的内外参数标定,相互位置关系的标定和手眼关系的标定,系统配置一旦确定后,摄像机的内参数就不再变化,而手眼关系可能在作业中发生变化,本文直接利用工件图像的信息进行了手眼关系的标定。立体匹配是立体视觉中的关键和难题之一。本文提出一种一般性配置摄像机校正不变量优化校正算法,将任意配置的双目系统校正到理想的平行配置情况。该算法对理论投影区域进行估计,利用该区域内的信息设计了优化校正关系。试验表明,该算法能减小校正图像的变形和图像信息的丢失,提高图像分辨率,大大提高了图像对校正的质量。针对校正后的立体图像对提出一种由粗到细的多信息匹配算法(简称CTFMIMM),该算法利用初始焊接位置等焊接环境中的特殊点给出匹配搜索范围,确定匹配候选集合,然后利用边缘特征信息的强度和方向信息作为约束条件并充分利用原图像的灰度信息,根据提出的灰度相似性参数DOGs最后确定唯一正确的匹配点。该算法是一种基于结构化的边缘特征信息、兴趣点和灰度相关的协同匹配方法。对焊缝信息进行了三维重建,并将其转换到机器人坐标系下,便于控制机器人的运动。分析了机器人误差对三维视觉计算的影响――包括机器人重复定位精度和TCP控制点的影响。试验表明,机器人重复定位精度对视觉计算的影响标准误差不大于0.3mm,当TCP标定最大误差超过1mm后需要进行重新标定。详细分析视觉系统配置对视觉计算的影响,试验测试进一步证明了分析推导结果。在介绍试验系统的基础上给出了根据本文方法进行的几种典型焊缝初始焊位导引与焊缝三维信息获取的试验。试验表明,不含机器人运动误差的纯视觉计算误差小于0.56mm。对空间焊缝初始焊接位置的导引,x、y、z方向上的最大误差小于1.1mm。对于整条焊缝三维信息的计算,平面焊缝的最大平面距离误差和高度误差分别是1.2mm,1.3mm,空间焊缝的最大平面距离误差和高度误差分别是1.2mm,1.6mm；采用模块化编程方法,将与硬件相关的程序及三维视觉计算程序分离,能方便实现不同机器人之间和视觉设备更换后的算法移植。初始焊接位置的自主定位导引和焊缝三维信息的获取是实现智能化焊接的技术基础,对环境具有较强的适应能力,能替代当前的示教在线和基于CAD的离线编程方法,对重要工件的焊接和危险环境下的焊接具有尤为重要的意义。

目录

摘要

ABSTRACT

第1章 绪论

1.1 引言

1.2 焊接机器人和机器人焊接应用现状及其分析

1.3 环境识别与视觉传感技术在焊接机器人领域的应用

1.4 立体视觉技术的发展和应用现状

1.5 本文的主要研究内容及结构安排

第2章 宏观环境下焊缝与初始焊位的识别

2.1 引言

2.2 焊接环境识别的特点

2.3 宏观焊缝的整体识别

2.4 焊缝识别结果

2.5 初始焊接位置在图像上的定位

2.6 本章小结

第3章 弧焊机器人双目视觉系统的标定

3.1 引言

3.2 摄像机模型和标定参数

3.3 双目视觉系统的标定

3.4 机器人手眼关系标定

3.5 手眼标定试验

3.6 本章小结

第4章 基于图像对校正的多信息立体匹配

4.1 引言

4.2 立体匹配中的多义性问题

4.3 立体匹配的约束条件

4.4 双目立体视觉图像校正原理与过程

4.5 立体匹配

4.6 本章小结

第5章 焊缝三维信息获取及误差分析检测

5.1 引言

5.2 三维重建方法

5.3 坐标转换

5.4 试验及误差分析

5.5 本章小结

第6章 空间焊缝的三维信息获取与初始焊位导引试验

6.1 引言

6.2 试验系统的构建

6.3 机器人与计算机的通讯

6.4 试验方案及结果

6.5 试验结果分析

6.6 焊缝三维信息获取与初始焊位导引方法的软件结构

6.7 本章小结

第7章 结论

本文的主要创新点

攻读博士学位期间发表的论文及参加的科研项目

致谢