基于图像处理的机器人焊缝实时跟踪检测方法及装置

摘要

本发明公开了一种基于图像处理的机器人焊缝实时跟踪检测方法及装置，具体涉及焊接自动化技术领域，该装置包括焊接机器人、焊接模块、结构光传感模块、图像处理模块、主控制器；所述焊接机器人包括：焊接机器人本体、机器人控制箱，所述机器人控制箱控制机器人本体进行移动；所述结构光传感模块包括：CCD相机、结构光传感器、封装盒；所述图像处理模块用于对对焊缝图像进行预处理，获取原始焊缝特征图像信息。本发明所述的一种基于图像处理的机器人焊缝实时跟踪检测方法及装置，与传统机器人焊缝实时纠偏方法相比，简化了计算机的相关算法，能够提高计算效率，进而提高焊缝纠偏的精确度，使得精确度能够满足实际焊缝纠偏过程中的精度要求。

说明书

技术领域

本发明涉及焊接自动化技术领域，特别涉及基于图像处理的机器人焊缝实时跟踪检测方法及装置。

背景技术

近年随着智能制造时代的到来，焊接技术作为制造领域中的重要部分渐渐受到重视。传统的人工焊接方式，受到人为因素、工人疲劳程度等主观因素的影响，难以保证焊接质量、效率及其稳定性。传统的人工焊接主要是通过工人眼镜观察焊缝位置与焊接状态，通过工人焊接经验判断焊接过程是否正常和是否需要调整。这大大影响了焊接质量和效率，因此对焊接机器人有了更高的要求和期待。将计算机技术、机器人技术和信息传感技术与焊接技术相互结合，使用机器代替人工，降低人工成本的同时也使得焊接技术发展的越来越智能化和自动化。这不仅是焊接技术发展的必然趋势，同时也是整个制造业未来的发展方向。智能焊接机器人技术将机器人运动控制技术与视觉传感器技术相结合，虽然大大促进了焊接技术的发展，同时也带来很多需要解决的问题。

焊接是一个非线性的，时变的过程。当焊接条件改变时，焊接机器人并不能根据这些条件的改变做出相应的调整。例如由于强烈的弧光辐射、高温、烟尘、飞溅、坡口状况、加工误差、夹具装夹精度、表面状态以及工件的热变形等都会影响焊枪偏离焊缝中心，影响焊接精度。

目前常见的机器人焊缝跟踪系统，应用场景较为单一，主要针对单一类型的工件及焊缝结构，对于不同的焊缝结构形式，往往需要不同的视觉传感器。而且，焊缝跟踪系统受限于传感器的工作频率，无法实现较快速度的跟踪焊接。

发明内容

本发明的主要目的在于提供基于图像处理的机器人焊缝实时跟踪检测方法及装置，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于图像处理的机器人焊缝实时跟踪检测方法，所述方法包括如下几个步骤：

S1、在未进行焊接的情况下，将结构光传感器将结构光条纹投射到焊缝表面，形成具有焊缝特征的结构光条纹，采用CCD相机获取该状态下的焊缝图像，并通过图像处理模块对焊缝图像进行预处理，获取原始焊缝特征图像信息，获取原始焊缝特征关键点的原始坐标点a(x

S2、在进行焊接的过程中，持续获取焊接头的位置，根据原始坐标点a(x

S3、根据预测的所述下一焊接头坐标点b+1(x

S4、根据水平位移偏量，通过主控制器控制焊接机器人进行纠偏位移调整。

优选的，S1中对于图像进行预处理的具体为：

S11、对焊缝图像进行灰度直方图处理，然后对直方图进行均衡化处理，并增强焊缝图像对比度；

S12、根据对经过处理后的焊缝图像进行分析，获取原始坐标点a(x

优选的，S12中所述的原始坐标点a(x

优选的，S2中建立的焊接头坐标点b(x

优选的，S2中根据前个焊接头点b(x

优选的，S3中划算水平位移偏量的公式为：

Δd＝x

其中Δd为水平位移偏量，x

一种基于图像处理的机器人焊缝实时跟踪检测装置，其应用于上述基于图像处理的机器人焊缝实时跟踪检测方法，包括：焊接机器人、焊接模块、结构光传感模块、图像处理模块、主控制器。

所述焊接机器人包括：焊接机器人本体、机器人控制箱，所述机器人控制箱控制机器人本体进行移动；

所述焊接模块包括：焊机、焊接头、送机机构，所述焊机、焊接头、送机机构依次连接，其与机器人本体为一体，由机器人本体带动进行移动；

所述结构光传感模块包括：CCD相机、结构光传感器、封装盒，所述封装盒用于将结构光传感器和CCD相机进行封装，使其与焊接模块保持同步运动，并保证其与焊接模块中的各部件之间工作互不干扰；

所述图像处理模块用于对对焊缝图像进行预处理，获取原始焊缝特征图像信息；

所述主控制器用于进行预测下一焊接头坐标点b+1(x

优选的，所述机器人本体配套设置有一三维运动机构，所述三维运动机构设置有X轴、Y轴和Z轴，所述机器人本体可沿X轴、Y轴和Z轴进行运动。

与现有技术相比，本发明具有如下有益效果：

本发明公开了一种基于图像处理的机器人焊缝实时跟踪检测方法及装置，通过采用CCD相机对焊缝特征图像进行获取并处理以后，得出焊缝特特征图像中的特征点，并得出其坐标点，然后根据焊接过程中，焊接头的实际移动位置，实时计算出下一移动位置的坐标点，然后根据焊接头的下一移动位置的坐标点和与其对应的下一特征点的原始坐标点，计算出水平位移偏量，主控制器根据计算结果将控制信号传输至机器人控制箱控制机器人本体实现纠偏位移工作，与传统机器人焊缝实时纠偏方法相比，简化了计算机的相关算法，能够提高计算效率，进而提高焊缝纠偏的精确度，使得精确度能够满足实际焊缝纠偏过程中的精度要求。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，这里使用的“第一”、“第二”仅用于区别同一技术特征，并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

一种基于图像处理的机器人焊缝实时跟踪检测方法，所述方法包括如下几个步骤：

S1、在未进行焊接的情况下，将结构光传感器将结构光条纹投射到焊缝表面，形成具有焊缝特征的结构光条纹，采用CCD相机获取该状态下的焊缝图像，并通过图像处理模块对焊缝图像进行预处理，获取原始焊缝特征图像信息，获取原始焊缝特征关键点的原始坐标点a(x

S2、在进行焊接的过程中，持续获取焊接头的位置，根据原始坐标点a(x

S3、根据预测的所述下一焊接头坐标点b+1(x

S4、根据水平位移偏量，通过主控制器控制焊接机器人进行纠偏位移调整。

其中，本发明所述CCD相机采用彩色CCD相机，其规格为：影像在38万点以上、彩色分辨率大于或等于480线、黑白分辨率，600线以上的高分辨率，2/3in靶面尺寸为宽8.8mmX高6.6mm,对角线11mm。

另外，相机镜头的正确选择也是决定摄像机成像质量好坏的重要因素之一，镜头主要影响着成像清晰程度、像画面大小、成像距离等。选择镜头时需要考虑的因素有：焦距是否需要可变、焦距大小的选择、像画面大小、接口类型等。结构光视觉传感器在进行焊缝跟踪时，一般传感器的工作距离基本保持不变，所以无须镜头焦距可变。本实施例提供的传感器的工作距离为100mm左右，选择了C型接口1/2的镜头，靶面尺寸为6.4×4.8mm，视场角为52.1°，焦距为8mm，具有手动调焦与手动光圈的功能。

其中，所述的原始焊缝包括但不限于搭接、对接和角接焊缝，所述的结构光传感器采用MTI2d激光传感器。

具体的，S1中对于图像进行预处理的具体为：

S11、对焊缝图像进行灰度直方图处理，然后对直方图进行均衡化处理，并增强焊缝图像对比度；

S12、根据对经过处理后的焊缝图像进行分析，获取原始坐标点a(x

另外，S12中所述的原始坐标点a(x

所述的每隔一定距离，该距离应当是固定不变的竖直，可以在实践过程中在焊接机器人的移动速率不变的情况下，替代为固定的时间间隔t。

具体的，获取原始坐标点的方法采用基于加权余弦相似度(WLCS)的特征点提取算法，得到预处理后的当前帧图像中焊缝特征点的像素坐标值，即为所述的原始坐标点a(x

S2中建立的焊接头坐标点b(x

S2中根据前个焊接头点b(x

S3中划算水平位移偏量的公式为：

Δd＝x

其中Δd为水平位移偏量，x

基于上述，本发明在实际进行焊接的过程中，能够根据焊接头的移动位置，实时计算出焊接头与原始焊缝之间的水平位移偏量，即可通过该水平位移偏量进行纠偏调整。

一种基于图像处理的机器人焊缝实时跟踪检测装置，其应用于上述基于图像处理的机器人焊缝实时跟踪检测方法，包括：焊接机器人、焊接模块、结构光传感模块、图像处理模块、主控制器。

所述焊接机器人包括：焊接机器人本体、机器人控制箱，所述机器人控制箱控制机器人本体进行移动；其中，机器人本体配套设置有一三维运动机构，所述三维运动机构设置有X轴、Y轴和Z轴，所述机器人本体可沿X轴、Y轴和Z轴进行运动。

所述焊接模块包括：焊机、焊接头、送丝机构，所述焊机、焊接头、送机机构依次连接，其与机器人本体为一体，由机器人本体带动进行移动；送丝机构是为了保证焊丝的长度足够长。

所述结构光传感模块包括：CCD相机、结构光传感器、封装盒，所述封装盒用于将结构光传感器和CCD相机进行封装，使其与焊接模块保持同步运动，并保证其与焊接模块中的各部件之间工作互不干扰；

所述图像处理模块用于对对焊缝图像进行预处理，获取原始焊缝特征图像信息；具体为，对焊缝图像进行灰度直方图处理，然后对直方图进行均衡化处理，并增强焊缝图像对比度，在分析和处理焊缝图像中，直方图反映的是焊缝图像的灰度级，它是一个简单而又有效地工具，直方图的均衡化是实现图像增强的一种有效的方法，它是利用直方图来修正图像，通过拉伸像素强度分布范围来增强图像的对比度，然后对经过处理后的图像进行基于灰度阈值的分割化处理，提取图像的关键特征点坐标信息。

所述主控制器用于进行预测下一焊接头坐标点b+1(x

需要说明的是，本发明数据传输主要是在计算机中基于VC++开发平台利用OpenCV来实现焊缝图像的处理，并利用串口编程来实现焊接机器人与计算机之间的数据通讯。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。