基于HDR图像的熔池中心识别系统及焊缝跟踪方法

摘要

本发明公开了一种基于HDR图像的熔池中心识别系统及焊缝跟踪方法，解决现有技术中熔池中心和焊缝识别精度低的问题。本发明使用小波特征和梯度信息作为识别特征，并使用K‑means算法筛选特征，提高了算法效率。本发明通过获取熔池中心与焊缝之间的偏差，并根据偏差实时纠正K‑TIG焊枪的位置，实现了焊缝跟踪，可用于K‑TIG焊的自动跟踪作业。本发明的鲁棒性强，识别熔池中心的精度高，提升了焊接偏差的计算精度，使焊缝跟踪的精度更高，提高了焊接的自动化程度。

说明书

技术领域

本发明涉及高动态视觉技术领域，具体涉及一种基于HDR图像的熔池中心识别系统及焊缝跟踪方法。

背景技术

锁孔深熔TIG焊(K-TIG焊)是一种在焊接过程中利用锁孔(keyhole)效应实现大熔深的新型高效焊接方法，可以实现不开坡口一道焊透、单面焊双面成型，并且双面焊缝成形好，焊接质量高，在中厚板材的焊接场景中有着广阔的应用前景。K-TIG焊比较稳定，没有飞溅，但是K-TIG焊的热输入大，容易使板材产生热变形，从而导致焊接轨迹偏差。现有技术中通过示教再现可以计算焊接轨迹偏差，但无法实时纠正热变形带来的焊接轨迹偏差，且由于其焊接电流较大，不支持人工手持焊接，需要采用机器人焊接技术实现焊接的自动化和智能化。

目前，视觉传感器、电弧传感器、超声波传感器、红外线传感器、机械传感器等传感器均出现在焊缝的识别和跟踪领域，各种传感器的优缺点及适应场合不同，在使用前应充分考虑应用的具体场景。其中，视觉传感器具有精度高、非接触式、工作原理简单、仅从图像就可以获取大量信息、不受材料种类影响等优势，可以实现各种焊接接头的识别与跟踪。

视觉传感技术分为主动视觉和被动视觉，在焊缝跟踪中，主动视觉中的激光焊缝跟踪技术已经商业化，其具有鲁棒性高，精度高等优点，但由于高精度激光发生器造价昂贵，导致其成本非常高，且由于无法贴近熔池监测，需要一定的提前量，属于半闭环控制。对于热输入较大的K-TIG焊、等离子弧焊来说，激光焊缝跟踪技术无法准确弥补热变形带来的焊接偏差。被动视觉指不添加辅助光源，以弧光和自然光作为图像光源的视觉技术，其具有成本低、易于安装、全闭环控制等优点，但被动视觉的特征可识别度较低，传统的图像处理方法难以准确识别熔池中心和焊缝。

发明专利CN 110238477A公开了一种用于激光钎焊的机械旋转的焊缝跟踪系统及其工作方法，采用焊丝传感得到焊接偏差，通过气缸控制对偏差进行纠正。但是该专利未阐明具体识别方法，且由于K-TIG焊使用钨针进行焊接，不具备其传感条件，因此该专利难以用于K-TIG焊领域。

发明专利CN 111299760 A公开了基于主被动视觉的机器人焊缝跟踪与熔池监控传感器，将激光焊缝跟踪和熔池监测合并在一个传感器中，使用激光照射在V型焊缝中，通过识别激光的转折点计算得到焊缝实际位置。激光焊缝跟踪鲁棒性高，精度高，但其造价昂贵。K-TIG焊一般不开坡口，常用于焊接窄间隙工件，导致激光光斑特征不如V型焊缝的明显，存在识别困难的问题。

为了解决被动视觉焊缝和熔池识别困难的问题，目前亟需设计一种能够精确提取焊缝边缘和熔池边缘的智能识别方法，同时实现机器人K-TIG焊的自动焊缝跟踪。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于HDR图像的熔池中心识别系统及焊缝跟踪方法解决了现有技术中焊缝和熔池识别困难的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于HDR图像的熔池中心识别系统，包括工业机器人、工业机器人控制柜、工业机器人示教器、HDR相机、固定臂、图像采集卡、深熔K-TIG焊接电源、水冷机、K-TIG焊枪、氩气瓶、PC机以及OPC通信下位机；

所述工业机器人的运动执行机构末端夹持有K-TIG焊枪，所述工业机器人与工业机器人控制柜连接，所述工业机器人控制柜分别与工业机器人示教器和OPC通信下位机连接；

所述HDR相机设置于固定臂上，所述HDR相机的轴线与K-TIG焊枪的轴线之间的夹角为60°，且HDR相机的轴线与K-TIG焊枪的轴线共面；所述固定臂设置于工业机器人的运动执行机构上，所述HDR相机与图像采集卡连接，所述图像采集卡与PC机连接，所述PC机与OPC通信下位机连接；

所述K-TIG焊枪分别与水冷机和深熔K-TIG焊接电源连接，所述深熔K-TIG焊接电源分别与氩气瓶和OPC通信下位机连接。

进一步地，所述工业机器人为六轴工业机器人，所述固定臂为三自由度机械臂。

一种使用基于HDR图像的熔池中心识别系统的焊缝跟踪方法，包括：

对HDR相机进行标定，获取像素坐标系与世界坐标系的换算关系矩阵；

通过HDR相机采集HDR焊接区域图像，提取HDR焊接区域图像中固定分辨率的感兴趣区域，并对感兴趣区域进行多尺度小波变换，得到小波变换结果，所述小波变换结果包括感兴趣区域中每个像素对应的3n'+1个小波特征，n'表示尺度数；

对小波变换结果进行线性插值，获取小波特征矩阵；

采用Sobel算子获取感兴趣区域的梯度信息；

采用K-means聚类算法对小波特征矩阵中的小波特征进行筛选，获取N个辨识度最大的小波特征，并通过N个辨识度最大的小波特征和梯度信息获取焊缝识别特征；

通过感兴趣区域获取标签图像，并根据标签图像与焊缝识别特征，对两个支持向量机进行训练，分别得到HDR焊接区域熔池边缘识别模型和焊缝边缘识别模型；

分别通过HDR焊接区域熔池边缘识别模型和焊缝边缘识别模型，对待识别感兴趣区域进行识别，得到熔池边缘和焊缝边缘；

根据熔池边缘和焊缝边缘，拟合熔池边缘的椭圆方程以及拟合焊缝边缘的直线方程，并根据所得椭圆方程获取熔池中心，获取熔池中心到焊缝中线的垂直点，得到熔池中心的坐标和垂直点的坐标；

所述椭圆方程的中心点为熔池中心，所述直线方程为焊缝中线；

根据像素坐标系与世界坐标系的换算关系矩阵，分别将熔池中心的坐标和垂直点的坐标转换为世界坐标，分别得到熔池中心的世界坐标和垂直点的世界坐标，并根据熔池中心的世界坐标和垂直点的世界坐标，获取熔池中心与垂直点之间的偏差；

根据偏差，通过所述PC机控制工业机器人进行偏差纠正。

进一步地，所述像素坐标系与世界坐标系的换算关系矩阵为：

其中，(X

进一步地，所述采用Sobel算子获取感兴趣区域的梯度信息，包括：

采用Sobel算子的卷积因子与感兴趣区域进行卷积操作，得到x方向梯度G

根据x方向梯度G

其中，G表示梯度大小，θ表示梯度方向。

进一步地，所述采用K-means聚类算法对小波特征矩阵中的小波特征进行筛选，获取N个辨识度最大的小波特征，并通过N个辨识度最大的小波特征和梯度信息获取焊缝识别特征，包括：

结合梯度信息，将小波特征矩阵中每个像素对应的梯度大小、梯度空间和第一个小波特征作为特征空间，并基于K-means聚类算法对每个像素对应的特征空间进行聚类处理，得到K-means聚类结果，所述K-means聚类算法的K值为3，所述K-means聚类结果包括每个像素的分类；

根据K-means聚类结果，获取每个类别的类内差异

其中，i表示K-means聚类结果的类别，i的取值范围为{1,2,3}，{1,2,3}分别表示熔池边缘、焊缝和背景，n表示类别i中包含的像素点个数，X

根据K-means聚类结果，获取两个类别之间的差异

其中，i'表示K-means聚类结果的类别，i'的取值范围为{1,2,3}，i'表示与i不同的类别，

根据类内差异

其中，

基于上述步骤，遍历每个像素对应的3n'+1个小波特征，得到3n'+1个辨识度；

根据小波特征的辨识度，获取每个像素点对应的N个辨识度最大的小波特征，并将N个辨识度最大的小波特征和梯度信息组成焊缝识别特征。

进一步地，所述支持向量机采用高斯核函数。

进一步地，所述根据熔池边缘和焊缝边缘，拟合熔池边缘的椭圆方程以及拟合焊缝边缘的直线方程，并根据所得椭圆方程获取熔池中心，获取熔池中心到焊缝中线的垂直点，得到熔池中心的坐标和垂直点的坐标，包括：

构建初始椭圆方程为：

ax

其中，(x,y)表示像素坐标系的坐标，a、b、c、d和e分别表示第一系数、第二系数、第三系数、第四系数和第五系数；

在熔池边缘中随机选择M个点，并根据M个点的坐标求解初始椭圆方程的系数，得到迭代椭圆方程，M大于或等于5，M个点中任意三个点不共线，所述迭代椭圆方程为：

a

其中，m表示迭代次数，a

遍历熔池边缘中每个点，获取熔池边缘中每个点与迭代椭圆方程之间的偏差σ为：

σ＝|f

其中，f

令迭代次数m＝1，重复上述步骤，且每次重复过程中迭代次数m的计数值加一，直至迭代次数m到达设定阈值，选取包含内点数量最多的迭代椭圆方程作为熔池边缘的椭圆方程，内点是指偏差σ小于5的点；

根据椭圆方程，获取熔池中心为：

其中，(x

采用最小二乘法拟合焊缝边缘的直线方程为：

y＝gx+h

其中，g表示第六系数，h表示第七系数，(x

获取熔池中心到焊缝中线的垂直点坐标(x

进一步地，所述根据像素坐标系与世界坐标系的换算关系矩阵，分别将熔池中心的坐标和垂直点的坐标转换为世界坐标，分别得到熔池中心的世界坐标和垂直点的世界坐标，并根据熔池中心的世界坐标和垂直点的世界坐标，获取熔池中心与垂直点之间的偏差，包括：

根据像素坐标系与世界坐标系的换算关系矩阵，将熔池中心的坐标和垂直点的坐标转换为世界坐标，分别得到熔池中心的世界坐标和垂直点的世界坐标为

根据熔池中心的世界坐标和垂直点的世界坐标，获取熔池中心与垂直点之间的偏差：

其中，σ

进一步地，所述根据偏差，通过所述PC机控制工业机器人进行偏差纠正，包括：通过卡尔曼滤波器对偏差进行滤波，得到最终焊接偏差，根据最终焊接偏差，并通过所述PC机控制工业机器人进行偏差纠正。

本发明的有益效果为：

(1)本发明提供了一种基于HDR图像的熔池中心识别系统及焊缝跟踪方法，解决现有技术中熔池中心和焊缝识别精度低的问题。

(2)本发明的鲁棒性强，识别熔池中心的精度高，提升了焊接偏差的计算精度，使焊缝跟踪的精度更高，提高了焊接的自动化程度。

(3)本发明的实时性高以及应用简便，通过k-means聚类算法筛选小波特征，且可以根据筛选结果准确调整小波变换深度，减少小波变换消耗的计算资源和时间，同时因为k-means聚类算法属于无监督学习，且不涉及识别模型训练问题，可快速有效地筛选特征。

附图说明

图1为本发明实施例所提供的一种基于HDR图像的熔池中心识别系统框图。

图2为本发明实施例所提供的焊缝跟踪方法流程图。

其中：1-工业机器人、2-工业机器人控制柜、3-工业机器人示教器、4-HDR相机、5-固定臂、6-图像采集卡、7-深熔K-TIG焊接电源、8-水冷机、9-K-TIG焊枪、10-氩气瓶、11-PC机、12-OPC通信下位机。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

如图1所示，一种基于HDR(高动态光照渲染)图像的熔池中心识别系统，包括工业机器人1、工业机器人控制柜2、工业机器人示教器3、HDR相机4、固定臂5、图像采集卡6、深熔K-TIG焊接电源7、水冷机8、K-TIG焊枪9、氩气瓶10、PC机11以及OPC通信下位机12。

工业机器人1、工业机器人控制柜2和工业机器人示教器3组成焊枪运动控制模块，HDR相机4、固定臂5和图像采集卡6组成HDR图像传感模块，深熔K-TIG(Keyhole TungstenInert Gas，小孔效应TIG焊)焊接电源7、水冷机8、K-TIG焊枪9和氩气瓶10组成焊接能量输入模块，PC(电脑)机11和OPC(OLE for Process Control，对象链接与嵌入的过程控制)通信下位机12组成识别控制模块。可以通过焊枪运动控制模块控制焊枪运动轨迹，通过HDR图像传感模块采集HDR图像，通过焊接能量输入模块沿焊枪运动轨迹进行焊接，通过识别控制模块控制整个系统工作，识别HDR图像中的焊接偏差，并向焊枪运动控制模块发出偏差纠正指令，进行偏差纠正。

所述工业机器人1的运动执行机构末端夹持有K-TIG焊枪9，所述工业机器人1与工业机器人控制柜2连接，所述工业机器人控制柜2分别与工业机器人示教器3和OPC通信下位机12连接。

所述HDR相机4设置于固定臂5上，所述HDR相机4的轴线与K-TIG焊枪9的轴线之间的夹角为60°，且HDR相机4的轴线与K-TIG焊枪9的轴线共面；所述固定臂5设置于工业机器人1的运动执行机构上，所述HDR相机4与图像采集卡6连接，所述图像采集卡6与PC机11连接，所述PC机11与OPC通信下位机12连接。

所述K-TIG焊枪9分别与水冷机8和深熔K-TIG焊接电源7连接，所述深熔K-TIG焊接电源7分别与氩气瓶10和OPC通信下位机12连接。

在一种可能的实施方式中，所述工业机器人1为六轴工业机器人。

在一种可能的实施方式中，所述固定臂5为三自由度机械臂。

该熔池中心识别系统的控制方法为：

步骤1：系统上电后，打开氩气瓶10，保证氩气供应。

步骤2：通过工业机器人示教器3和工业机器人控制柜2控制工业机器人1到达焊接开始位置。

步骤3：通过PC机11连接图像采集卡6和OPC通信下位机12，使PC机11处于图像采集状态及控制状态，并设置合适的采样频率和机器人运动速度。

步骤4：给深熔K-TIG焊接电源7设置合适的焊接电流。

步骤5：使PC机11通过OPC通信下位机12控制深熔K-TIG焊接电源7起弧，开始焊接，并在焊接过程中通过水冷机8保证K-TIG焊枪9不会过热。

步骤6：通过PC机11控制工业机器人1以一定速度沿焊接方向运动，同时通过HDR相机4采集HDR图像，并通过图像采集卡6将HDR图像传输至PC机11，通过PC机11提取焊接偏差，并根据焊接偏差控制工业机器人1纠正偏差。

步骤7：焊接完成后，通过PC机11控制深熔K-TIG焊接电源7熄弧，熄弧后控制工业机器人1停止运动，待完全停止运动后，断开PC机11与图像采集卡6和OPC通信下位机12的连接；

步骤8：系统断电。

如图2所示，一种使用基于HDR图像的熔池中心识别系统的焊缝跟踪方法，包括：

A、对HDR相机4进行标定，通过PC机11获取像素坐标系与世界坐标系的换算关系矩阵。

在本实施例中，采用张正友标定法对HDR相机4进行标定。

B、通过HDR相机4采集HDR焊接区域图像，提取HDR焊接区域图像中固定分辨率的感兴趣区域，并对感兴趣区域进行多尺度小波变换，得到小波变换结果，所述小波变换结果包括感兴趣区域中每个像素对应的3n'+1个小波特征，n'表示尺度数。

每一个尺度的小波变换可以得到四个小波特征，分别为低频成分、X、Y以及对角方向高频特征，其中低频成分会进一步进行下一个尺度的小波变换，也就是最终得到的小波特征数目应为3n'+1，其中N为小波变换的深度，即分了多少个尺度进行小波变换，在每一个像素位置的小波特征就是一个3n'+1的向量。

在本实施例中，固定分辨率设置为800×800，提取HDR焊接区域图像中固定分辨率为800×800的感兴趣区域，对感兴趣区域进行以Harr小波(哈尔小波)为小波基，深度为4的多尺度小波变换，得到小波变换结果。

C、对小波变换结果进行线性插值，获取小波特征矩阵，所述小波特征矩阵维度为n”×w'×h'，其中n”为小波特征数，w'为所述感兴趣区域宽度，h'为所述感兴趣区域高度，后两者单位为像素。

以Harr小波为小波基对所述感兴趣区域进行深度为4的多尺度小波变换，可以得到12张特征图，但随着尺度的增大，特征图像分辨率将以因子为1/2递减，为了保持特征对齐，使用线性插值将特征图的分辨率恢复至与感兴趣区域一致。

在本实施例中，对小波变换结果进行线性插值，使其分辨率恢复至800×800，并将小波特征按小波变换的深度从小到大排列，逆时针排序的方式获取12×800×800的小波特征矩阵。

D、采用Sobel算子(索贝尔算子)获取感兴趣区域的梯度信息。

使用Sobel算子求取感兴趣区域的梯度信息，所述梯度信息包含梯度大小G和梯度角度θ，得到2×800×800的梯度特征矩阵。

E、采用K-means(K均值)聚类算法对小波特征矩阵中小波特征进行筛选，获取N个辨识度最大的小波特征，并通过N个辨识度最大的小波特征和梯度信息获取焊缝识别特征。

在本实施例中，N设置为8。

F、通过感兴趣区域获取标签图像，并根据标签图像与焊缝识别特征，对两个支持向量机进行训练，分别得到HDR焊接区域熔池边缘识别模型和焊缝边缘识别模型。

标签图像与焊缝识别特征对应，可以采用人工标记的方式对感兴趣区域中的熔池边缘和焊缝边缘进行标注，从而获取标签图像。训练时，以焊缝识别特征为训练数据，以标签图像为训练数据的标签，对支持向量机进行训练。

G、分别通过HDR焊接区域熔池边缘识别模型和焊缝边缘识别模型对待识别感兴趣区域进行识别，得到熔池边缘和焊缝边缘。

将待识别图像对应的焊缝识别特征分别输入HDR焊接区域熔池边缘识别模型和焊缝边缘识别模型，得到熔池边缘和焊缝边缘。

H、根据熔池边缘和焊缝边缘，采用随机抽样一致算法拟合熔池边缘的椭圆方程，采用最小二乘法拟合焊缝边缘的直线方程，并根据所得椭圆方程获取熔池中心，获取熔池中心到焊缝中线的垂直点，得到熔池中心的坐标和垂直点的坐标。

所述椭圆方程的中心点为熔池中心，所述直线方程为焊缝中线；

I、根据像素坐标系与世界坐标系的换算关系矩阵，分别将熔池中心的坐标和垂直点的坐标转换为世界坐标，分别得到熔池中心的世界坐标和垂直点的世界坐标，并根据熔池中心的世界坐标和垂直点的世界坐标，获取熔池中心与垂直点之间的偏差。

J、根据偏差，通过所述PC机11控制工业机器人1进行偏差纠正。

在一种可能的实施方式中，根据偏差，通过所述PC机11控制工业机器人1进行偏差纠正，包括：通过卡尔曼滤波器对偏差进行滤波，得到最终焊接偏差，根据最终焊接偏差，并通过所述PC机11控制工业机器人1进行偏差纠正。

在一种可能的实施方式中，所述步骤A中像素坐标系与世界坐标系的换算关系矩阵为：

其中，(X

在一种可能的实施方式中，所述步骤D中采用Sobel算子获取感兴趣区域的梯度信息，包括：

采用Sobel算子的卷积因子与感兴趣区域进行卷积操作，得到x方向梯度G

根据x方向梯度G

其中，G表示梯度大小，θ表示梯度方向。

在一种可能的实施方式中，所述步骤E中包括：

结合梯度信息，将小波特征矩阵中每个像素对应的梯度大小、梯度空间和第一个小波特征作为特征空间，并基于K-means聚类算法对每个像素对应的特征空间进行聚类处理，得到K-means聚类结果，所述K-means聚类算法的K值为3，所述K-means聚类结果包括每个像素的分类；

根据K-means聚类结果，获取每个类别的类内差异

其中，i表示K-means聚类结果的类别，i的取值范围为{1,2,3}，{1,2,3}分别表示熔池边缘、焊缝和背景，n表示类别i中包含的像素点个数，X

根据K-means聚类结果，获取两个类别之间的差异

其中，i'表示K-means聚类结果的类别，i'的取值范围为{1,2,3}，i'表示与i不同的类别，

根据类内差异

其中，

基于上述步骤，遍历每个像素对应的3n'+1个小波特征，得到3n'+1个辨识度；

根据小波特征的辨识度，获取每个像素点对应的N个辨识度最大的小波特征，并将N个辨识度最大的小波特征和梯度信息组成焊缝识别特征。

值得说明的是，每次获得的辨识度为所有像素点对应的小波特征的辨识度，例如，第一次获得的辨识度为每个像素点对应的第一个小波特征的辨识度，第二次获得的辨识度为每个像素点对应的第二个小波特征的辨识度。选取N个辨识度最大的小波特征，即是选取N个所有像素点在同一序号的小波特征，例如，假设N为1，当所有像素点对应的第一个小波特征所计算的辨识度最大，就将第一个小波特征作为每个像素点对应的N个辨识度最大的小波特征。

类内差异

分别计算出12个小波特征的辨识度之后，将其从大到小排序，选择辨识度最大的8个小波特征与梯度信息中的梯度大小和梯度方向组成焊缝识别特征。

在一种可能的实施方式中，所述步骤F中支持向量机采用高斯核函数。

在本实施例中，高斯核函数具体为：

其中，σ'表示高斯核函数的标准差，属于超参数，由于输入SVM之前会将数据归一化，因此核函数标准差取1，x”和z'表示特征空间中两个不同维度的特征，如若x”表示小波特征1，z'可以为小波特征2/3/4/…/梯度特征等。

在一种可能的实施方式中，所述步骤H包括：

构建初始椭圆方程为：

ax

其中，(x,y)表示像素坐标系的坐标，a、b、c、d和e分别表示第一系数、第二系数、第三系数、第四系数和第五系数。

在熔池边缘中随机选择M个点，并根据M个点的坐标求解初始椭圆方程的系数，得到迭代椭圆方程，M大于或等于5，M个点中任意三个点不共线，所述迭代椭圆方程为：

a

其中，m表示迭代次数，a

遍历熔池边缘中每个点，获取熔池边缘中每个点与迭代椭圆方程之间的偏差σ为：

σ＝|f

其中，f

令迭代次数m＝1，重复上述步骤，且每次重复过程中迭代次数m的计数值加一，直至迭代次数m到达设定阈值，选取包含内点数量最多的迭代椭圆方程作为熔池边缘的椭圆方程，内点是指偏差σ小于5的点。

根据椭圆方程，获取熔池中心为：

其中，(x

采用最小二乘法拟合焊缝边缘的直线方程为：

y＝gx+h

其中，g表示第六系数，h表示第七系数，(x

获取熔池中心到焊缝中线的垂直点坐标(x

在一种可能的实施方式中，所述步骤I包括：

根据像素坐标系与世界坐标系的换算关系矩阵，将熔池中心的坐标和垂直点的坐标转换为世界坐标，分别得到熔池中心的世界坐标和垂直点的世界坐标为

根据熔池中心的世界坐标和垂直点的世界坐标，获取熔池中心与垂直点之间的偏差：

其中，σ