基于双壁双投影透照图像的管焊缝缺陷自动识别的方法

摘要

本发明涉及图像处理技术，其公开了一种基于双壁双投影透照图像的管焊缝缺陷自动识别的方法，以准确提取对接管的环形焊缝区域，并实现对焊缝是否存在缺陷的准确判别。该方法包括以下步骤：A.对X射线双壁双投影透照法得到的焊缝图像进行预处理；B.基于预处理后的焊缝图像，将焊缝图像的ROI区域标记为母材区域和焊缝区域；C.在各标记区域内，结合焊缝的几何形态特征、图像的灰度特征以及缺陷的位置信息，判别对接管焊缝是否存在缺陷。本发明适用于对接管焊缝的缺陷检测。

说明书

技术领域

本发明涉及图像处理技术，具体涉及一种基于双壁双投影透照图像的管焊缝缺陷自动识别的方法。

背景技术

对于管径φ<89mm的小管径钢管，工业上一般采用X射线双壁双投影透照法得到焊缝图像。其对接管焊缝在成像板上呈现椭圆环状。对于对接管焊缝缺陷的判别，目前大多由评片师通过对X射线透照后的焊缝图像人工判别得到。基于X射线透照图像的焊缝缺陷计算机自动识别方法，能有效减少评片员的工作量，提供有效的工业辅助检测手段。

由于大管径管的应用范围大于小管径管，目前国内外的许多学者关注的是大管径管的图像分析，即基于X射线单壁单投影、双壁单投影的线型焊缝的图像处理。对于线型焊缝提取，通常利用焊缝和周围母材的灰度差异，采用基本的图像处理方法来判断。对于X射线双壁双投影管焊缝图像中缺陷的判定，判定步骤和线型焊缝类似，但是焊缝提取和缺陷判定方法却复杂很多，如果采用基本的图像处理方案，会导致环形焊缝区域较大程度地偏离实际值，且缺陷的判定结果误差较大。因此需要建立精确的修正模型以能得到环形焊缝区域，并提出焊缝缺陷的判别算法，实现对焊缝中是否存在缺陷的有效判别。

发明内容

本发明所要解决的技术问题是：提出一种基于双壁双投影透照图像的管焊缝缺陷自动识别的方法，以准确提取对接管的环形焊缝区域，并实现对焊缝是否存在缺陷的准确判别。

本发明解决其技术问题所采用的技术方案是：一种基于双壁双投影透照图像的管焊缝缺陷自动识别的方法，包括以下步骤：

A.对X射线双壁双投影透照法得到的焊缝图像进行预处理

B.基于预处理后的焊缝图像，将焊缝图像的ROI区域标记为母材区域和焊缝区域；

C.在各标记区域内，结合焊缝的几何形态特征、图像的灰度特征以及缺陷的位置信息，判别对接管焊缝是否存在缺陷。

进一步的，步骤B中，利用图像灰度信息对基于预处理后的焊缝图像ROI区域中的焊缝区域和母材区域进行标记，具体方法是：

B1.对焊缝的标记：

在该步骤中，对包含上焊缝的左边部分图像I_left做列向积分，得到列向积分曲线图，计 算该曲线上幅度值为0.8*max_left的两点的横坐标值，其中max_left为左部分图像列向积分曲线的最大值。左部分图像中的焊缝区域I_{weld_left}为这两个横坐标之间的图像。对包含下焊缝的右边部分图像I_right做相同的处理，得到右边部分图像中的焊缝区域I_{weld_right}；

B2.对母材的标记：

在该步骤中，将图像中除焊缝区域外的区域标记为母材区域，则左、右部分母材区域的计算范围分别为：

I_{base_left}＝I_left-I_{weld_left},I_{base_right}＝I_right-I_{weld_right}。

进一步的，步骤C中,所述判别对接管焊缝是否存在缺陷包括对焊缝区域区域I_weld是否存在缺陷的检测，其步骤包括：

C1.对左部分焊缝区域图像I_{weld_left}进行二值化处理，二值化后的图像为I_{weld_binary}，二值化的阈值为：T_weld＝0.8×Avg_weld，其中，Avg_weld为左部分焊缝区域图像I_{weld_left}的全局灰度平均值；

C2.对二值化图像I_{weld_binary}计算连通域个数，如果连通域的个数为大于1，则判定该焊缝区域中存在较大面积缺陷；若连通域的个数等于1，则进入步骤C3；

C3.在二值化图像I_{weld_binary}中，计算灰度值为0的连通域中每一行的宽度d_w和连通域的高度h：如果连通域宽度d_w和高度h满足下列条件，则判定该焊缝区域中存在较大面积缺陷：min(d_w)<10像素，或者max(d_w)-min(d_w)>20像素，或者其中，w＝1,2,...,M,M为焊缝区域图像I_weld的高度；

若连通域宽度d_w和高度h不满足上述条件，则进入步骤C4；

C4.对左部分焊缝区域图像I_{weld_left}计算灰度方差图像I_{weld_variance}；对该方差图像进行二值化处理，二值化后的图像为I_{weld_variance_binary}，二值化的阈值为：T_{weld_variance}＝1.2×Avg_{weld_variance}，其中，Avg_{weld_variance}为左部分焊缝区域灰度方差图像I_{weld_variance}的全局灰度平均值；

对二值化图像I_{weld_variance_binary}计算各个连通域的面积，如果有连通域的面积大于4个像素点，则判定该焊缝区域中存较小面积缺陷。

C5.对右部分焊缝区域图像I_{weld_right}进行与左部分焊缝区域图像I_{weld_left}如步骤C1-C4相同 的处理，进而判断右部分焊缝区域图像I_{weld_right}是否存在缺陷。

所述较大面积缺陷为焊瘤或未焊透或成形不良；所述较小面积缺陷为气孔或裂纹。

进一步的，步骤C中,所述判别对接管焊缝是否存在缺陷还包括对母材区域I_base中是否存在缺陷的检测，其步骤包括：

C6.计算左部分母材区域图像I_{base_left}的灰度方差图像I_{base_variance}；

C7.对母材区域的灰度方差图像I_{base_variance}进行二值化处理，二值化后的图像为I_{base_variance_binary}；二值化的阈值为：T_{base_variance}＝1.2×Avg_{base_variance}，其中，Avg_{base_variance}为母材区域方差图像I_{base_variance}的全局灰度平均值；

C8.在二值化后的母材区域的方差图像I_{base_variance_binary}中，计算其连通域，对于灰度值为白色的连通域，计算其面积。将灰度值为白色的所有连通域的面积求和，如果该和值大于300个像素，则判定该焊缝母材区域存在缺陷；

C9.对右部分母材区域图像I_{base_right}进行与左部分母材区域图像I_{base_left}如步骤C6-C8相同的处理，进而判断右部分母材区域图像I_{base_right}是否存在缺陷。

本发明的有益效果是：本发明结合了X射线双壁双投影透照原理，基于投影图像的灰度统计特征，建立了管焊缝感兴趣区域(ROI:Region Of Interest)的精确提取。基于对接管焊缝缺陷的几何特性和灰度特性，提出了计算机自动焊缝缺陷识别的算法。该方法的应用可以提高评片员的工作效率，有效克服人工评定中由于评定人员技术素质和经验差异，以及外界条件的不同而引起的误判或漏判，使评判结果客观化、科学化和规范化。

附图说明

图1是本发明管焊缝缺陷自动识别的方法流程图；

图2是双壁双投影成像原理图；

图3是本发明采用X射线源透照钢管示意图；

图4是不同角度的X射线经过钢管的横切面示意图；

图5是不同角度射线经过钢管的距离的变化趋势图；

图6是X射线透照钢管在成像板上的投影灰度渐变示意图；

图7是焊缝图像线性映射前后对比示意图；

图8(a)是存在焊瘤缺陷的焊缝图像增强效果图；图8(b)是对存在焊瘤缺陷的焊缝图像线性映射效果图；图8(c)是对存在焊瘤缺陷的焊缝图像的检测效果图；

图9(a)是存在成形不良缺陷的焊缝图像增强效果图；图9(b)是对存在成形不良缺陷的焊缝图像线性映射效果图；图9(c)是对存在成形不良缺陷的焊缝图像的检测效果图；

图10(a)是存在气孔缺陷的焊缝图像增强效果图；图10(b)是对存在气孔缺陷的焊缝图像线性映射效果图；图10(c)是对存在气孔缺陷的焊缝图像的检测效果图；

图11(a)是存在夹渣缺陷的焊缝图像增强效果图；图11(b)是对存在夹渣缺陷的焊缝图像线性映射效果图；图11(c)是对存在夹渣缺陷的焊缝图像的检测效果图。

具体实施方式

本发明旨在提出一种基于双壁双投影透照图像的管焊缝缺陷自动识别的方法，准确提取管焊缝ROI区域，并实现对焊缝缺陷的准确判别。在本发明中，首先利用X射线双壁双投影透照原理、几何学知识和图像处理技术，对焊缝透照图像进行旋转修正、图像增强、曝光补偿和几何变换等预处理；然后，利用图像灰度特征将焊缝图像的感兴趣标记为母材区域、焊缝区域；最后，在各标记区域内，结合焊缝的几何形态特征、图像的灰度特征以及缺陷的位置信息，判别对接管焊缝是否存在缺陷。

下面结合附图及实施例对本发明的方案作更进一步的描述：

如图1所示，本发明中基于X射线双壁双投影判别对接管焊缝缺陷的方法包括：

A.对X射线双壁双投影透照法得到焊缝图像进行预处理；本步骤用以修正图像采集过程中引入的不必要的误差，同时增强图像中不同对象之间的对比度；

B.基于预处理后的焊缝图像，将焊缝图像的感兴趣区域(ROI:Region Of Interest)标记为母材区域和焊缝区域；

C.在各标记区域内，结合焊缝的几何形态特征、图像的灰度特征以及缺陷的位置信息，判别对接管焊缝是否存在缺陷。

一、对于焊缝图像的预处理部分，本发明根据双壁双投影透照法中，X射线经过管壁的衰减特性，设计得到的图像的预处理方案：焊道旋转修正、图像增强、曝光修正以及图像的几何变换。

对于直径小于89mm的小口径管，工业上通常采用双壁双投影法透照法实现缺陷检测，其成像机理如图2所示。X射线点光源发射出一系列的射线束照射到钢管上，每束射线经过的距离可以分为两部分：1)在空气中经过的距离；2)经过管壁的距离。假设X射线在空气中的衰减忽略不计，那么X射线的衰减与经过的钢管距离成正比，X射线经过的管壁距离越大，到达成像板上的射线能量越低。

1、焊道旋转修正：

由于X射线透照角度的原因，在焊缝缺陷检测过程中，对接管需要经过多次旋转。每次 旋转后，拍摄一张X射线透照图片。对接管旋转过程中，会由于随机的抖动导致管道出现一定的倾斜。同时，由于两根钢管在对接时并不能完全确保其一定在一条直线上，因此每次旋转后，透照得到的焊缝位置都会发生改变。为能够更好地实现缺陷检测，本发明分析了X射线的光路，并利用图像的灰度特性计算出钢管在成像板上的投影与水平线的夹角，从而完成焊道旋转修正。

本文算法假设两根对接钢管保持在一条直线上，根据射线投射原理，同一纵切面在成像板上的投影为一条直线，由于实际采集条件如图3所示：射线源距离钢管约1m，射线源的倾角为5～10度，钢管外径小于89mm，因此，射线经过的横向的距离A_H1B_H1+C_H1D_H1和A_H2B_H2+C_H2D_H2之间的偏差较小。横向距离的偏差导致了成像板上的投影P_H1P_H2呈现灰度的渐变，且渐变最小的方向即为钢管与水平线的夹角。

不同角度的X射线经过钢管的横切面示意图如图4所示，不同角度射线导致经过的钢管的距离不一致，如图5所示，其变化趋势可表述为：

如图6所示，P₁和P₂是钢管上的点E₁和E₂在成像板上的投影。在投影图像上经过P₁点的线段簇中，只有经过灰度渐变最小的区域时的灰度方差最小，本发明利用这一特性修正钢管的倾斜。

2、图像增强： 

为了更好地观察图像，区分焊缝和母材区域，并且突显出检测区域的焊缝缺陷，需要对旋转修正后的图像进行增强：细节增强、对比度增强和曝光修正。

1)细节增强

利用高斯高通滤波增强图像的细节，并利用细节重构新的图像。

2)对比度增强： 

在利用高斯高通增强细节的同时也增强了噪声对图像的干扰。由于工业生产线上得到的图像为16位，超出了人眼能够分辨的256个灰度级别，因此，本发明对图像进行了灰度的压缩，将图像压缩为8位。同时，本发明利用直方图均衡方案将图像的对比度进行了拉伸，也消除了高亮度噪声的影响。

3、曝光修正： 

根据X射线在钢管横切面上的距离变化趋势可知，X射线的衰减机理导致成像板上的成像在与钢管垂直的方向存在最大的灰度渐变。为了消除这种灰度的渐变，本发明提出了如下 的补偿方案：

A、计算图像中每行的灰度平均值avg_i(i＝1,2,…,cols，其中cols为图像的高度)，每行的平均值可以表示曝光过程中平均的灰度偏差；

B、针对每个像素点进行灰度补偿：将图像中每个像素点的灰度值减去该像素点所在行对应的avg_i灰度值。

4、对图像进行几何变换：

1)焊缝区域中心点的确定：

对图像进行列向积分，计算两个波谷值之间的中点坐标，该坐标确定为焊缝区域中心点的横坐标；再对图像进行行向积分，其波峰值对应的坐标即为焊缝区域中心点的纵坐标。

2)拟合椭圆焊缝：

将焊缝区域拟合为一环形，其计算步骤如下：遍历图像每行，寻找每行像素点中，在焊缝区域纵向中心线两侧灰度值最小的两个点，将这些点作为椭圆拟合点；建立椭圆的多项式方程，利用最小二乘法拟合出最佳椭圆曲线；将多项式方程转换为参数方程，进一步精确椭圆中心点，同时得到椭圆顶点坐标。

3)将拟合出来的椭圆焊缝进行线性映射：

将拟合出来的椭圆焊缝线性映射为线型焊缝，其计算步骤如下：以拟合得到的椭圆纵向中心线作为分界，将图像划分成分别包含上、下焊缝的左右两部分图像，并以拟合得到的椭圆的左、右横向顶点与椭圆的切线分别作为左、右图像的参考线。分别计算左、右两部分拟合椭圆上的点到各自参考线的距离，并将该距离值作为将椭圆形焊缝映射为矩形焊缝的平移值。图7示意了焊缝线性映射示意图。

二、区域标记具体实现：

基于预处理后的焊缝图像，将焊缝图像的感兴趣区域标记为母材区域和焊缝区域，具体包括：

1)对焊缝的标记：

在该步骤中，对包含上焊缝的左边部分图像I_left做列向积分，得到列向积分曲线图，计算该曲线上幅度值为0.8*max_left的两点的横坐标值，其中max_left为左部分图像列向积分曲线的最大值。左部分图像中的焊缝区域I_{weld_left}为这两个横坐标之间的图像。对包含下焊缝的右边部分图像I_right做相同的处理，得到右边部分图像中的焊缝区域I_{weld_right}。

2)对母材的标记：

在该步骤中，将图像中除焊缝区域外的区域标记为母材区域，则左、右部分母材区域的计算范围分别为：

I_{base_left}＝I_left-I_{weld_left},I_{base_right}＝I_right-I_{weld_right}。

三、对图像中缺陷识别的具体实现：

由于在上述第二部分已经对图像的感兴趣区域标记为焊缝区域和母材区域，因此本部分对图像中缺陷的识别也将分别针对焊缝区域和母材区域进行说明：

对焊缝区域是否存在缺陷的检测步骤：由于焊缝区域是由包括上、下焊缝的左右两部分图像构成，对左部分焊缝区域图像I_{weld_left}的处理与对右部分焊缝区域图像I_{weld_right}的处理步骤完全一样，因此本发明仅以对左部分焊缝区域图像I_{weld_left}的处理步骤为例进行说明：

1)对左部分焊缝区域图像I_{weld_left}进行二值化处理，二值化后的图像为I_{weld_binary}，二值化的阈值为：T_weld＝0.8×Avg_weld，其中，Avg_weld为左部分焊缝区域图像I_{weld_left}的全局灰度平均值；

2)对二值化图像I_{weld_binary}计算连通域个数，如果连通域的个数为大于1，则判定该焊缝区域中存在较大面积缺陷(如焊瘤或未焊透或成形不良)；若连通域的个数等于1，则进入步骤3)；

3)在二值化图像I_{weld_binary}中，计算灰度值为0的连通域中每一行的宽度d_w和连通域的高度h：如果连通域宽度d_w和高度h满足下列条件，则判定该焊缝区域中存在较大面积缺陷：min(d_w)<10像素，或者max(d_w)-min(d_w)>20像素，或者其中，w＝1,2,...,M,M为焊缝区域图像I_weld的高度；

若连通域高度h和宽度d_w满足不满足上述条件，则进入步骤4)判别是否存在较小面积(如气孔或裂纹)缺陷；

4)对左部分焊缝区域图像I_{weld_left}计算灰度方差图像I_{weld_variance}；对该方差图像进行二值化处理，二值化后的图像为I_{weld_variance_binary}，二值化的阈值为：T_{weld_variance}＝1.2×Avg_{weld_variance}，其中，Avg_{weld_variance}为左部分焊缝区域灰度方差图像I_{weld_variance}的全局灰度平均值；

对二值化图像I_{weld_variance_binary}计算各个连通域的面积，如果有连通域的面积大于4个像素点，则判定该焊缝区域中存较小面积缺陷。

在对焊缝区域是否存在缺陷检测完成后，还要对母材区域是否存在缺陷进行检测，同样，对左部分母材区域图像I_{base_left}的处理与对右部分母材区域图像I_{base_right}的处理步骤完全一样，因此本发明仅以对左部分焊缝区域图像I_{base_left}的处理步骤为例进行说明：

1)计算左部分母材区域图像I_{base_left}的灰度方差图像I_{base_variance}；

2)对母材区域的灰度方差图像I_{base_variance}进行二值化处理，二值化后的图像为I_{base_variance_binary}；二值化的阈值为：T_{base_variance}＝1.2×Avg_{base_variance}，其中，Avg_{base_variance}为母材区域方差图像I_{base_variance}的全局灰度平均值；

3)在二值化后的母材区域的方差图像I_{base_variance_binary}中，计算其连通域，对于灰度值为白色的连通域，计算其面积。将灰度值为白色的所有连通域的面积求和，如果该和值大于300个像素，则判定该焊缝母材区域存在缺陷。

实施例：

为了证实本发明方案的可行性，本例中采用实际生产线上20000张对接管焊缝图像作为检测判断对象，此20000张对接管焊缝图像中包含正常样本和各类常见缺陷。

本例中对上述20000张焊缝图像处理方案如下：

1)旋转修正： 

为准确地确定钢管倾斜的角度，从图像的上下区域各选定一点。实验中，两个点A、B在图像中的坐标为：

A(x₁＝0.5×width,y₁＝0.1×height)，

B(x₂＝0.5×width,y₂＝0.9×height)；

其中width为图像的宽度，height为图像的高度。

计算直线束经过的像素点所得的方差最小时的斜率，即表示了钢管的倾斜程度，应用该斜率对图像进行倾斜的修正。

由于生产线上，成像板得到的图像尺寸为357×444像素，使得0.1度的角度偏差都会有444*0.1＝44.4个像素的偏差，20000个样本的实验结果，表明该方案能够根据灰度特性有效地修正钢管的倾斜。

2)图像增强： 

细节增强中，高斯模板大小为3×3，方差为0.5，重构过程的权重系数a＝0.75，在进行细节增强后，对图像进行了灰度的压缩，并利用直方图均衡方案将图像的对比度进行了拉伸， 同时也消除了高亮度噪声的影响，进而实现对比度的增强；图8(a)、9(a)、10(a)、11(a)分别展示了存在焊瘤、成形不良、气孔、夹渣缺陷的焊缝图像增强结果，在完成图像增强处理后，从图中可以明显地分辨出焊缝和母材。

而图8(b)、9(b)、10(b)、11(b)分别展示了对存在焊瘤、成形不良、气孔、夹渣缺陷的焊缝图像线性映射效果图。

3)缺陷判定： 

根据本发明提出的焊缝缺陷判定方法，对样本图像进行缺陷检测，图8(c)、9(c)、10(c)、11(c)分别展示了存在焊瘤、成形不良、气孔、夹渣缺陷时的检测效果图。

按照本发明提出的算法思路，针对20000幅测试样本，包含成形不良、焊瘤、气孔、未融合、未焊透、锈蚀、夹渣等缺陷样本和正常样本进行检测。对于成形不良、焊瘤、气孔、锈蚀、夹渣这些比较明显的缺陷，检出缺陷的概率为100％。但是，由于未融合、未焊透缺陷类型在图像上的特征并不明显，因此，存在一定的漏检和误判。

综上，本发明针对小管径钢管通过X射线双壁双投影透照法得到的图像，分析了X射线在钢管内的衰减趋势，并结合数字图像处理技术完成了以下工作，并具备较好的效果：

1)根据X射线衰减原理，以及X射线在环形钢管上途经的距离变化规律，得到投影图像的灰度渐变规律：与钢管走向平行的灰度渐变最小，与钢管走向垂直的灰度渐变最大；

2)在灰度渐变规律基础上，利用图像灰度的统计参数，分别实现了钢管的旋转修正和曝光补偿，以便能够更好地利用图像信息辅助缺陷的判定；

3)图像处理算法中通常采用方形算子与目标进行卷积，为避免引入不必要的干扰像素，提出了将环形焊缝转换成线型焊缝的方案，从而便于通过图像处理方法，实现对管焊缝缺陷的判定；

4)结合缺陷自身的灰度特性和几何特性，以及缺陷与周围焊缝区域的灰度关系，实现了管焊缝中，是否存在缺陷的自动判定。