一种基于视觉系统的坡口切割机器人图像处理方法

摘要

本发明提供了一种基于视觉系统的坡口切割机器人图像处理方法，属于视觉坡口机器人图像处理技术领域。解决了传统切割质量差、效率低的问题。其技术方案为：包括以下步骤：S1、图像采集与拼接；S2、对目标区域工件的提取；S3、目标区域最优轮廓的获取；S4、视觉标定；S5、工件轮廓匹配。本发明的有益效果为：本发明添加了视觉信息采集系统，能自动识别工件的形状和摆放姿态，避免了示教机器人的示教再现的过程，增加了工作的灵活性，提高了工作效率。

说明书

技术领域

本发明涉及视觉坡口机器人图像处理技术领域，尤其涉及一种基于视觉系统的坡口切割机器人图像处理方法。

背景技术

目前在工业生产中，工件坡口的切割主要采用手工切割和半自动切割的方式，这些传统的切割方式已经不能满足现代工业生产要求的高效率、高质量和降低工人劳动强度的要求，因此对具有自动识别工件位置、自动进行切割的坡口切割机器人的研究具有重要的意义。

现有技术的缺陷和不足：(1)轮廓提取精度的影响：在提取待识别工件轮廓的过程中，需要对图像进行阈值分割、形态学处理以及边缘检测等操作，这些操作是否得当会对最终得到的工件轮廓与标准轮廓间的相似程度有一定的影响。(2)轮廓跟踪算法的影响：提取出的工件轮廓中会存在一定数量的奇异点，这些奇异点会影响对轮廓跟踪的准确性和效率，虽然采用的轮廓跟踪算法对奇异点有着较好的去除效果，但不能保证对每个轮廓中的奇异点都能完全去除，奇异点的存在会对最终的匹配精度产生影响。(3)Hu矩算法的局限性：Hu矩原理相对简单，但计算出的冗余信息过多，会占据大量的存储空间；同时Hu矩不能直接对图像轮廓进行特征描述，必须在其他算法提取、突出图像轮廓的前提下方能进行计算匹配，对于图像的质量要求较高。(3)轮廓最小外切矩形求取精度的影响：在求取轮廓最小外切矩形时，外切矩形的面积越小，轮廓的主轴方向越接近图像的坐标轴。所以最小外切矩形的计算越准确，对轮廓主轴规范化的程度才能越高，获得的归一化连码直方图会更准确，这也是影响轮廓匹配精度的因素。

发明内容

本发明的目的在于提供一种基于视觉系统的坡口切割机器人图像处理方法，采用图像处理技术对视觉系统采集的工件图像进行处理，识别出工件的摆放姿态，提取出工件的轮廓信息，得到对工件边缘的切割轨迹，控制机器人对工件进行坡口切割，可有效提高系统对工件以及周围环境变化的适应性，避免示教再现的操作流程，从而实现工业生产中工件坡口的自动化切割。

本发明的思想为：本发明提供了一种基于视觉系统的坡口切割机器人图像处理方法，包括图像拼接、工件图像轮廓提取和轮廓匹配的方法，通过实验验证了所用方法的可行性。主要完成了以下工作：

(1)针对坡口切割机器人中的图像处理相关技术，研究了图像拼接、轮廓提取以及轮廓匹配的研究现状，总结了坡口切割机器人中工件图像轮廓提取与匹配技术的流程，分析了相机成像模型的相关理论，为图像拼接做了准备。

(2)对图像拼接技术进行了研究，分析了图像拼接的基本流程，图像配准和图像融合的方法，深入研究了SIFT算法的原理，利用SIFT算法提取出了工件图像的特征点，用kd-tree数据结构对特征集合进行分类索引，通过最近邻比值法进行了特征点的初始匹配，再利用RANSAC算法进行筛选并计算出图像间的变换矩阵，实现了图像的配准，最后利用加权平均法对图像的重叠区域进行融合，得到了完整的切割平台图像。

(3)在轮廓提取方面，针对采集到的工件图像中存在噪声的问题，对图像进行了相应的预处理操作，针对本发明中的工件图像的特点，采用最大类间方差法(Ostu)进行图像分割，得到了较好的分割效果，对多种边缘检测算子进行了分析比较，选择了边缘检测效果较好的Canny算子来检测工件的边缘，最后利用Freeman链码跟踪的方法对提取出的轮廓点进行跟踪，针对跟踪过程中存在奇异点的问题，给出了消除奇异点的轮廓跟踪算法，得到了封闭的、单像素宽的轮廓，跟踪效果较好。

(4)研究了基于几何不变矩(Hu矩)的轮廓匹配方法，利用Hu矩在描述形状平移、旋转、缩放等变换具有不变性的特点下，对图像灰度的分布信息进行统计并对其个阶矩进行计算，从而实现矩对图灰度图像的描述，完成工件轮廓与cad模板的匹配，实验结果表明该方法对于工件的轮廓匹配有较好的匹配效果，满足匹配要求的精度。

(5)对于匹配过程中形状相同但尺寸不同的错误匹配问题，通过计算轮廓的面积来进行错误匹配的筛选，最终完成了待识别工件轮廓与模板库中轮廓模板的匹配。

本发明是通过如下措施实现的：一种基于视觉系统的坡口切割机器人图像处理方法，包括以下步骤：

步骤一、图像采集与拼接

对于图像的采集，本发明使用的方法是采用一台CCD相机对切割平台进行垂直拍摄，通过移动机器人连续采集图像，将切割平台上的全部工件的图像进行采集，对于采集好的多幅图像，还需要采取一定的配准策略进行图像融合来完成拼接，本发明采用基于特征提取的SIFT算法对采集的图像进行拼接，首先利用SIFT算法提取出工件图像的特征点，为每一个特征点分配一个主方向和辅方向；接着引入kd-tree数据结构对分配好的特征信息进行分类索引，开始搜索特征匹配对，并根据最近邻和次近邻比值进行筛选，得到初始的特征匹配对；为了减少初步筛选出的错误匹配对，采用RANSAC算法去除错误的匹配对，并给出图像之间的变换矩阵，在使用变换矩阵将图像变换至同一坐标系下，进行融合，对于多幅图像融合存在的亮度差异，采用加权平均算法对重叠区域进行优化，完成图像的拼接；

步骤二，对目标区域工件的提取

对于深度相机采集到的深度图像，首先要进行灰度化处理，考虑到彩色图像中三分量的差异，本发明采用加权平均法，将三个分量以不同的权值进行加权平均，计算深度图像的灰度值，输出深度图像的灰度图像，完成深度图的灰度化处理，基于灰度图像，采用高斯滤波进行平滑滤波，对平滑好的图像借助imlab软件求解出工件灰度图的直方图，但经过平滑处理的图像会使工件部分轮廓边缘模糊，在求解的直方图上体现为灰度值过于集中，为了改善灰度图像的呈现效果，采用直方图均衡化技术加大工件图像的对比度，在均衡化灰度直方图中，应用Otsu法的最大类间方差原理，遍历0-255个灰度级，求出使类间方差值σ最大时的灰度级，并以此确立为最佳分割阈值T，在整个图像中将各个点的灰度值与分割阈值作比较，大于分割阈值的点认定为工件的轮廓点，设置为白色，设置灰度值为255，否则认定为背景，设置为黑色，设置灰度值为0，得到相对较好的目前区域二值图，经过像素值变化，使黑色北京像素灰度值设为0，白色工件区域的像素灰度值为1，重新得到灰度值只有1和0的工件目标图像，然后把增强后的工件灰度图经过尺寸变换成与深度图相同大小的规格，最后与只含0和1的灰度图进行相乘运算，可以去除工件图像中的大部分背景，得到相对较好的灰度目标区域图像；通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进行二值化分割,获得工件深度图的目标区城，针对工件灰图,进行高斯滤波处理与直方图均衡化，突出工件边缘信息，然后深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度图进行相乘,去除大部分背景噪声，留下仅含工件的目标区域；

步骤三，目标区域最优轮廓的获取

对于图像轮廓边缘的检测，综合对比常用的几种边缘梯度算子，本发明使用canny算子作为主要的边缘检测法，在高斯滤波的二值化图像已去除大部分噪声的基础上，使用一阶差分近似微分的方法计算图像内每一个点的局部梯度与边缘方向，采用非极大值抑制梯度，细化图像边缘的宽度，采用双阈值法的输出强、弱边缘，完成边缘检测；本发明借助于Freeman链码表示出工件轮廓点的坐标，以行扫描的方式先确定一轮廓起始像素点，将起始像素点做标记，然后扫描该像素点的8临域，若在该像素点右上方临域内有一个轮廓点，则将该轮廓点信息记为1，若是在起始像素点正下方临域内有一个轮廓点，则将该轮廓点信息记为6，再以刚找到的轮廓点为扫描中心,继续对其临域进行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描下去，直到循环扫描到最开始做标记的起始轮廓点，则跟踪结束；当图像中的轮廓个数不只一个时，需要经所有的轮廓都能跟踪存储下来，先跟踪第一个轮廓，该轮廓跟踪结束后将其信息存储并将该轮廓置为背景，继续进行行扫描进行下一个轮廓的跟踪，直到将所有的轮廓都跟踪完毕，但通常情况下在跟踪轮廓时常常会遇到三种奇异点：孤立点、毛刺点、断点，可在Freeman链码采取有效的算法来进行优化：对于孤立点，可直接将其像素值置为0；对于毛刺点，可先将追踪到的点像素置为0，便可将多出的毛刺点看做是孤立点处理，再将置为背景的点像素置为1；对于断点，可扩大其搜索区域，一般可扩大5个像素，使用直线连接至最近的像素点，完成断点的处理，采用上述的办法即可对提取的工件轮廓进行追踪，得到高精度的单像素宽度的工件轮廓边缘，得出canny算子对工件的轮廓提取效果较好，对灰度的目标区域进行canny算子边缘提取与轮廓曲线的平滑,作为图像外轮廓；工件灰度图目标区域进行大核高斯滤波进行平滑,使用canny算子的边缘提取出轮廓，以此作为内轮廓,并行内外轮廓的优化,得到较为精确的工件目标区域的边缘轮廓；

步骤四、视觉标定

以相机的投影成形原理为基础，本发明采用平面棋盘标定法求解相机的内参数，即通过提取棋盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f，k，S

步骤五、工件轮廓匹配

对于工件CAD模板的匹配，则借助于前期最优轮廓获取的工作基础：单像素高精度的工件轮廓边缘；对处理得到的工件轮廓与cad模板轮廓各自进行Hu矩的计算与匹配，设置工件与CAD模板的Hu矩的相似度为0.0180968，寻找出与之对应的CAD模板，并比较实际工件轮廓面积与cad模板面积来避免形状相同、尺寸不同的应用工况，最终确定CAD模板的切割工艺参数，从而纠正机械臂的行走路线，实现精准切割；依据左右成像重叠区域的拼接原理,对最优轮廓进行拼接,得到工件的完整缘轮廓图。对于工件CAD模板,进行边缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配；工件与应CAD模板的Hu矩的相似度为0.0180968,能够有效地找到与之对应的模板,获得CAD模板的切割工艺参数,修正工件的实际轮廓信息,以此来进行切路径规划,实现了全自动切割。

与现有技术相比，本发明的有益效果为：

1、本发明相对于传统的坡口切割技术，可实现零件自动定位、类型自动识别、参数自动适配、全自动坡口切割等功能。

2、本发明相对于一般的视觉系统，图像拼接误差±0.1毫米，系统完整处理时间平均为2.3分钟，引导坡口切割路径误差小于2毫米，一般切割误差为±4毫米左右。

3、本发明采用的视觉信息采集系统避免了示教机器人的示教再现的过程，增加了工作的灵活性，提高了工作效率。

4、本发明和半自动切割方式相比，采用6轴联动的方式，能完成更复杂的空间曲线运动，实现复杂形状的工件坡口切割，甚至是变坡口切割。

5、本发明主要用于零件的坡口切割，相对于采用套料软件的整板切割方式，提高了钢板的利用率，减少了钢材的损耗。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明中视觉系统的坡口切割机器人系统组成的电原理图。

图2为本发明中视觉系统的坡口切割机器人图像处理流程图。

图3为本发明中工件轮廓提取与匹配流程图。

图4为本发明中视觉坡口切割机器人中工件轮廓提取流程图。

图5为本发明中图像拼接流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例

参见图1至图5，本发明提供其技术方案为，一种基于视觉系统的坡口切割机器人图像处理方法，包括以下步骤：

步骤一、图像采集与拼接

对于图像的采集，本发明使用的方法是采用一台CCD相机对切割平台进行垂直拍摄，通过移动机器人连续采集图像，将切割平台上的全部工件的图像进行采集，对于采集好的多幅图像，还需要采取一定的配准策略进行图像融合来完成拼接，本发明采用基于特征提取的SIFT算法对采集的图像进行拼接，首先利用SIFT算法提取出工件图像的特征点，为每一个特征点分配一个主方向和辅方向；接着引入kd-tree数据结构对分配好的特征信息进行分类索引，开始搜索特征匹配对，并根据最近邻和次近邻比值进行筛选，得到初始的特征匹配对；为了减少初步筛选出的错误匹配对，采用RANSAC算法去除错误的匹配对，并给出图像之间的变换矩阵，在使用变换矩阵将图像变换至同一坐标系下，进行融合，对于多幅图像融合存在的亮度差异，采用加权平均算法对重叠区域进行优化，完成图像的拼接；

步骤二，对目标区域工件的提取

对于深度相机采集到的深度图像，首先要进行灰度化处理，考虑到彩色图像中三分量的差异，本发明采用加权平均法，将三个分量以不同的权值进行加权平均，计算深度图像的灰度值，输出深度图像的灰度图像，完成深度图的灰度化处理，基于灰度图像，采用高斯滤波进行平滑滤波，对平滑好的图像借助imlab软件求解出工件灰度图的直方图，但经过平滑处理的图像会使工件部分轮廓边缘模糊，在求解的直方图上体现为灰度值过于集中，为了改善灰度图像的呈现效果，采用直方图均衡化技术加大工件图像的对比度，在均衡化灰度直方图中，应用Otsu法的最大类间方差原理，遍历0-255个灰度级，求出使类间方差值σ最大时的灰度级，并以此确立为最佳分割阈值T，在整个图像中将各个点的灰度值与分割阈值作比较，大于分割阈值的点认定为工件的轮廓点，设置为白色，设置灰度值为255，否则认定为背景，设置为黑色，设置灰度值为0，得到相对较好的目前区域二值图，经过像素值变化，使黑色北京像素灰度值设为0，白色工件区域的像素灰度值为1，重新得到灰度值只有1和0的工件目标图像，然后把增强后的工件灰度图经过尺寸变换成与深度图相同大小的规格，最后与只含0和1的灰度图进行相乘运算，可以去除工件图像中的大部分背景，得到相对较好的灰度目标区域图像；通过对深度图进行灰度化处理,依据求取的灰度直方图得到目标区城的阀值,进行二值化分割,获得工件深度图的目标区城，针对工件灰图,进行高斯滤波处理与直方图均衡化，突出工件边缘信息，然后深度图目标区域像素灰度置为1,背景置为0,与增强后的工件灰度图进行相乘,去除大部分背景噪声，留下仅含工件的目标区域；

步骤三，目标区域最优轮廓的获取

对于图像轮廓边缘的检测，综合对比常用的几种边缘梯度算子，本发明使用canny算子作为主要的边缘检测法，在高斯滤波的二值化图像已去除大部分噪声的基础上，使用一阶差分近似微分的方法计算图像内每一个点的局部梯度与边缘方向，采用非极大值抑制梯度，细化图像边缘的宽度，采用双阈值法的输出强、弱边缘，完成边缘检测；本发明借助于Freeman链码表示出工件轮廓点的坐标，以行扫描的方式先确定一轮廓起始像素点，将起始像素点做标记，然后扫描该像素点的8临域，若在该像素点右上方临域内有一个轮廓点，则将该轮廓点信息记为1，若是在起始像素点正下方临域内有一个轮廓点，则将该轮廓点信息记为6，再以刚找到的轮廓点为扫描中心,继续对其临域进行轮廓点扫描,每找到一个轮廓点则记录其链码值,依次循环扫描下去，直到循环扫描到最开始做标记的起始轮廓点，则跟踪结束；当图像中的轮廓个数不只一个时，需要经所有的轮廓都能跟踪存储下来，先跟踪第一个轮廓，该轮廓跟踪结束后将其信息存储并将该轮廓置为背景，继续进行行扫描进行下一个轮廓的跟踪，直到将所有的轮廓都跟踪完毕，但通常情况下在跟踪轮廓时常常会遇到三种奇异点：孤立点、毛刺点、断点，可在Freeman链码采取有效的算法来进行优化：对于孤立点，可直接将其像素值置为0；对于毛刺点，可先将追踪到的点像素置为0，便可将多出的毛刺点看做是孤立点处理，再将置为背景的点像素置为1；对于断点，可扩大其搜索区域，一般可扩大5个像素，使用直线连接至最近的像素点，完成断点的处理，采用上述的办法即可对提取的工件轮廓进行追踪，得到高精度的单像素宽度的工件轮廓边缘，得出canny算子对工件的轮廓提取效果较好，对灰度的目标区域进行canny算子边缘提取与轮廓曲线的平滑,作为图像外轮廓；工件灰度图目标区域进行大核高斯滤波进行平滑,使用canny算子的边缘提取出轮廓，以此作为内轮廓,并行内外轮廓的优化,得到较为精确的工件目标区域的边缘轮廓；

步骤四、视觉标定

以相机的投影成形原理为基础，本发明采用平面棋盘标定法求解相机的内参数，即通过提取棋盘图像上的特征点与其对应点之间的映射关系求解出相机内参数(f，k，S

步骤五、工件轮廓匹配

对于工件CAD模板的匹配，则借助于前期最优轮廓获取的工作基础：单像素高精度的工件轮廓边缘；对处理得到的工件轮廓与cad模板轮廓各自进行Hu矩的计算与匹配，设置工件与CAD模板的Hu矩的相似度为0.0180968，寻找出与之对应的CAD模板，并比较实际工件轮廓面积与cad模板面积来避免形状相同、尺寸不同的应用工况，最终确定CAD模板的切割工艺参数，从而纠正机械臂的行走路线，实现精准切割；依据左右成像重叠区域的拼接原理,对最优轮廓进行拼接,得到工件的完整缘轮廓图。对于工件CAD模板,进行边缘提取,得到模板的轮廓,各自进行Hu矩的计算与匹配；工件与应CAD模板的Hu矩的相似度为0.0180968,能够有效地找到与之对应的模板,获得CAD模板的切割工艺参数,修正工件的实际轮廓信息,以此来进行切路径规划,实现了全自动切割。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。