一种大元件的视觉识别方法

摘要

本发明公开了一种大元件的视觉识别方法，涉及图像识别技术领域；该方法包括以下的步骤：S10、计算吸嘴的偏移距离，通过吸嘴拾取大元件，并根据大元件的尺寸计算吸嘴需要从相机中心偏移的距离；相机分别从相机中心向左上、右上、右下、左下偏移，相机采图得到四张图像；S20、特征点的筛选；S30、图像的拼接；S40、拼接图像的获取；S50、元件参数的获取，得到元件的参数，该参数包括中心坐标和元件的偏转角度；本发明的有益效果是：该方法能够在相机视野受限的情况下，获得大于相机视野尺寸的大元件的完整图像。

说明书

技术领域

本发明涉及图像识别技术领域，更具体的说，本发明涉及一种大元件的视觉识别方法。

背景技术

贴片机是SMT生产工艺中的设备之一，用来快速精准地全自动贴装元器件。贴片机贴装元器件一般是使用贴装头上的吸嘴进行吸取元器件，然后贴装头移动吸嘴到相机上方，通过相机采图分析当前元器件的中心坐标和偏移角度，贴装头再根据计算出来的数据来移动，将元器件贴装到设定的位置上。现有技术中，当对尺寸较大的元件进行采图时，如元件的尺寸大于相机的视野范围，相机就无法得到完整的大元件的图像，只能够更换相机，造成使用非常的不便。

发明内容

为了克服现有技术的不足，本发明提供一种大元件的视觉识别方法，该方法能够在相机视野受限的情况下，获得大于相机视野尺寸的大元件的完整图像。

本发明解决其技术问题所采用的技术方案是：一种大元件的视觉识别方法，其改进之处在于，该方法包括以下的步骤：

S10、计算吸嘴的偏移距离，通过吸嘴拾取大元件，并根据大元件的尺寸计算吸嘴需要从相机中心偏移的距离；

相机分别从相机中心向左上、右上、右下、左下偏移，相机采图得到四张图像，分别为分别为P

S20、特征点的筛选，寻找四张图像的特征点，并对得到的特征点对进行角度筛选，筛选出指定角度范围内的特征点对；对筛选后的特征点对进行长度筛选，筛选出具有相近长度最多的一组特征点对；

S30、图像的拼接，通过特征点对计算刚性变换矩阵，转换P

S40、拼接图像的获取，对步骤S30中拼接后的图像的拼接线进行加权融合法处理，消除拼接线，得到拼接图像P

对P

S50、元件参数的获取，对P

进一步的，步骤S10与步骤S20之间还具有以下的步骤：

对元件图像进行裁剪，去除非重合的区域，减少提取特征点的时间。

进一步的，步骤S20中，采用SURF特征点法寻找特征点。

进一步的，步骤S10中，吸嘴的偏移距离包括x方向偏移距离和y方向偏移距离，其中x方向偏移距离为相机视野的w

m

Y方向偏移距离为相机视野的宽h

m

进一步的，步骤S20中，筛选出角度在0度-1度以内和89度-90度以内的特征点对，再筛选出数目占最多的拥有相近长度的特征点对。

进一步的，步骤S30和步骤S40中，对P

步骤S50中，对P

进一步的，对特征点对进行长度筛选时，采用ransac方法来筛选出数目最多的长度相似的特征点对。进一步的，步骤S30中，用筛选完后的特征点对计算刚性变换矩阵T

其中，c、f为平移变换，a、b、d、e为旋转和缩放变换；

将刚性变换矩阵T

其中g、h为水平方向和垂直方向的变形量，此处设置为0，即最终得到的变换矩阵T的格式如下：

进一步的，步骤S30中，图像之间的坐标系变换由图像变换矩阵决定，其变换模型如下：

在左、右图像拼接时，左侧图像不变，右侧图像通过变换矩阵T转换坐标系，将左侧图像和转换坐标系后的右侧图像进行拼接，完成左、右图像拼接；

在上、下图像拼接时，上侧图像不变，下侧图像通过变换矩阵T转换坐标系，将上侧图像和转换坐标后的下侧图像进行拼接，完成上、下图像拼接。

进一步的，步骤S40中，进行加权融合法处理包括以下的步骤：

S401、设定两幅待拼接图像的像素值和拼接完成后重叠区域的像素值分别为p

其中w表示权重，与当前像素坐标和重叠区域边缘的距离成比例关系；

S402、在图像左右拼接中，权重

在图像上下拼接中，权重w与当前像素点距重叠区域上方边缘的距离呈正比。

进一步的，步骤S50中，还包括对拼接图像P

进一步的，步骤S50中，当大元件的形状为矩形，通过边缘点来计算包围边缘点的最小外包矩形，计算得到的最小外包矩形包含了矩形的角度、长宽和中心坐标，得到的矩形的角度即为大元件的偏转角度，矩形的中心坐标即为大元件的中心坐标。

进一步的，步骤S50中，当拼接图像P

吸嘴偏移前在图像P

本发明的有益效果是：能够在受相机视野限制下，获得大于相机视野尺寸的大元件的完整图像，并对图像中的元进行识别，得到元件中心和吸嘴的距离以及元件的偏移角度。

附图说明

图1是本发明的一种大元件的视觉识别方法的流程示意图。

图2是吸嘴正常情况下拾取元件在相机上采图的示意图。

图3是吸嘴拾取大元件在相机上采图的示意图。

图4是吸嘴拾取大元件在相机上偏移一定距离后采图的示意图。

图5是两张元件图像之间存在的重合区域的示意图。

图6是左右拼接时对特征点对进行角度筛选的示意。；

图7是上下拼接时对特征点对进行角度筛选的示意。

图8是左右拼接时对特征点对进行长度筛选的示意图。

图9是上下拼接时对特征点对进行长度筛选的示意图。

图10是ransac方法确定最佳拟合直线的示意图。

图11是加权融合法的示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

参照图1所示，本发明公开了一种大元件的视觉识别方法，该方法能够在受相机视野限制下，获得大于相机视野尺寸的大元件的完整图像，并对图像中的元进行识别，得到元件中心和吸嘴的距离以及元件的偏移角度。

在本实施例中，首先需要得到大元件的尺寸信息，包括长度和宽度，参照图2所示，以视野范围为40mm*40mm的相机为例，正常情况下相机在对元件进行采图时，吸嘴会拾取元件并移动到相机中心。虚线为相机视野范围，内部的矩形为元件示意图。如图3所示，如果元件尺寸大于40mm，相机就无法得到完整的大元件的图像。

如图4所示，如果想要获得大元件的完整图像，可以使用图像拼接的方法。吸嘴拾取大元件后不移动到相机中心，而是从相机中心往四角偏移，分别获得四张图像。

基于此，本发明的一种大元件的视觉识别方法，包括以下的步骤：

S10、计算吸嘴的偏移距离，通过吸嘴拾取大元件，并根据大元件的尺寸计算吸嘴需要从相机中心偏移的距离；

相机分别从相机中心向左上、右上、右下、左下偏移，相机采图得到四张图像，分别为分别为P

步骤S10中，吸嘴的偏移距离包括x方向偏移距离和y方向偏移距离，其中x方向偏移距离为相机视野的w

m

Y方向偏移距离为相机视野的宽h

m

进一步的，步骤S10之后还具有步骤：对元件图像进行裁剪，去除非重合的区域，减少提取特征点的时间。

在本实施例中，以P

S20、特征点的筛选，寻找四张图像的特征点，并对得到的特征点对进行角度筛选，筛选出指定角度范围内的特征点对；对筛选后的特征点对进行长度筛选，筛选出具有相近长度最多的一组特征点对；

在本实施例中，采用SURF特征点法寻找特征点。寻找SURF特征点的方法是从图像1寻找特征点，然后在图像2寻找特征点，最后将两次寻找到的特征点进行匹配，得到特征点对。显然在非重合区域中寻找到的特征点无法和另一张图像上的任何特征点匹配得上，为无效特征点。所以对图像进行裁剪可以减少寻找无效特征点的时间，提高效率。

对图像进行裁剪后，使用SURF特征点法寻找特征点，并对两张图像上的特征点进行匹配，得到特征点对。由于光源、噪声的干扰，匹配得到的特征点对不会完全正确，需要下一步的筛选。

在本实施例中，所述的步骤S20中，筛选出角度在0度-1度以内和89度-90度以内的特征点对，再筛选出数目占最多的拥有相近长度的特征点对。具体的，如图6所示，对P

完成特征点对的角度筛选后，需要进行特征点对的长度筛选。

如图8所示，在左右拼接中，由于相机拍摄这两张图像时镜头是水平移动的，两张图像中的元件只涉及x方向上的平移变化，所以当左侧图像和右侧图像水平并列放置时，每个特征点对的连线的长度应该是相等的。同理，如图9所示，在上下拼接中，将上侧图像和下侧图像竖直并列放置时，每个特征点对的连线的长度也应该是相等的。

在对特征点对进行长度筛选时，不使用特定的长度来筛选特征点对，而是采用ransac方法来筛选出数目最多的长度相似的特征点对。

ransac方法是一种随机抽样一致性方法(Random Sample Consensus)。Ransac方法的核心思想是在点集中随机选取两点连成一条线，计算其他点到直线上的距离。设置阈值，如果距离d小于阈值则认为该点为内点，否则则认为该点为外点。记录内点数目m_1和外点数目m_2。重复上述操作，重新随机选取两点，并记录内点数目m_1和外点数目m_2，直到重复次数z大于最大采样次数k。选择内点数目最多的一次随机采样作为最终结果。如图10所示，使用ransac方法可以从包含干扰点的点集中找到最佳的拟合直线。

ransac方法的计算模型为：

其中k为最大采样次数、P为保证至少有一次采样点全是内点的概率、ω为随机选取的点为内点的概率、n为随机选取点的数目。推导过程如下：

ω——随机选取的点为内点的概率；

ω

1-ω

(1-ω

P＝1-(1-ω

最终得到ransac方法的计算模型：

根据ransac方法的原理，假设P＝0.99，n＝1。随机选取一条特征点对的直线A，得到直线长度，将该直线A与其他特征点对的直线B做对比，如果两者长度小于阈值5，则将直线B设为内点，否则设为外点。以此类推，将其他特征点对分为内点和外点。

统计内点数目m

计算最大采样次数k，并与当前重复采样次数z做对比，如果k大于z，则继续重复采样。否则停止重复采样，并选择内点数目m_1最大的一次采样结果作为最终结果。通过ransac方法可以找到连线长度相近条件下数目最多的特征点对。

S30、图像的拼接，通过特征点对计算刚性变换矩阵，转换P

在本实施例中，步骤S30中，用筛选完后的特征点对计算刚性变换矩阵T

其中，c、f为平移变换，a、b、d、e为旋转和缩放变换；

将刚性变换矩阵T

其中g、h为水平方向和垂直方向的变形量，此处设置为0，即最终得到的变换矩阵T的格式如下：

由于两张图像的相机位置不同，所以图像中的像素的坐标系不相同，两特征点的坐标不相同。如果需要进行图像拼接，则需要对图像进行坐标系的转换，统一坐标系。

步骤S30中，图像之间的坐标系变换由图像变换矩阵决定，其变换模型如下：

在左、右图像拼接时，左侧图像不变，右侧图像通过变换矩阵T转换坐标系，将左侧图像和转换坐标系后的右侧图像进行拼接，完成左、右图像拼接；

在上、下图像拼接时，上侧图像不变，下侧图像通过变换矩阵T转换坐标系，将上侧图像和转换坐标后的下侧图像进行拼接，完成上、下图像拼接。

S40、拼接图像的获取，对步骤S30中拼接后的图像的拼接线进行加权融合法处理，消除拼接线，得到拼接图像P

对P

在本实施例中，拼接完成后的图像，由于光源、噪声等因素的影响，拼接完后的图像在图像重叠区域两侧会存在明显的差异，所以要对拼接完的图像进行图像融合处理，这里采用加权平均融合法进行图像融合。

步骤S40中，进行加权融合法处理包括以下的步骤：

S401、设定两幅待拼接图像的像素值和拼接完成后重叠区域的像素值分别为p

其中w表示权重，与当前像素坐标和重叠区域边缘的距离成比例关系；

S402、在图像左右拼接中，权重

在图像上下拼接中，权重w与当前像素点距重叠区域上方边缘的距离呈正比。

上述是进行一次图像拼接所需要的步骤。在一次大元件识别过程中需要三次图像拼接，分别是P

S50、元件参数的获取，对P

在本实施例中，步骤S50中，还包括对拼接图像P

二值化处理是指设定一个阈值，将原图像中像素点灰度值在阈值以上的修改为255，像素点像素值在阈值以下的修改为0，或者相反。二值化后能够得到一张呈现黑白图案的图片。通过二值化处理可以消除干扰点，使图像中的特征变得明显，可以突出目标的轮廓边缘。

寻找轮廓是指通过边缘检测的方法获取包围目标边缘的点的合集，通过边缘点可以计算目标的中心坐标。

根据大元件的类型需要使用不同的方式来计算元件中心坐标。例如在本实施例中，当大元件的形状为矩形，通过边缘点来计算包围边缘点的最小外包矩形，计算得到的最小外包矩形包含了矩形的角度、长宽和中心坐标，得到的矩形的角度即为大元件的偏转角度，矩形的中心坐标即为大元件的中心坐标。

普通情况下贴片机吸嘴拾取元件，吸嘴先移动到相机中心，相机采图，得到图像。然后进行元件识别，得到元件的中心坐标和偏转角度。理想情况下，图像中心坐标就是吸嘴中心，通过计算元件中心坐标和图像中心坐标的偏差，可以得到吸嘴拾取的元件的中心与吸嘴中心的偏移值。

在本发明一种大元件的视觉识别方法中，P

所以在P

w

且：

h

即无法保证P

因此，在步骤S50中，需要计算大元件中心坐标和吸嘴中心坐标的偏差。将大元件中心坐标减去吸嘴偏移距离w

基于此，本发明提供了一种贴片机的大元件的视觉识别方法，能够在受相机视野限制下，获得大于相机视野尺寸的大元件的完整图像，并对图像中的元进行识别，得到元件中心和吸嘴的距离以及元件的偏移角度。通过计算大元件的尺寸可以得到吸嘴偏移的距离，确保拍摄到的四张图像中的大元件彼此有重合的区域；重合区域越大，能够找到的特征点对就越多，拼接效果越好。由于采集四张图像的过程中，相机镜头只产生了平移，两张图像中物体形状大小没有改变，图像之间只涉及旋转和平移的变换关系，所以在对图像进行统一坐标系处理时，采用刚性变换矩阵来进行处理，可以减少图像变换后的变形程度。

由于拍摄时的光源、噪声等因素，会导致两张图像重合区域的像素大小不一致，两张图像拼接后会存在一条明显的拼接线。采用加权融合法可以很好地消除拼接后产生的拼接线。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。