一种用于移动机器人的化纤飘杂识别方法

摘要

本发明属于智能识别技术领域，具体涉及一种用于移动机器人的化纤飘杂识别方法，通过单色激光加滤光片的图像采集方式，可有效去除白色或高亮的背景干扰；结合深度学习目标检测和迭代位置矫正的方法，实现对高亮化纤丝束的精准识别定位；将高亮化纤丝束间的区域作为飘杂可能发生区域，并基于图像处理的方法识别飘杂化纤；将飘杂化纤与高亮化纤丝束之间的距离关系作为飘杂识别判断依据，可量化飘杂发生的严重程度，可有效解决团状亮光近距离内存在其他亮光的问题。

说明书

技术领域

本发明属于智能识别领域，特别涉及一种用于移动机器人的化纤飘杂识别方法。

背景技术

申请公开号为CN 110992343 A《一种基于机器人的飘丝飘杂视检方法、存储介质及电子设备》的专利，在其整体流程方案中涉及到化纤飘杂的视检方法，其采用照射灯对着丝束进行补光，并对拍照成像的具有团状高亮图片进行视觉检测，若在团状亮光外有其他亮光即认为发生飘杂。现有技术的缺点在于：

采用照射灯进行补光，可获取具有高亮丝束区域的图像，但无法过滤白色或高亮的背景物体，这样的物体容易被认定为其他亮光，从而造成误识别；

现有专利认为在团状亮光外有其他亮光即认为发生飘杂，但没有解决如何识别区分团状亮光和其他亮光的问题；

机器人在移动拍摄过程中，不能保证每个工位都能得到高质量的团状亮光，在周边容易形成属于团状亮光的其他亮光，团状亮光外存在其他亮光无法直接作为飘杂的判断条件。

发明内容

为解决上述技术问题，本发明提供一种用于移动机器人的化纤飘杂识别方法。

本发明通过以下技术方案实现：

一种用于移动机器人的化纤飘杂识别方法，包括如下步骤：

S1、采用单色激光+滤光片的拍摄方式，移动机器人巡逻采集现场图像；

S2、基于深度学习目标检测和位置迭代矫正的方法，对高亮化纤束进行检测识别，定位图像视野内所有高亮化纤束位置；

S3、基于所述高亮化纤束位置定位发生飘杂区域，并识别定位飘杂化纤；

S4、计算所述飘杂化纤与所述高亮化纤束之间的距离关系，判断是否存在飘杂；

S5、统计所有可能发生飘杂区域的飘杂识别结果，并按指定格式输出。

进一步地，在步骤S2中，采用小步迭代矫正的方式对检测框进行准确的位置矫正。

进一步地，所述小步迭代矫正的方式的具体步骤如下：

2.1根据检测框为B(x,y,w,h)和偏移系数w_scale,h_scale得到偏移后的检测框B2(x2,y2,w2,h2)，其中x2＝x-w*w_scale，y2＝y-h*h_scale,w2＝w+2*w*w_scale,h2＝h+2*h*h_scale；

2.2对偏移后检测框内图像进行r,g,b通道图像分离；

2.3选择g通道图像，进行图像阈值，获取化纤二值掩码图；

2.4对化纤二值掩码图进行形态学闭运算；

2.5获取二值掩码图内的连通区域；

2.6得到面积最大连通区域；

2.7得到面积最大连通区域的最小外接矩形B3(x3,y3,w3,h3)；

2.8最小外接矩形B3(x3,y3,w3,h3)为单步矫正后的位置框；

2.9将B3(x3,y3,w3,h3)作为B(x,y,w,h)，重复上述步骤，直到完成迭代矫正；

其中，B(x,y,w,h)为基于深度学习目标检测方法得到的检测框,(x,y)为检测框B在图像中左上角的坐标，(w,h)为检测框B的宽和高，w_scale,h_scale分别为水平和竖直方向偏移放大系数。

进一步地，w_scale设置为0.1。

进一步地，h_scale设置为0.3。

进一步地，在步骤S3中，所述基于所述高亮化纤束位置定位发生飘杂区域，其过程如下：设经过位置矫正后的化纤束检测框分别为B0(x0,y0,w0,h0)，B1(x1,y1,w1,h1)，B2(x2,y2,w2,h2).....Bn(xn,yn,wn,hn),其中n为检测得到的化纤束数量，而B0，B1，B2.....Bn为经过排序后，从左到右的检测框；那么B0和B1化纤束之间的区域为A(xa0,ya0,wa0,ha0),其中xa0＝x0+w0，ya0＝max(y0,y1),w0＝x1-x0-w0,ha0＝min(y0+h0,y1+h1)-max(y0,y1),其中max(,)和min(,)分别代表最大值和最小值操作，同理可得到B1和B2，Bn-1和Bn之间飘杂区域，总共有n-1个飘杂区域。

进一步地，对所述飘杂区域进行飘杂化纤识别，其识别的过程可分为以下步骤：

3.1对飘杂区域内图像进行r,g,b通道图像分离；

3.2选择g通道图像，进行图像阈值，获取化纤二值掩码图；

3.3对二值掩码图进行形态学闭运算；

3.4获取二值掩码图内的连通区域；

3.5对连通区域进行面积过滤；

3.5对连通区域根据长宽比进行过滤；

3.6得到面积最大连通区域的最小外接矩形P(xpn,ypn,wpn,hpn),为飘杂化纤。

进一步地，在步骤S4中，所述判断具体如下：将飘杂化纤到两边化纤束距离作为飘杂判断的条件，量化飘杂发生的程度，并设定阈值进行飘杂报警。其过程如下：假

进一步地，所述的将飘杂化纤到两边化纤束距离作为飘杂判断的条件，量化飘杂发生的程度，并设定阈值进行飘杂报警，具体过程为，设飘杂区域A(xa0,ya0,wa0,ha0)内得到飘杂化纤P(xp0,yp0,wp0,hp0),那么左边的距离比值Z0＝(xp0-xa0)/wa0，而右边的距离比值Z1＝(xa0+wa0-xp0-wp0)/wa0，那么飘杂判断条件Z＝max(Z0,Z1),其中max(,)为最大值操作。Z的取值范围为0到0.5，若Z大于设定的阈值，那么则判断该区域存在飘杂现象，移动机器人将对该位置进行飘杂报警。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现用于移动机器人的化纤飘杂识别方法的步骤。

本发明提出了一种用于移动机器人的化纤飘杂识别方法，其优点在于：

1、采集的图像可有效去除背景的干扰，降低算法难度和提高检测算法的鲁棒性；

2、基于深度学习目标检测和位置迭代矫正的方法，可准确定位图像视野内所有高亮化纤束位置；

3、基于高亮化纤束位置定位飘杂可能发生区域，并基于图像处理的方法提取区域内飘杂化纤位置；

4、判断飘杂化纤与左右化纤束之间的位置关系，可量化飘杂发生的严重程度，并进行阈值告警。

附图说明

以下将结合附图对本发明做进一步详细说明；

图1是移动机器人化纤漂杂识别整体流程图；

图2是移动机器人获取采集图像；

图3a是目标检测定位高亮化纤束图，图3b、图3c、图3d分别是1、3、5次迭代矫正高亮化纤束图；

图4是单次矫正流程图；

图5a是化纤飘杂区域；图5b为飘杂区域内飘杂化纤。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方案通过单色激光加滤光片的图像采集方式，可有效去除白色或高亮的背景干扰；作为优选的实施例，本方案的单色激光为绿色激光，结合深度学习目标检测和迭代位置矫正的方法，实现对高亮化纤丝束(团状亮光)的精准识别定位；将高亮化纤丝束(团状亮光)间的区域作为飘杂可能发生区域，并基于图像处理的方法识别飘杂化纤(其他亮光)；将飘杂化纤(其他亮光)与高亮化纤丝束(团状亮光)之间的距离关系作为飘杂识别判断依据，可量化飘杂发生的严重程度，可有效解决团状亮光近距离内存在其他亮光的问题。

在具体实施例中，一种用于移动机器人的化纤飘杂识别方法总体流程如图1所示，其过程可分为以下步骤：

S1、采用单色激光+滤光片的拍摄方式，移动机器人巡逻采集现场图像；作为优选的实施例，本方案的单色激光为绿色激光。

S2、基于深度学习目标检测和位置迭代矫正的方法，对高亮化纤束进行检测识别，定位图像视野内所有高亮化纤束位置；

S3、基于高亮化纤束位置定位所有飘杂可能发生区域，并基于图像处理方法识别定位飘杂化纤；

S4、计算飘杂化纤与高亮化纤丝束之间的距离关系，判断是否存在飘杂；

S5、统计所有可能发生飘杂区域的飘杂识别结果，并按指定格式输出。

在步骤S2中，高亮化纤束检测识别具体包括：

移动机器人采用绿色激光+滤光片的拍摄方式，巡逻采集现场图像，获取的图像如图2所示。从采集图像可以看出，采用绿色激光+滤光片的采集方式，可凸显化纤束在图像中的形态特征，表征为一个个独立的高亮区域。同时，由于滤光片的滤光作用，除反光化纤外，其他的背景特征被有效过滤，大大降低后续飘杂识别的难度。

然后基于深度学习目标检测的方法对图像内的高亮化纤束进行目标检测，目标检测的方法不仅限于FasterRcnn，Yolo和SSD系列等，其检测的结果如图3a-3d所示。由于目标检测主要为分类识别和回归计算的方式，一般得到的检测结果相对目标位置会存在一定的偏差。为了对检测结果进行准确的矫正，采用小步迭代矫正的方式对检测框进行准确的位置矫正。其方法为：假设基于深度学习目标检测方法得到的检测框为B(x,y,w,h),其中(x,y)为检测框B在图像中左上角的坐标，(w,h)为检测框B的宽和高。另外，设置w_scale,h_scale分别为水平和竖直方向偏移放大系数，为检测框在不同方向上的偏移大小，可设置不同的大小，如分别为0.1和0.3等。但若偏移系数设置过大，那么放大后的检测框容易包括其他目标，会对位置矫正造成一定的影响。但若偏移系数设置过小，那么偏移后的检测框不能完全包括目标对象，无法实现准确的矫正，因此采用较小的偏移系数进行迭代矫正，进行逐步的放大矫正。其迭代矫正的过程可分为以下步骤，如图4：

2.1根据检测框为B(x,y,w,h)和偏移系数w_scale,h_scale得到偏移后的检测框B2(x2,y2,w2,h2)，其中x2＝x-w*w_scale，y2＝y-h*h_scale,w2＝w+2*w*w_scale,h2＝h+2*h*h_scale；

2.2对偏移后检测框内图像进行r,g,b通道图像分离；

2.3选择g通道图像，进行图像阈值，获取化纤二值掩码图；

2.4对化纤二值掩码图进行形态学闭运算；

2.5获取二值掩码图内的连通区域；

2.6得到面积最大连通区域；

2.7得到面积最大连通区域的最小外接矩形B3(x3,y3,w3,h3)；

2.8最小外接矩形B3(x3,y3,w3,h3)为单步矫正后的位置框；

2.9将B3(x3,y3,w3,h3)作为B(x,y,w,h)，重复上述步骤，直到完成迭代矫正。

在步骤S3中，定位识别飘杂化纤具体如下：

“飘杂”现象是指由于化纤断裂，导致其中一束化纤上的一根化纤飘到相邻化纤中，一般飘杂化纤发生的区域为两束化纤束之间的区域。因此，借助定位后的高亮化纤束去定位所有可能发生飘杂区域。其过程如下：假设经过位置矫正后的化纤束检测框分别为B0(x0,y0,w0,h0)，B1(x1,y1,w1,h1)，B2(x2,y2,w2,h2).....Bn(xn,yn,wn,hn),其中n为检测得到的化纤束数量，而B0，B1，B2.....Bn为经过排序后，从左到右的检测框。那么B0和B1化纤束之间的区域为A(xa0,ya0,wa0,ha0),其中xa0＝x0+w0，ya0＝max(y0,y1),w0＝x1-x0-w0,ha0＝min(y0+h0,y1+h1)-max(y0,y1),其中max(,)和min(,)分别代表最大值和最小值操作，同理可得到B1和B2，Bn-1和Bn之间飘杂区域，总共有n-1个飘杂区域，并对这些飘杂区域进行飘杂化纤识别，其识别的过程可分为以下步骤：

3.1对飘杂区域内图像进行r,g,b通道图像分离

3.2选择g通道图像，进行图像阈值，获取化纤二值掩码图

3.3对二值掩码图进行形态学闭运算

3.4获取二值掩码图内的连通区域

3.5对连通区域进行面积过滤

3.5对连通区域根据长宽比进行过滤

3.6得到面积最大连通区域的最小外接矩形P(xpn,ypn,wpn,hpn),为飘杂化纤。

在步骤S4中，飘杂区域内飘杂化纤判断具体如下：

将飘杂化纤到两边化纤束距离作为飘杂判断的条件，可量化飘杂发生的程度，并设定阈值进行飘杂报警。其过程如下：假设飘杂区域A(xa0,ya0,wa0,ha0)内得到飘杂化纤P(xp0,yp0,wp0,hp0),那么左边的距离比值Z0＝(xp0-xa0)/wa0，而右边的距离比值Z1＝(xa0+wa0-xp0-wp0)/wa0，那么飘杂判断条件Z＝max(Z0,Z1),其中max(,)为最大值操作。Z的取值范围为0到0.5，若Z大于设定的阈值，那么则判断该区域存在飘杂现象，巡逻机器人将对该位置进行飘杂报警。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现用于移动机器人的化纤飘杂识别方法的步骤。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现用于移动机器人的化纤飘杂识别方法的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。