一种用于工业机器人抓取领域的深度相机标定装置

摘要

本发明公开了一种用于工业机器人抓取领域的深度相机标定装置。检测系统包括工作台，可调角度相机、光源、视觉控制器等，视觉控制器通过对从相机获取的图像进行处理分析，识别出其中的物体，然后分辨出装配零件与多余物；检测方法包括如下步骤：获取多角度装配区域图像，对图像进行预处理后输入到训练好的目标检测网络模型中进行特征提取预测出物体位置与种类，然后判断各个物体是否属于多余物，标记出多余物的位置并报警。本发明能辅助人工在装配过程中多角度地对特定区域内的多余物进行实时检测，具有检测准确率高，实时性强，使用灵活等优点，可以减少装配过程多余物的引入，增强产品可靠性。

说明书

技术领域

本发明涉及相机深度标定技术领域，尤其涉及一种用于工业机器人抓取领域的深度相机标定装置。

背景技术

多余物是指产品中存在的由外部进入或内部产生的与产品规定状态无关的一切物质。在较大规模的具有高可靠性和高安全性的设备装配过程中，由于设备结构复杂，生产工艺和装配工序繁多，非常容易引入多余物。比如工人操作不当可能会带入螺钉、垫圈、头发丝、抹布残余等物体；如焊接、机加工等加工过程可能引入焊渣、金属碎屑等多余物。这些多余物若遗留在设备中会留下严重的安全隐患，可能影响高可靠设备的正常工作，甚至造成故障、引发安全事故等。

经过长期的发展，目前的多余物检测与控制方法主要有目视耳听检测法、内窥镜检测法、X光透视检测法、超声波检测法、马特拉检测法和微粒碰撞噪声检测法等，检测步骤较多且较为严格。但大多自动检测方法仅适用于装配完整的物体，而装配中常常是人工检查，仍存在人为因素较大、容易漏检等问题。

是指在机械装配过程中，计算机通过检测相机获取的装配区域图像信息，识别出其中的物体并判断是否存在多余物。多余物视觉检测过程本质是一个目标检测过程，目前主流目标检测算法都是基于深度学习的方法，该类方法的特点是使用卷积神经网络提取特征，拥有抗干扰能力强、检测准确率高等特点。

发明内容

为了解决背景技术中的问题，本发明提供了一种用于工业机器人抓取领域的深度相机标定装置，能够利用多个可调角度相机并配备光源对装配区域进行多角度拍摄，然后使用YOLOv3网络对获得的图像进行目标检测，识别出装配区域内的物体并从中筛选出多余物。

本发明采用的技术方案如下：

一种在用于工业机器人抓取领域的深度相机标定装置

包括工作台、可调角度相机、环形光源、报警指示灯、显示屏和视觉控制器，工作台两侧固定有两根竖直型材，两根竖直型材之间连接有水平型材，装配体放置于工作台台面，位于装配体正上方设置有环形光源，环形光源通过光源调节杆安装于水平型材上，位于装配体的左上方、右上方和正上方均设置有可调角度相机，位于装配体左上方和右上方的可调角度相机分别安装于两根竖直型材上，位于装配体正上方的可调角度相机安装于水平型材上且位于环形光源正上方；位于工作台下方的控制柜内放置有视觉控制器，视觉控制器分别与安装于台面上方的显示屏和安装于工作台顶部的报警指示灯相连。

每个可调角度相机包括相机、相机支架和蜗杆与涡轮式相机连接片组成的驱动机构，竖直型材或水平型材通过螺栓固定有相机支架，位于相机支架背面的两侧均安装有蜗杆支撑架，两个蜗杆支撑架之间连接有蜗杆，蜗杆底部通过啮合连接有涡轮式相机连接片，蜗杆的螺旋齿与涡轮式相机连接片顶面的齿轮相啮合；位于蜗杆下方的相机支架开有弧形槽，涡轮式相机连接片通过穿过弧形槽的螺丝与位于相机支架正面的相机相连，涡轮式相机连接片在蜗杆驱动下绕弧形槽转动，从而带动相机的转动，实现相机的角度调节。

所述蜗杆两端均开有六边形孔，通过内六角扳手转动六边形孔实现蜗杆的转动。

所述视觉控制器通过显示屏显示检测结果，并在检测到装配体中的多余物时控制报警指示灯报警。

二、采用上述用于工业机器人抓取领域的深度相机标定装置，包括以下步骤：

S1：打开环形光源与相机，三个相机从多个角度采集机械装配时装配体的图像；

S2：将视觉控制器在历史装配过程中采集的所有图像进行预处理和标注，并将标记后的图像分为训练集和验证集；

S3：根据训练集图像中物体的尺寸大小进行聚类分析，通过聚类分析设置最佳先验框个数和最佳先验框尺寸；

S4：将经步骤S3聚类分析后的训练集输入YOLOv3目标检测网络进行训练，并在验证集上进行验证，获得能识别物体种类与位置的装配零件与常见多余物识别模型；

S5：视觉控制器将从相机实时接收到的检测图像预处理后输入步骤S4的装配零件与常见多余物识别模型，预测得到检测图像中物体的种类和位置；

S6：视觉控制器根据步骤S5的预测结果判断检测图像中的物体是否属于当前装配体使用的零件，若不是则认定为多余物，标记出多余物的位置并通过报警指示灯报警。

所述步骤S2和步骤S5中的预处理操作包括对图像进行裁剪使图像宽度与高度比为1：1和对图像进行线性放缩使图像尺寸统一为1024×1024。

所述步骤S2具体为：将视觉控制器在历史装配过程中采集的所有图像进行预处理，并标注预处理后的图像中每个物体的种类编号、中心坐标、宽度和高度，通过预处理和标注后的所有图像构建数据集，再按4比1的比例将数据集随机分为训练集和验证集；

所述物体的种类编号根据物体清单中的种类编号进行标注，物体清单包含有视觉控制器中所有能识别的物体的种类及其对应的种类编号，能识别的物体包括装配零件和不属于装配零件的多余物。

所述步骤S3具体为：提取出步骤S2的所有训练集图像中所有的物体宽度和高度作为真实框，再设置K个先验框作为聚类中心，先验框个数K从1开始逐个增大，通过对所有真实框进行Kmeans聚类分析得到K个先验框对应的最短总距离DK，K越大时，DK越小，但模型预测过程的计算量越大。

满足以下条件的先验框个数K作为最佳先验框个数，说明最短总距离变化缓慢，此时K个先验框作为最佳先验框，每个最佳先验框对应的先验框尺寸作为最佳先验框尺寸：||DK-1-DK|-|DK-DK+1||<最小距离阈值

其中，K为先验框个数；DK为当先验框个数为K时，对所有真实框进行Kmeans聚类分析得到的最短总距离；

所述的对所有真实框进行Kmeans聚类分析的过程如下：将每个真实框与离该真实框最近的先验框进行距离计算得到该真实框的中间距离，然后将所有真实框的中间距离求和得到总距离，通过多次调整先验框尺寸使得总距离最小，且该总距离作为当前先验框个数K时的最短总距离，即真实框与先验框重叠程度最高，聚类分析中的距离计算公式如下：

distance＝1-IOU

其中，IOU表示真实框与先验框的重叠程度，即真实框与先验框中心重合时，两者重合的面积与两者取并集的面积的比值。distance为真实框的中间距离；聚类分析的目的是调整先验框个数K和先验框尺寸，使得总距离最小，即真实框与先验框重叠程度最高，这能有效提高检测模型的定位精度。

所述步骤S4中，物体位置包括物体尺寸与物体中心；最佳先验框用于将目标检测网络预测得到的物体的物体尺寸限制在限定范围内，所述限定范围具体是指：设置预定倍数，根据预定倍数对每个先验框尺寸进行扩大和缩小，得到扩大先验框和缩小先验框，扩大先验框和缩小先验框之间的区域作为物体尺寸的限定范围。

所述步骤S6具体为：视觉控制器根据步骤S5预测得到的检测图像中物体的种类进行多余物判断：对于不属于装配零件的物体如头发丝、抹布残余、金属丝，视觉控制器直接判断该物体为多余物；对于属于装配零件的物体，将不属于当前装配体零件清单中的装配零件判断为多余物，所述当前装配体零件清单为包含有当前装配体中使用到的所有装配零件的种类及其对应的种类编号。

本发明的有益效果：

1)本发明通过视觉传感器获取信息，应用场景适用性强；通过大量数据训练得到的卷积神经网络提取特征和分类，识别准确率高，鲁棒性较强，且满足实时检测要求，可以在机械装配过程中多角度地对区域内的多余物进行实时检测。

2)本发明能辅助人工在装配过程中对特定区域内的多余物进行实时检测，具有检测准确率高，实时性强，使用灵活等优点，可以进一步减少多余物的引入，增强产品可靠性。

附图说明

图1是本发明检测系统的结构示意图；

图2是本发明中可调角度相机结构组成与工作示意图，(a)、(b)、(c)分别为三个不同角度的可调角度相机结构示意图；

图3是本发明检测方法的流程图；

图4是本发明中训练装配零件与常见多余物识别模型的流程图。

其中，1-报警指示灯，2-显示屏，3-竖直型材，4-环形光源及其支架，6-控制柜，9-水平型材，10-可调角度相机3，11-装配体，12-工作台，13-视觉控制器，14-相机，15-可调角度相机支架，16-型材，17-蜗杆，18-蜗杆支撑架，20-涡轮式相机连接片。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，本发明包括工作台12、可调角度相机、环形光源4、报警指示灯1、显示屏2和视觉控制器13，工作台12两侧固定有两根竖直型材3，两根竖直型材3之间连接有水平型材9，装配体11放置于工作台12台面，位于装配体11正上方设置有环形光源4，环形光源4通过光源调节杆安装于水平型材9上，位于装配体11的左上方、右上方和正上方均设置有可调角度相机，位于装配体11左上方和右上方的可调角度相机10分别安装于两根竖直型材3上，位于装配体11正上方的可调角度相机安装于水平型材9上且位于环形光源4正上方；位于工作台12下方的控制柜6内放置有视觉控制器13，视觉控制器13分别与安装于台面上方的显示屏2和安装于工作台12顶部的报警指示灯1相连。视觉控制器13通过显示屏2显示检测结果，并在检测到装配体11中的多余物时控制报警指示灯1报警。

水平型材9和竖直型材3之间通过角件连接，水平型材9可自由调节高度。环形光源4用于使工作区域光线均匀，消除阴影，提高检测系统的稳定性。调节光源调节杆可以使环形光源4在水平、竖直方向自由移动。

如图2所示，每个可调角度相机10包括相机14、相机支架15和蜗杆17与涡轮式相机连接片20组成的驱动机构，竖直型材3或水平型材9通过螺栓固定有相机支架15，位于相机支架15背面的两侧均安装有蜗杆支撑架18，两个蜗杆支撑架18之间连接有蜗杆17，蜗杆17底部通过啮合连接有涡轮式相机连接片20，蜗杆17的螺旋齿与涡轮式相机连接片20顶面的齿轮相啮合；位于蜗杆17下方的相机支架15开有弧形槽，涡轮式相机连接片20通过穿过弧形槽的螺丝与位于相机支架15正面的相机14相连，涡轮式相机连接片20在蜗杆17驱动下沿弧形槽转动，从而带动相机14的转动，实现相机14的角度调节。蜗杆17两端均开有六边形孔，通过内六角扳手转动六边形孔实现蜗杆17的转动。

可调角度相机可以在较大角度范围内自由转动，方便调整不同拍摄角度，且蜗轮蜗杆传动比大，调整相机旋转时精度较高。

在本发明的中，环形光源4和相机14均可自由调节高度与角度，方便适应不同工作需求。使用多个可调角度相机10布置在装配区域的多个位置，从不同角度全方位地采集装配区域图像信息，检测程序更加严格可靠。

具体实施例：

在机械装配中多余物视觉检测方法包括以下步骤：

步骤1：打开光源与相机，多个相机从多个角度采集机械装配时装配体所在区域的图像信号，并将图像信号转换为数字量的电信号发送给视觉控制器。

步骤2：视觉控制器通过接口线路连接相机采集大量历史装配过程的图像，进行预处理操作后人工识别出图像中的物体，并标注每个物体的种类编号、中心坐标、宽度和高度，构建数据集，再按4：1的比例将数据集随机分为训练集和验证集。

物体的种类编号根据物体清单中的种类编号进行标注，物体清单包含有视觉控制器中所有能识别的物体的种类及其对应的种类编号，能识别的物体包括装配零件和不属于装配零件的多余物；在以图像左上角为原点建立的坐标系中标注物体的中心坐标。

步骤3：根据训练集图像中物体的尺寸大小进行聚类分析，通过聚类分析设置最佳先验框个数和最佳先验框尺寸；

先提取出步骤S2的所有训练集图像中所有的物体宽度和高度作为真实框，再设置K个先验框作为聚类中心，先验框个数K从1开始逐个增大，通过对所有真实框进行Kmeans聚类分析得到K个先验框对应的最短总距离DK，K越大时，DK越小，但模型预测过程的计算量越大。

满足以下条件的先验框个数K作为最佳先验框个数，说明最短总距离变化缓慢，此时K个先验框作为最佳先验框，每个最佳先验框对应的先验框尺寸作为最佳先验框尺寸：||DK-1-DK|-|DK-DK+1||<最小距离阈值

其中，K为先验框个数；DK为当先验框个数为K时，对所有真实框进行Kmeans聚类分析得到的最短总距离；

对所有真实框进行Kmeans聚类分析的过程如下：将每个真实框与离该真实框最近的先验框进行距离计算得到该真实框的中间距离，然后将所有真实框的中间距离求和得到总距离，通过多次调整先验框尺寸使得总距离最小，且该总距离作为当前先验框个数K时的最短总距离，即真实框与先验框重叠程度最高，聚类分析中的距离计算公式如下：

distance＝1-IOU

其中，IOU表示真实框与先验框的重叠程度，即真实框与先验框中心重合时，两者重合的面积与两者取并集的面积的比值。distance为真实框的中间距离；聚类分析的目的是调整先验框个数K和先验框尺寸，使得总距离最小，即真实框与先验框重叠程度最高，这能有效提高检测模型的定位精度。

步骤4：使用训练集对YOLOv3目标检测网络进行训练，获得装配零件与常见多余物识别模型，具体步骤包括：

4.1)设置批数量、迭代次数、学习率以及步骤3中聚类得到的先验框个数和尺寸等训练参数；

4.2)对即将输入网络模型的图像进行随机线性放缩、翻转、调整亮度、对比度、色调等数据增强操作提高模型的泛化能力和对小物体的识别精度；

4.3)YOLOv3模型先使用卷积神经网络Darknet-53提取特征图，再对不同尺寸的特征图进行回归分析，预测出物体种类与位置；

4.4)比较预测结果与标注的真实结果，根据损失函数计算损失值；

4.5)根据损失值的大小反向传播更新模型参数；

4.6)重复步骤4.2-4.5，达到最大迭代次数则停止训练，将整个过程中平均损失值

最小时对应的模型作为最终输出模型，在验证集上验证模型综合性能。

训练好的模型主要识别两类物体：

(1)所有可能用到的装配零件；

(2)头发丝、抹布残余、金属丝等常见多余物。

所述步骤S4中，物体位置包括物体尺寸与物体中心；根据步骤S3得到的最佳先验框的尺寸得到最终的物体尺寸：在每个最佳先验框的尺寸基础上分别将模型预测得到的物体尺寸限制在限定范围内，并将限制于限定范围内的物体尺寸作为结果输出，将所有的结果输出中置信度最高的物体尺寸作为最终的物体尺寸输出；

所述限定范围具体是指：设置预定倍数，根据预定倍数对每个先验框尺寸进行扩大和缩小，得到扩大先验框和缩小先验框，扩大先验框和缩小先验框之间的区域作为物体尺寸的限定范围。

步骤5：视觉控制器实时接收相机传回的图像，对其预处理后输入步骤4的装配零件与常见多余物识别模型，预测出每张图像中物体的种类和具体位置。使用擅长并行运算的GPU运行目标检测网络，保证检测实时性。

步骤6：视觉控制器根据预测得到的物体种类，判断该物体是否属于多余物，标记出多余物的位置并报警。多余物的判定分为两步：

6.1)对于识别出的装配零件，视觉控制器根据预先设置好的零件清单判断各个零件是否属于这一装配体，若不是则认定为多余物；其中预先设置好的零件清单包含有当前装配体使用到的所有装配零件的种类编号

6.2)对于识别出的如头发丝、抹布残余、金属丝等常见多余物，视觉控制器直接认定该类物体为多余物。

其中，步骤2和步骤5中的预处理包括：

(1)对图像进行裁剪，使图像宽度与高度比为1比1；

(2)对图像进行线性放缩，使图像变为1024×1024的尺寸大小。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。