面向运动物品的视觉机械臂自动抓取方法与系统

摘要

本发明提供的了一种面向运动物品的视觉机械臂自动抓取方法，通过利用深度学习的目标检测和目标跟踪来识别、定位、跟踪多个目标物品，按照目标物品抓取优先度生成一个抓取物品顺序列表，利用预测物品运动算法预测当前抓取物品的抓取点；利用逆运动解控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，实现机械臂的自动抓取。本发明提供一种视觉机械臂自动抓取系统，有效地解决了机械臂多目标抓取精度的问题，其视觉感知端能实时跟踪目标物品，可以应用于机械臂对运动物品的抓取；同时实现该系统仅仅需要一个单目RGB摄像机和激光测距模块，降低了生产成本。

说明书

技术领域

本发明涉及工业智能控制技术领域，更具体的，涉及一种面向运动物品的视觉机械臂自动抓取方法与系统。

背景技术

目前，关于机械臂的自动抓取主要是利用摄像机和机械臂进行手眼标定，获取摄像机和机械臂之间的坐标关系，最后将视觉识别的结果转移到机器人坐标系下，再控制机械臂进行抓取。这种办法需要使用有深度传感器的RGB-D摄像机或者双目摄像机，RGB-D摄像机具有近距离盲区，这种办法难以应用于中小型机械臂，而且精度能达到实现机械臂精确抓取的RGB-D和双目摄像机成本高。

针对这一问题，目前已有的解决办法技术有：

1、一种基于视觉识别的辅助抓取方法[1]Kalashnikov D,Irpan A,Pastor P,etal.QT-Opt:Scalable Deep Reinforcement Learning for Vision-Based RoboticManipulation[J].2018.，对比使用深度摄像机和对机械臂手眼标定的方法，虽然使用了深度学习方法，但是需要无人机进行辅助，并且需要边采集图像边训练模型的方式，成本更高，效率更低。

2、基于视觉深度学习特征的机器人机械手检测及抓取方法[2]Mahler J,LiangJ,Niyaz S,et al.Dex-net 2.0:Deep learning to plan robust grasps withsynthetic point clouds and analytic grasp metrics[J].arXiv preprint arXiv:1703.09312,2017.，这种方法将卷积神经网络作为一个图像匹配器，采用两个卷积神经网络，在线进行标准图像和关键帧图像匹配，采用图像旋转匹配的方式确定抓取姿态，但是在有多个物品场景的时候会影响匹配结果，最终影响到抓取结果。

3、公开号为CN108858199A的中国发明专利申请于2018年11月23日公开了一种基于视觉的服务机器人抓取目标物体的方法，通过先设定目标物体、摄像机、机械臂三者之间的位置关系，使用YOLOv2目标检测模型对抓取物品进行识别与定位，检测物品后让机械臂向目标物品移动最后抓取。但是只是使用目标检测识别定位物品，会出现检测丢失帧的情况，实时稳定性差。

4、公开号为CN108656107A的中国发明专利申请于2018年10月16日公开了一种基于图像处理的机械臂抓取系统及方法，利用基于深度学习的多目标识别与检测网络，检测所有未知物体，再利用双目测距获得对应的深度值，利用坐标转化将图像特征从2维的图像坐标系下转化为3维世界坐标系下，获得最优抓取位置。这种方法同样只使用了目标检测的方法，而且使用双目摄像机测距，多物品目标检测会出现检测丢失帧，无法抓取运动中的物品，实时稳定性差，成本更高。

发明内容

本发明为克服现有的机械臂自动抓取方法存在实时性差、感知精确度低的技术缺陷，提供一种面向运动物品的视觉机械臂自动抓取方法与系统。

为解决上述技术问题，本发明的技术方案如下：

面向运动物品的视觉机械臂自动抓取方法，包括以下步骤：

S1：标定机械臂在二维图像中的抓取点；

S2：利用目标检测算法对物品进行识别定位，将目标检测识别到的所有物品的位置信息作为多目标跟踪深度学习算法输入，实时获取所有目标物品在图像中的位置信息；

S3：按照目标物品抓取优先度生成一个抓取物品顺序列表，在进行目标实时跟踪的同时，利用预判物品运动算法预测当前抓取物品的抓取点；

S4：利用逆运动解控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，实现机械臂的自动抓取。

上述方案中，所述目标检测算法采用yolov3算法；所述多目标跟踪深度学习算法采用光流法；所述逆运动解的输入为机械臂末端三维坐标(x,y,z)，输出为机械臂各个关节的运动角度。

上述方案中，本方法针对视觉感知端多目标识别定位不稳定、实时稳定性差的问题，结合了基于深度学习的目标检测和目标跟踪作为机械臂的视觉感知端算法实现追踪物品、建立多物品抓取优先度排序来实现运动物品的视觉机械臂自动抓取，有效地解决了机械臂多目标抓取的问题，同时该方法的视觉感知端能实时跟踪目标物品，可以应用于机械臂对运动物品的抓取，降低了成本。

其中，所述步骤S1具体为：

在机械臂末端上安装有单目RGB摄像机和激光传感模块；在标定机械臂的二维图像抓取点时，先将一个物品放在机械臂末端，仅仅通过在垂直方向上位移就能抓取到的位置上；此时记录在末端单目RGB摄像机检测到的该目标的抓取点在二维图像中的像素坐标，将该像素坐标作为机械臂的标定抓取点。

其中，所述步骤S2具体为：

在机械臂末端安装有单目RGB摄像机，作为视觉伺服器监听图像并将每一帧图像输入到目标检测算法中；

通过目标检测算法识别定位抓取目标，输出所有检测物品的边界框；

根据得到的边界框由多目标跟踪深度学习算法计算边界框内的物品图像特征和运动特征，根据特征的相似度在后续摄像机图像中一直更新的候选框中框住目标物品，并为每个目标物品分配数字ID；

根据这些数字ID获得每个目标物品在图像中的实时位置。

其中，所述步骤S3具体为：

按照目标物品抓取优先度生成一个抓取物品顺序列表；

根据抓取物品顺序列表，利用预测物品运动算法预测当前抓取物品的最佳抓取点，具体为：

让机械臂观测时间间隔为s的运动物品运动距离(1x,1y)，设当前时间为t，下一个时间间隔为s的时间为t+1，这个算法目的是时间t+1时，物品运动的到的位置(x，y).当目标物品在时间t-1坐标为(x',y')，运动后t时间的坐标为(x_,y_)，则

1x＝x_-x′

1y＝y_-y′，那么时间t+1的预测坐标为：

x＝x_+1x

y＝y_+1y

将该预测坐标作为机械臂的最佳抓取点。

其中，所述步骤S4具体为：

先将机械臂基于以底座中心为坐标原点在坐标系在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射；

然后利用逆运动学解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合；

此时通过设置在机械臂末端的激光传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，即此时物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定；

最后利用逆运动解使机械臂末端能够到达目标物品的位置实现抓取。

上述方案中，映射关系计算是找到相机中的像素距离l1和现实中运动距离l2，即函数关系l2＝l1θ，主要是解出θ值，θ值具体与相机相关，需要进行相机畸变标定和采样数据计算方程解出。

面向运动物品的视觉机械臂自动抓取系统，包括机械臂、控制器、处理器和检测设备；其中：

所述机械臂控制端与所述控制器电性连接；

所述检测设备设置在所述机械臂上，检测设备控制端与所述控制器电性连接，检测设备输出端与所述处理器电性连接；

所述控制器与所述处理器电性连接，实现信息交互；其中：

所述处理器中设置有目标检测算法、多目标跟踪深度学习算法、预判物品运动算法及逆运动算法；系统具体操作原理为：

首先利用检测设备进行机械臂在二维图像中抓取点的标定并存储于处理器中；处理器利用目标检测算法对物品进行识别定位，将目标检测识别到的所有物品的位置信息作为多目标跟踪深度学习算法输入，实时获取所有目标物品在图像中的位置信息；按照目标物品抓取优先度在处理器中生成一个抓取物品顺序列表，利用预判物品运动算法预测当前抓取物品的抓取点；结合处理器和控制器，利用逆运动算法控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；最后，检测设备通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，进行机械臂的自动抓取。

其中，所述检测设备包括单目RGB摄像机；所述单目RGB摄像机控制端与所述控制器电性连接；所述单目RGB摄像机输出端与所述处理器电性连接；其中：

在标定机械臂的二维图像抓取点时，先将一个物品放在机械臂末端，仅仅通过在垂直方向上位移就能抓取到的位置上；此时记录在末端单目RGB摄像机检测到的该目标的抓取点在二维图像中的像素坐标，将该像素坐标作为机械臂的标定抓取点。

其中，所述处理器包括目标检测模块、多目标跟踪深度学习模块、预判物品运动模块及逆运动模块；

所述目标检测模块中设置有目标检测算法；

所述多目标跟踪深度学习模块中设置有多目标跟踪深度学习算法；

所述预判物品运动模块中设置有预判物品运动算法；

所述逆运动模块中设置有逆运动算法；

其中：

所述目标检测模块输入端与所述单目RGB摄像机输出端电性连接；

所述目标检测模块输出端与所述多目标跟踪深度学习模块输出端电性连接；

所述多目标跟踪深度学习模块输出端与所述预判物品运动模块输入端电性连接；

所述预判物品运动模块输出端与所述逆运动模块输入端电性连接；

所述逆运动模块输出端与所述控制器输入端电性连接。

其中，所述当前抓取物品的抓取点的预测过程具体为：

所述单目RGB摄像机作为视觉伺服器安装在所述机械臂末端，监听图像并将每一帧图像输入到所述目标检测模块中；

所述目标检测模块识别定位抓取目标，输出所有检测物品的边界框；

所述多目标跟踪深度学习模块根据得到的边界框计算边界框内的物品图像特征和运动特征，根据特征的相似度在后续摄像机图像中一直更新的候选框中框住目标物品，并为每个目标物品分配数字ID，获得每个目标物品在图像中的实时位置并生成一个抓取物品顺序列表；

在进行实时目标跟踪的同时利用预判物品运动算法预测当前抓取物品的抓取点。

其中，所述检测设备还包括激光传感模块；所述激光传感模块控制端与所述控制器电性连接；所述激光传感模块输出端与所述处理器电性连接；其中：

在所述处理器中，先基于所述机械臂底座中心为坐标原点构建坐标系，即在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射；

利用所述逆运动模块中的逆运动算法解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合；

此时设置在所述机械臂末端的激光传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，即此时物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定；

最后由处理器通过根据逆运动算法结果传送给所述控制器，由控制器控制机器臂实现对目标物品的抓取。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的一种面向运动物品的视觉机械臂自动抓取方法及系统，有效地解决了机械臂多目标抓取精度的问题，其视觉感知端能实时跟踪目标物品，可以应用于机械臂对运动物品的抓取；同时实现本发明仅仅需要一个单目RGB摄像机和激光测距模块，降低了生产成本。

附图说明

图1为本发明所述方法的流程示意图；

图2为机械臂标定二维码图像抓取点的示意图；

图3为视觉感知端工作流程图；

图4为预测最优抓取位置的示意图；

图5为机械臂根据视觉感知端追踪物品和执行抓取的示意图；

图6为本发明所述系统的结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，面向运动物品的视觉机械臂自动抓取方法，包括以下步骤：

S1：标定机械臂在二维图像中的抓取点；

S2：利用目标检测算法对物品进行识别定位，将目标检测识别到的所有物品的位置信息作为多目标跟踪深度学习算法输入，实时获取所有目标物品在图像中的位置信息；

S3：按照目标物品抓取优先度生成一个抓取物品顺序列表，在进行实时目标跟踪的同时利用预判物品运动算法预测当前抓取物品的抓取点；

S4：利用逆运动解控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，实现机械臂的自动抓取。

在具体实施过程中，所述目标检测算法采用yolov3算法；所述多目标跟踪深度学习算法采用光流法；所述逆运动解的输入为机械臂末端三维坐标(x,y,z)，输出为机械臂各个关节的运动角度。

在具体实施过程中，本方法针对视觉感知端多目标识别定位不稳定、实时稳定性差的问题，结合了基于深度学习的目标检测和目标跟踪作为机械臂的视觉感知端算法实现追踪物品、建立多物品抓取优先度排序来实现运动物品的视觉机械臂自动抓取，有效地解决了机械臂多目标抓取的问题，同时该方法的视觉感知端能实时跟踪目标物品，可以应用于机械臂对运动物品的抓取，降低了成本。

更具体的，如图2所示，所述步骤S1具体为：

在机械臂末端上安装有单目RGB摄像机和激光传感模块；在标定机械臂的二维图像抓取点时，先将一个物品放在机械臂末端，仅仅通过在垂直方向上位移就能抓取到的位置上；此时记录在末端单目RGB摄像机检测到的该目标的抓取点在二维图像中的像素坐标，将该像素坐标作为机械臂的标定抓取点。

更具体的，如图3所示，所述步骤S2具体为：

在机械臂末端安装有单目RGB摄像机，作为视觉伺服器监听图像并将每一帧图像输入到目标检测算法中；

通过目标检测算法识别定位抓取目标，输出所有检测物品的边界框；

根据得到的边界框由多目标跟踪深度学习算法计算边界框内的物品图像特征和运动特征，根据特征的相似度在后续摄像机图像中一直更新的候选框中框住目标物品，并为每个目标物品分配数字ID；

根据这些数字ID获得每个目标物品在图像中的实时位置。

其中，如图4所示，所述步骤S3具体为：

按照目标物品抓取优先度生成一个抓取物品顺序列表；

根据抓取物品顺序列表，利用预测物品运动算法预测当前抓取物品的最佳抓取点，具体为：

让机械臂观测时间间隔为s的运动物品运动距离(1x,1y)，设当前时间为t，下一个时间间隔为s的时间为t+1，这个算法目的是时间t+1时，物品运动的到的位置(x，y).当目标物品在时间t-1坐标为(x',y')，运动后t时间的坐标为(x_,y_)，则

1x＝x_-x′

1y＝y_-y′，那么时间t+1的预测坐标为：

x＝x_+1x

y＝y_+1y

将该预测坐标作为机械臂的最佳抓取点。

更具体的，如图5所示，所述步骤S4具体为：

先将机械臂基于以底座中心为坐标原点在坐标系在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射；

然后利用逆运动学解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合；

此时通过设置在机械臂末端的激光传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，即此时物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定；

最后利用逆运动解使机械臂末端能够到达目标物品的位置实现抓取。

在具体实施过程中，映射关系计算是找到相机中的像素距离l1和现实中运动距离l2，即函数关系l2＝l1θ，主要是解出θ值，θ值具体与相机相关，需要进行相机畸变标定和采样数据计算方程解出。

在具体实施过程中，在图5中，设(x',y')为物品预测的最优抓取点，(x,y)为机械臂标定的抓取点，先将机械臂在现实中基于以底座中心为坐标原点的坐标系在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射，然后利用逆运动学解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合。这时候末端的激光测距传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，这时候物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定，从而利用逆运动解使机械臂末端能够到达目标物品的位置实现抓取。

实施例2

更具体的，在实施例1的基础上，如图6所示，本发明还提供一种面向运动物品的视觉机械臂自动抓取系统，包括机械臂、控制器、处理器和检测设备；其中：

所述机械臂控制端与所述控制器电性连接；

所述检测设备设置在所述机械臂上，检测设备控制端与所述控制器电性连接，检测设备输出端与所述处理器电性连接；

所述控制器与所述处理器电性连接，实现信息交互；其中：

所述处理器中设置有目标检测算法、多目标跟踪深度学习算法、预判物品运动算法及逆运动算法；系统具体操作原理为：

首先利用检测设备进行机械臂在二维图像中抓取点的标定并存储于处理器中；处理器利用目标检测算法对物品进行识别定位，将目标检测识别到的所有物品的位置信息作为多目标跟踪深度学习算法输入，实时获取所有目标物品在图像中的位置信息；按照目标物品抓取优先度在处理器中生成一个抓取物品顺序列表，利用预判物品运动算法预测当前抓取物品的抓取点；结合处理器和控制器，利用逆运动算法控制机械臂末端移动追踪物品，使标定抓取点与当前抓取物品在二维图像上重合；最后，检测设备通过激光测距配合机械臂逆运动算法得到当前抓取目标的精确位置，进行机械臂的自动抓取。

更具体的，所述检测设备包括单目RGB摄像机；所述单目RGB摄像机控制端与所述控制器电性连接；所述单目RGB摄像机输出端与所述处理器电性连接；其中：

在标定机械臂的二维图像抓取点时，先将一个物品放在机械臂末端，仅仅通过在垂直方向上位移就能抓取到的位置上；此时记录在末端单目RGB摄像机检测到的该目标的抓取点在二维图像中的像素坐标，将该像素坐标作为机械臂的标定抓取点。

更具体的，所述处理器包括目标检测模块、多目标跟踪深度学习模块、预判物品运动模块及逆运动模块；

所述目标检测模块中设置有目标检测算法；

所述多目标跟踪深度学习模块中设置有多目标跟踪深度学习算法；

所述预判物品运动模块中设置有预判物品运动算法；

所述逆运动模块中设置有逆运动算法；

其中：

所述目标检测模块输入端与所述单目RGB摄像机输出端电性连接；

所述目标检测模块输出端与所述多目标跟踪深度学习模块输出端电性连接；

所述多目标跟踪深度学习模块输出端与所述预判物品运动模块输入端电性连接；

所述预判物品运动模块输出端与所述逆运动模块输入端电性连接；

所述逆运动模块输出端与所述控制器输入端电性连接。

更具体的，所述当前抓取物品的抓取点的预测过程具体为：

所述单目RGB摄像机作为视觉伺服器安装在所述机械臂末端，监听图像并将每一帧图像输入到所述目标检测模块中；

所述目标检测模块识别定位抓取目标，输出所有检测物品的边界框；

所述多目标跟踪深度学习模块根据得到的边界框计算边界框内的物品图像特征和运动特征，根据特征的相似度在后续摄像机图像中一直更新的候选框中框住目标物品，并为每个目标物品分配数字ID，获得每个目标物品在图像中的实时位置并生成一个抓取物品顺序列表；

在进行实时目标跟踪的同时利用预判物品运动算法预测当前抓取物品的抓取点。

更具体的，所述检测设备还包括激光传感模块；所述激光传感模块控制端与所述控制器电性连接；所述激光传感模块输出端与所述处理器电性连接；其中：

在所述处理器中，先基于所述机械臂底座中心为坐标原点构建坐标系，即在x、y轴平面运动的距离和二维RGB图像中运动的像素距离作数量映射；

利用所述逆运动模块中的逆运动算法解算机械臂末端基于x、y轴形成的平面移动实时追踪物品，直到使其标定抓取点与物品预测的最优点重合；

此时设置在所述机械臂末端的激光传感模块将以机械臂底座中心为坐标原点的坐标系z轴上的距离测出，即此时物品在以机械臂底座中心为坐标原点的坐标系上的三维坐标就能被确定；

最后由处理器通过根据逆运动算法结果传送给所述控制器，由控制器控制机器臂实现对目标物品的抓取。

在具体实施过程中，本发明提供了一种面向运动物品的视觉机械臂自动抓取方法及系统，充分利用深度学习的目标检测和目标跟踪来识别、定位、跟踪多个目标物品，根据目标物品抓取优先度排列形成一个抓取物品顺序列表，然后利用深度学习模型预测当前物品最优的抓取位置，配合激光测距模块解决二维图像对三维物品表征信息缺失问题，得到物品抓取最优位置在以机械臂底座中心为坐标原点的坐标系上的三维坐标，最后利用逆运动解使机械臂末端到达目标物品的最优抓取位置实现抓取。解决了机械臂视觉获取多物品实时位置信息，跟踪物品实现运动物品抓取的问题，同时实现本方案仅仅需要一个单目RGB摄像机和激光测距模块，降低了生产成本。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。