基于关键点预测网络的无序混叠工件抓取方法和系统

摘要

本发明公开了一种基于关键点预测网络的无序混叠工件抓取方法和系统，输入一张实时RGB图像，通过预设的关键点预测网络模型可以分割出每个工件的位置并预测其关键点位置，从而获得关键点在图像中的像素坐标，结合关键点在工件模型坐标系下的3D坐标以及相机内参，解算工件模型坐标系到相机坐标系之间的转换关系，再结合手眼标定获得相机坐标系到机器人坐标系之间的转换关系，进而求解得到机器人坐标系下工件的6DoF位置及位姿信息。该方法能够在关键点被遮挡的情况下通过投票预测出最可能代表关键点的像素位置，解决了工件混叠情况下关键点被遮挡的位姿计算难题，使机器人能够实现更加复杂场景下的工件拾取功能，有效提高拾取成功率。