基于机械臂的化学物品定位与分类

摘要

针对化学实验场景下深度相机难以探测试管等透明物体距离,继而引起机械臂难以获取化学试管在空间中的三维坐标的问题,提出通过改进的深度学习算法YOLOv3 Tiny检测试管上的贴纸标签以获取透明化学试管的三维空间坐标;针对不同化学试管无法分类的问题,提出通过深度学习算法CTPN+BLSTM+CTC Loss识别标签上的文字信息对试管进行分类.本文采用深度相机、单目相机与搭载ROS系统的六轴机械臂为实验平台,在TensorFlow上训练化学标签检测模型与文字检测识别模型.通过在机械臂搭载的树莓派上的ROS系统进行Python编程对贴有不同的化学标签的化学试管进行抓取实验,结果显示该方法对贴有标签的透明试管具有较高的识别率及定位准确率,可以实现机械臂抓取装有不同物质的化学试管.