基于深度学习目标检测的机械臂分拣系统研发

摘要

分拣作业是制造业中非常常见的一种作业场景，由于其重复性强、作业场景单一的任务特性，分拣作业成为工业机器人的重要应用场景之一。传统的自动分拣系统使用传统图像方法，针对特定的检测工件，人工构造特征，使用模板匹配工件位置，再进行分类。该方法准确率不高，鲁棒性差，可移植性不强。同时，国内制造业从业者中缺乏图像方面的人才，提高了基于视觉的自动分拣系统在制造业中的应用门槛。因此，针对基于视觉的自动分拣系统的算法效果及其应用门槛问题，本文设计并实现了基于深度学习的自动分拣系统及用于自动分拣系统目标检测算法训练的云平台。 首先，基于深度学习计算量大的情况及自动分拣系统的具体场景，设计出基于深度学习的自动分拣系统的整体架构，将自动分拣系统的表现层面（抓取工件与获取图像）、控制层面（图像处理和机械臂控制）以及后台层面（目标检测算法训练与选择）有机地分离开来，使得自动分拣系统的各模块呈现出松耦合的关系，方便后续深度学习云平台的开发;同时，结合自动分拣系统使用基于深度学习的目标检测算法的情况，针对性地进行了硬件选型、模型选型和通信方式选择。针对摄像头和机械臂，进行了手眼标定和机械臂控制指令方案的设计与实现。 其次，设计自动分拣系统图像处理模块，针对深度学习算法耗时较久的问题，将传统图像处理算法和深度学习目标检测算法进行有机结合，以降低自动分拣系统图像处理模块的使用延时。同时，由于深度学习模型的训练需要大量数据集，结合制造业工厂中数据量少，且数据标注费时费力的具体情况，使用迁移学习技术提高了少量标注数据集下训练模型的表现。然后结合自动分拣系统的实际硬件配置情况，选择YOLOv3-tiny作为自动分拣系统的目标检测算法模型配置。 其三，设计并实现了用于训练深度学习目标检测算法的云平台。结合云平台实际使用场景和用户需求，设计出Web-服务器的开发方案。完成了Web前端页面和服务器驻留程序的开发。用户通过简单的Web页面的操作，即可获取定制化的深度学习目标检测模型。 最后，针对自动分拣系统的图像处理模块，设计实验验证了目标检测模型配置选择的优越性，收集了自动分拣系统对于工件的抓取成功率和分拣成功率，验证了自动分拣系统的实用性与稳定性。对深度学习云平台的Web前端页面和服务器后台进行了性能测试，实验结果证明了深度学习云平台具备良好的稳定性。 本文设计的基于深度学习的自动分拣系统，在改进传统自动分拣系统目标检测算法不足的同时，也针对性地进行了硬件选型、模型训练等方面的优化，同时提出的深度学习云平台大大降低了本系统在制造业中的应用门槛。

目录

声明

致谢

摘要

1．1论文研究背景及意义

1．1．1研究背景

1．1．2研究意义

1．2国内外研究现状

1．2．1 目标检测算法研究现状

1．2．2基于视觉的自动分拣系统及云平台研究现状

1．3论文研究内容与架构

1．3．1论文研究内容

1．3．2论文架构

1．4本章小结

第2章基于深度学习目标检测的机械臂自动分拣系统设计

2．1系统整体架构

2．2系统硬件选型

2．2．1 目标检测模型训练用服务器

2．2．2 目标检测运行硬件平合

2．2．3摄像头

2．2．4机械臂选型

2．2．5系统硬件架构

2．3系统模块间通信机制

2．3．1 USB通信

2．3．2 ROS通信

2．3．3串口通信

2．4目标检测算法选型

2．5手眼标定及机械臂控制模块设计与实现

2．6本章小结

第3章基于深度学习的自动分拣系统图像处理模块设计与实现

3．1图像算法理论

3．1．1感知哈希算法

3．1．2 YOLO

3．1．3模型训练算法选择

3．2图像采集和数据获取

3．3数据标注

3．4目标检测模型训练与评估

3．4．1模型评估方法

3．4．2迁移学习

3．4．3模型训练与选择

3．5目标检测模型部署

3．6本章小结

第4章基于深度学习目标检测的云平合设计与实现

4．1深度学习云平台方案设计

4．1．1云平台整体架构

4．1．2基于Http协议的通信方法分析

4．1．3云平台性能需求分析

4．2基于Flask的Web服务端设计与实现

4．2．2云平台数据库设计

4．2．3基于Linux的Shell脚本实现云平台模型训练

4．3基于Web前端的客户端系统设计

4．3．1客户端网页需求分析

4．3．2客户端页面设计与实现

4．4本章小结

第5章实验研究

5．1机械臂分拣系统性能实验

5．1．1 自动分拣系统图像处理模块算法性能试验

5．1．2 自动分拣系统分拣性能实验

5．2基于深度学习的目标检测模型云平台性能测试

5．2．2服务器端性能测试实验

5．3本章小结

第6章总结与展望

6．1总结

6．2展望

参考文献