基于双目视觉的自动卸货系统

摘要

随着互联网的不断普及与发展，网络购物的交易规模在不断的扩大，物流已经成为电子商务中不可分割的一部分，人们也对物流提出了越来越高的要求。搬运装卸作为物流中的重要环节，大多数企业仍处于人工搬运、分拣的阶段，导致该环节成为整个物流中较为复杂、低效率的工作，这无疑会消耗大量的人力。 近年来，机器人技术逐渐成熟。将智能机器人应用于物流行业，针对物流中的搬运装卸环节，设计使用智能卸货系统，可以减少人力，实现更准确地控制搬运过程，并且可以持续不断地进行工作。其中结合视觉传感器与机械臂的智能搬运装卸系统成为国内外的主要研究方向。 本文旨在设计一种基于双目视觉的自动卸货系统，来实现搬运卸货环节的自动化。本设计根据系统的总体设计要求，对系统的功能进行了划分，将其分为硬件与软件两个部分。本设计使用Xilinx ZYBOTM开发板、机械臂、双目摄像头及触碰传感器组成该系统基本硬件结构，同时提出了两种软件实现方式：一是基于局部特征的多目标识别算法，二是基于全卷积网络的多目标识别算法。 在基于局部特征的多目标识别算法中，先使用了SIFT算法提取了图像的局部特征，然后将局部特征与深度信息、位置信息结合，使用Mean Shift进行聚类，在分割的同时实现对目标的识别。实验结果表明，该算法在拥有复杂颜色信息的场景中有较好的分割、识别效果。 在基于全卷积网络的多目标识别算法中，先使用数据集对VGG16预训练模型进行了微调，得到较好的分割、识别效果。针对该算法运行时间长的问题，使用FPGA实现了该算法的硬件加速。实验结果表明，相比于软件实现，该硬件实现可以大幅度提高全卷积网络算法的运算速度。

目录

第一个书签之前

摘 要

ABSTRACT

目 录

第1章 绪论

1.1 课题研究背景和意义

1.2 国内外研究现状

1.3 论文结构及内容安排

第2章 基于双目视觉的自动卸货系统总体设计

2.1 系统总体设计

2.1.1 系统设计要求

2.1.2 系统工作流程及开发流程

2.2 硬件设计

2.2.1 双目摄像头模块

2.2.2 机械臂模块

2.2.3 Xilinx ZYBOTM开发板

2.3 软件设计

2.4 本章小结

第3章 双目成像理论及摄像头标定

3.1 摄像头的成像模型

3.2 双目成像系统

3.3摄像头标定

3.3.1 单目摄像头标定

3.3.2 立体标定

3.4 本章小结

第4章 基于局部特征的多目标识别算法

4.1 算法原理及步骤介绍

4.1.1 预处理

4.1.2 深度信息提取

4.1.3 基于深度信息的目标区域细化

4.1.4 局部特征提取及多模板匹配

4.1.5 Mean Shift聚类分割

4.1.6 算法整体步骤

4.2 实验及结果分析

4.2.1 局部特征提取及匹配结果分析

4.2.2 分割结果分析

4.2.3 时间复杂度及实时性分析

4.3 本章小结

第5章 基于全卷积网络的多目标识别算法及其硬件加速

5.1 全卷积网络

5.1.1 卷积层

5.1.2 池化层

5.1.3 反卷积层

5.1.4 跳跃结构

5.2 基于卷积神经网络框架的FCN算法实现

5.2.1 训练集制作及训练

5.2.2 训练结果分析

5.3 FCN算法的硬件加速

5.3.1 FCN算法硬件架构

5.3.2 AXI4转APB模块

5.3.3 直接内存存取模块

5.3.4 反卷积模块

5.3.5 性能评估

5.4 本章小结

第6章 系统整体调试与性能分析

6.1 系统整体调试

6.2 性能分析

6.3 本章小结

第7章 总结与展望

7.1 总结

7.2 展望

参考文献

发表论文和参加科研情况说明

致 谢