基于RGB--D的移动搬运机器人的物体位置检测与姿态估计

摘要

对于移动机器人的物体检测与定位问题，本文基于RGB-D摄像头数据，改进了现有的目标检测算法，提升了算法的鲁棒性，并在移动机器人上进行了算法测试和机械臂抓取实验，验证了算法的性能。 移动机器人在工业、国防、灾险搜查和救援等领域中往往会发挥很重要的作用。本文基于RGB-D数据设计的目标检测和定位算法主要包括两个部分:改进的基于主梯度方向的模板检测算法和基于三维点云的迭代最近点(IterativeClosest Point，ICP)定位算法。 物体检测算法基于深度图像的分割图像，通过提取主梯度特征进行模板匹配，并通过局部特征区域算法，提高了算法对遮挡情况的鲁棒性。对于无纹理物体以及少量样本的场景中，模板匹配算法仍然具备较好的性能。匹配得到的特征匹配信息和深度数据可以通过ICP算法实时得到物体的位置信息。最后，移动机器人可以通过RGB-D数据得到的物体的位置信息，对指定物体进行抓取搬运操作。 本文搭建了载有奥比中光的ORBBEC Astra RGB-D摄像头和微软的RealSense SR300 RGB-D摄像头的Turtlebot2移动机器人平台。其中ORBBECAstra系列的摄像头用于移动机器人的视觉导航，RealSense系列的摄像头用于物体的检测与定位。机械臂选用PhantomX Pincher Robot Arm，移动机器人能够通过串口通讯实现机械臂的轨迹规划。 通过实验验证了本文提出的改进的物体检测算法的性能。整体移动机器人系统能够实现陌生场景下指定物体的识别和抓取操作，具有重要的应用价值。

目录

声明

致谢

摘要

1绪论

1．1研究背景及意义

1．2移动机器人的搬运系统技术综述

1．2．1移动机器人视觉检测系统综述

1．2．2移动机器人抓取系统综述

1．2．3移动机器人导航系统综述

1．3本文的主要内容及章节安排

1．4本章小结

2基于RGB-D数据的三维物体检测

2．1．1 RGB-D相机模型介绍

2．1．2 RGB-D深度获取原理

2．1．3 RGB-D数据的预处理

2．2主梯度方向模板检测

2．2．1主梯度方向模板检测方法简介

2．2．2基于RGB-D数据的主梯度方向模板检测算法

2．2．3基于三维模型的特征提取与训练

2．3改进的三维物体检测方法

2．3．1基于局部特征区域的算法改进

2．3．2基于改进算法的物体检测

2．4本章小结

3基于三维数据的机械臂抓取

3．1．1三维点云配准基本原理

3．1．2基于RGB-D数据的图像分割

3．1．3基于ICP算法的点云精确匹配

3．2基于三维数据的机械臂抓取

3．2．1抓取姿态生成策略

3．2．2机械臂运动规划算法

3．3本章小结

4系统软硬件介绍

4．1 ROS下的软件架构实现

4．1．1 ROS系统应用

4．1．2软件流程

4．2 TurtleBot介绍

4．2．1 TurtleBot硬件介绍

4．2．2基于TurtleBot的系统架构

4．3 RGB-D摄像头介绍

4．3．1深度相机型号简介

4．3．2相机参数校正

4．4 PhantomX Pincher机械臂

4．4．1机械臂硬件介绍

4．4．2机械臂的手眼标定

4．5本章小结

5系统实验与仿真

5．1．2机械臂抓取轨迹规划

5．2实验结果与分析

5．2．1实验平台

5．2．2物体检测实验

5．2．3移动机器人导航实验

5．2．4物体姿态获取与搬运实验

5．3本章小结

6．1总结

6．2展望

参考文献

作者简历及在学期间所取得的科研成果