物流场景中基于RGBD信息的物体分割

摘要

物体分割是物流场景中机器人分拣的基础性问题。传统机器人分拣作业中，分拣对象为具有已知CAD模型或纹理模型的刚性物体。但是物流分拣场景中物流快件具有纹理模型未知、形状未知且存在重叠堆放等特点，难以用传统的预定义CAD模型匹配算法或纹理匹配算法完成分割。
　　为此本文研究物流场景下基于RGBD信息的物体分割算法，按单视角物体分割和位姿估计、多视角融合分割和动态场景融合分割三方面展开。本文的主要研究成果如下:
　　1.提出了改进点云方向相似性特征和面元关系描述的深度图分割算法。针对物体在颜色、纹理相似的情况下基于颜色信息分割存在较大误差的问题，本文提取物体稳定几何信息完成分割。相对于传统基于点云法向量夹角区域增长算法，本文一方面在此基础上通过点云局部特征（点云和邻域点云夹角的均值）、全局特征（点云法向量和该点与视点连线夹角）和欧氏距离特征相似性完成物体面元分割;另一方面通过计算面元之间的凹凸关系和连接关系构建图模型，完成面元合并从而实现物体分割。实验结果表明该算法在OSD数据集上精度达到91.3％。
　　2.提出了多视角下建立全局分割模型进行体素模型更新的分割算法。本文使用RGBDSLAM框架进行多视角下的相机位姿估计，由于估计结果存在一定误差，所以真实世界中的同一点在不同视角下的像素位置存在奇异性。因此本文建立全局分割模型用于存储在不同视角下的像素点标签值，并通过多次观察完成标签值更新，从而完成体素模型下的多视角物体分割。实验结果表面在本文标注数据集上，多视角分割精度可达96.84％，相较于单视角分割精度91.31％有了5.53％提升。
　　3.提出了融合颜色、亮度、深度的背景建模和前景提取融合分割方法。传统的背景建模方法，如GMM和codebook等，使用RGB信息完成背景建模，易受光照、阴影等情况影响，本文在此基础上提出融合颜色失真、亮度失真和深度失真的背景建模算法。由于物流分拣场景中往往只会发生局部变化，全局分割会相对耗时，所以本文融合了前景区域的分割结果和背景静态区域的分割结果，从而快速完成场景融合分割。实验结果表明该算法在SMB数据集上的平均精度有94.79％，并且图像单帧分割速度从单视角下的1.27fps提升到了11.9fps。

目录

声明

致谢

摘要

第1章 绪论

1．1 背景和意义

1．2 国内外研究现状

1．2．1 RGBD场景分割算法

1．2．2 3D位姿估计算法

1．2．3 多视角融合分割算法

1．2．4 动态场景融合分割

1．3 研究内容和贡献

1．4 本文组织结构

2．1 背景与概述

2．2 场景初始化处理

2．2．1 数据预处理

2．2．2 法向量计算

2．2．3 面元分割

2．2．4 边缘不稳定点合并

2．3 面元合并

2．3．1 连接关系判断

2．3．2 凹凸性判断

2．3．3 连通域判断

2．4 物体位姿估计和抓取选择

2．4．1 三维姿态计算

2．4．2 外包立方体计算

2．4．3 抓取顺序选择

2．5 实验与分析

2．5．1 物体分割结果分析

2．5．2 基于位姿估计抓取分析

2．6 本章小结

第3章 多视角融合分割

3．1 背景与概述

3．2 多视角下的相机位姿估计

3．2．1 ORB特征提取和匹配

3．2．2 3D位姿估计

3．2．3 位姿估计优化

3．3 多视角下的物体分割

3．3．1 基于超体像素的物体分割

3．3．2 全局分割模型建立

3．3．3 全局分割模型更新

3．4 实验与分析

3．4．1 位姿估计结果

3．4．2 多视角分割数据集自动标注

3．4．3 多视角融合分割定量分析

3．5 本章小结

第4章 动态场景融合分割

4．1 背景与概述

4．2 基于背景建模方法的前景提取

4．2．1 基于RGBD信息的背景建模

4．2．2 前景区域优化

4．2．3 触发点检测

4．3 融合分割

4．3．1 动作识别

4．3．2 融合分割

4．4 实验分析

4．4．1 前景提取和背景检测结果

4．4．2 融合分割分析

4．5 本章小结

5．1 总结

5．2 展望

参考文献

攻读硕士学位期间的主要研究成果