基于RGB-D数据的场景认知与人机协作

摘要

近年来，随着中国制造业的飞速发展，工业机械臂的应用也越来越广泛。因此，如何通过提升机械臂的智能化水平来实现人机协作是该领域的研究热点。解决人机共享环境的有效感知和场景理解问题是实现具有与人协同工作能力的新一代工业机械臂系统的核心。为此，本文研究了基于场景的实时认知实现人和机械臂协作装配复杂工件的问题，并以孔明锁为实例进行了实验验证。 本文提出了基于RGB图像的目标物体检测方法和基于深度图像的目标物体检测方法，这两种检测方法都能够实现对场景中目标物体的检测。通过对比实验，发现基于深度图像的目标检测方法获得物体位置信息具有更高精度，且不受观察角度影响。因此，在对场景进行目标检测时，使用基于深度图像的方法对目标物体与背景进行分离，进而得到目标物体的RGB-D图像。通过本文所提的改进ICP点云匹配算法，求得目标物体在感知系统坐标系下的准确位姿。 为了确定目标物体在机械臂坐标系下的位姿，对感知系统与机械臂进行联合标定，获得两个三维坐标系之间的转换关系，通过位姿变换将目标物体投影到机械臂坐标系下，作为机械臂运动的目标点位。依据本文提出的机械臂运动控制方法对机械臂进行运动路径规划，得到机械臂的运动轨迹。按照该既定的轨迹实现机械臂对目标物体的抓取、放置以及装配。通过人手与机械臂协作装配孔明锁，对本文所提方法的有效性和实时性进行测试。实验过程中，目标物体位姿估计的准确性和机械臂运动的实时性都能够满足要求，并最终按照孔明锁的真实装拼步骤完成装配任务。

目录

声明

1 绪论

1.1 研究背景与意义

1.2 研究现状与发展趋势

(1) 基于传统视觉处理算法的目标物体检测

(2) 基于神经网络的目标物体检测

1.3 本文的主要工作

2 场景认知与人机协作实验系统搭建

2.1 感知系统

2.2 UR机械臂

2.2.1 UR机械臂本体

2.2.2 UR机械臂示教器与控制箱

2.2.3 机械臂夹爪

2.3 实验平台构建

2.4 实验平台软件系统

2.4.1 ROS操作系统

2.4.2 OpenCV计算机视觉库

2.4.3 PCL点云处理库

3 基于RGB-D数据的场景认知

3.1 场景中目标物体检测

3.1.1 基于RGB图像的目标物体检测

3.1.2 基于深度图像的目标物体检测

3.1.3 两种方法的比较

3.2 基于场景的彩色图像与深度图像融合

3.2.1 彩色摄像头与深度传感器坐标联合标定

3.2.2 彩色图像和深度图像融合

3.3 场景中物体的位姿估计

3.3.1 感知系统坐标系下物体的坐标计算

3.3.2 基于ICP点云匹配的物体位姿估计

3.4 实验结果及分析

3.4.1 目标物体检测结果及分析

3.4.2 物体位姿估计结果及分析

4 基于实时场景认知的人机协作

4.1 场景中目标物体位姿的实时获取

4.1.1 感知系统与UR机械臂的联合标定

4.1.2 物体在机械臂坐标系下的位姿获取

4.2 机械臂运动控制

4.2.1 UR机械臂安全工作区间的限定

4.2.2 基于关节空间规划的机械臂运动控制

4.2.3 基于笛卡尔空间规划的机械臂运动控制

4.2.4 两种运动控制相结合

4.3 实验结果及分析

5 总结与展望

5.1 本文总结

5.2 本文展望

参 考 文 献

攻读硕士学位期间发表学术论文情况

课题资助情况

致谢

大连理工大学学位论文版权使用授权书