基于视觉信息与方位角的移动机械臂开门控制系统研究

摘要

机器人自主开门控制是自动化领域中一项具有挑战性的研究课题，机器人运动中对目标识别与定位、机械臂与移动平台协调控制是自主开门控制研究中的难点。通过对自主开门控制的研究使得机器人拥有更广阔的工作空间，也极大地提升了机器人为人类服务的能力，具有重要的理论价值和实践意义。本文以移动机械臂平台为对象，将机械臂对门把手的操作和移动平台的运动控制相结合，以视觉信息和方位角作为移动机械臂的信息获取方式，对开门控制系统的实现进行了研究，设计了移动机械臂的开门控制策略，完成了移动机械臂在室内任意起始位置处的开门任务。主要研究内容和成果如下: 1)采用了以颜色空间定位门把手的研究方法。由于视觉信息观测范围较广和容易采集的特性，本文采用视觉的方法对门把手进行定位。通过对图像处理中的颜色空间理论进行分析，选取HSI颜色空间进行色彩描述。采用颜色空间转换的方法将Kinect获取的门把手图像由RGB颜色空间转换到HSI颜色空间中，并在HSI颜色空间中对三个分量H，S，I进行阈值分割，将门把手从捕获图像中分离出来。基于三个分量H，S，I的阈值范围，在MT-A运动中对门把手进行实时捕获和定位。通过实验验证了采用HSI颜色空间模型的有效性。 2)提出了将方位角控制、特征值法与深度数据相结合的门开度判断方法。首先，采用数字罗盘LP3300对MT-A的方位角度进行控制，保证MT-A的运动坐标系xm轴与门所在平面相垂直的前提条件;然后，通过选取门把手右上方的深度图像三维坐标信息（xk，yk，zk），采用特征值法对深度数据进行平面拟合，由拟合平面方程系数a，b，c，d可以得到门平面的法向量;最后，结合Kinect真实坐标系ykozk平面的法向量，采用夹角计算公式对其进行解算，得到了两个法向量的夹角，即为门的开度。实验中通过采集门在开度分别为0°、30°、45°、60°情况下的深度点云数据进行分析，所得结果偏差在±5°以内，通过实验验证了所提方法的有效性。 3)设计并实现了基于视觉引导的MT-A定点开门的控制策略。结合移动机械臂平台MT-A运动本体和机械臂的结构特性，选取了由机械臂末端执行器对门把手执行下压动作，进而完成开门实验的操作方式。实验初始条件为MT-A运动坐标系的xm轴与门所在平面相垂直，采用体感传感器Kinect对门把手进行实时定位，并对其在Kinect真实坐标系下进行三维坐标(xk，yk，zk)的测量，将该坐标值通过坐标系转换到MT-A运动坐标系中，得到了MT-A运动坐标系中门把手与MT-A的距离信息。基于该距离信息引导MT-A到达门前最佳位置，通过正运动学计算五自由度机械臂各关节的转动角度，从而操纵机械臂对门把手执行下压动作，完成开门实验。通过实验验证了该控制策略的有效性。 4)设计并实现了MT-A在任意起始位置条件下的开门控制策略。确定任意位置开门实验的研究重点在于对MT-A的导航控制，基于开门实验环境下的特殊要求，选取了无地图的导航方式，通过数字罗盘LP3300控制MT-A运动坐标系的xm轴与门所在平面相垂直，将Kinect真实坐标系下解算的三维坐标（xk，yk，zk）的xk坐标值映射到MT-A的真实运动环境中，获取了MT-A与门把手之间的横向偏移距离。基于MT-A的运动特性——两轮驱动，因此选取以操作目标——门把手为引导，结合视觉信息和方位角度控制的导航方式，采用了将三维坐标测量、方位角度控制、MT-A运动中的位置闭环相结合的方法，设计了任意起始位置的开门实验控制策略，通过实验验证了该方法的有效性。

目录

声明

摘要

第1章 绪论

1．1 移动机械臂概述

1．1．1 国外移动机械臂研究

1．1．2 国内移动机械臂研究

1．2 机械臂开门控制系统概述

1．3 机械臂开门控制系统的研究现状

1．4 拟解决的关键问题

1．5 本文主要研究内容

第2章 移动机械臂平台MT-A与颜色空间理论

2．1 移动机械臂平台MT-A硬件系统

2．2 移动平台

2．2．1 移动平台的硬件结构

2．2．2 移动平台的运动控制系统

2．3 五自由度机械臂

2．4 体感传感器Kinect

2．4．1 体感传感器Kinect硬件结构

2．4．2 体感传感器Kinect开发工具

2．4．3 体感传感器Kinect的图像数据格式

2．5 数字罗盘LP3300

2．6 颜色空间理论

2．6．1 颜色空间概述

2．6．2 颜色空间选取

2．7 本章小结

第3章 门把手定位与MT-A定向运动控制

3．1 门把手定位中的图像处理

3．1．1 门把手定位中的图像处理流程

3．1．2 门把手原始图像获取

3．1．3 图像去噪处理

3．1．4 彩色平衡

3．1．5 颜色空间转换

3．1．6 门把手图像分割

3．2 门把手定位实验

3．2．1 门把手定位实验环境

3．2．2 门把手定位实验流程

3．2．3 实验结果与分析

3．3 基于数字罗盘的移动平台定向运动控制研究

3．3．1 基于数字罗盘的移动平台定向运动实验环境

3．3．2 基于数字罗盘的移动平台定向运动控制实验流程

3．3．3 实验结果与分析

3．4 本章小结

第4章 基于深度图像信息的门开度判断研究

4．1 门开度概述

4．2 基于深度图像信息的门开度判断流程

4．3 深度图像获取

4．3．1 深度图像信息获取技术

4．3．2 体感传感器Kinect深度信息的获取原理

4．4 深度信息的变换

4．4．1 深度信息到空间三维坐标的转化

4．4．2 深度图像到RGB图像的配准

4．5 深度图像位置选取

4．5．1 深度图像位置选取原则

4．5．2 深度图像信息选取

4．6 深度图像预处理

4．6．1 泊松方程噪声滤除

4．6．2 中值滤波

4．7 基于深度图像信息的平面拟合

4．7．1 最小二乘法

4．7．2 特征值法

4．7．3 拟合平面对比实验

4．8 基于深度图像信息的门开度判断实验

4．8．1 门开度计算方法

4．8．2 实验结果与分析

4．9 本章小结

第5章 移动机械臂开门控制系统基础研究

5．1 开门实验主要组成部分

5．2 移动机械臂平台开门实验环境

5．3 MT-A运动坐标系坐标值解算

5．3．1 坐标值解算目的

5．3．2 坐标值解算

5．4 机械臂各关节转动量解算

5．4．1 机械臂运动学

5．4．2 机械臂正运动学分析

5．4．3 机械臂逆运动学分析

5．4．4 开门实验中的机械臂控制

5．5 约束条件下的MT-A运动开门实验

5．5．1 实验约束条件

5．5．2 开门实验策略流程图

5．5．3 约束条件下的开门实验过程

5．5．4 实验结果分析

5．6 本章小结

第6章 基于视觉信息与方位角的移动机械臂开门控制系统

6．1 方位角度对于移动机械臂开门控制系统的意义

6．2 引入方位角度的MT-A开门实验流程

6．3 引入方位角度的MT-A开门实验

6．3．1 开门实验软件界面

6．3．2 引入方位角度的MT-A开门实验

6．3．3 实验结果与分析

6．4 任意起始位置的MT-A开门研究

6．4．1 任意起始位置的研究意义

6．4．2 任意起始位置开门实验的研究思路

6．4．3 MT-A在任意起始位置下的开门实验路径规划

6．4．4 MT-A在任意起始位置下的开门实验研究方法

6．4．5 实验过程与结果

6．4．6 实验结果分析

6．5 本章小结

第7章 总结与展望

7．1 全文工作总结

7．2 论文创新点

7．3 展望

致谢

参考文献

附录1 攻读博士学位期间取得的科研成果

附录2 攻读博士学位期间参加的科研项目

附录3 拟合平面深度点云数据集