基于机器视觉的挖掘机器人控制系统研究

摘要

液压挖掘机是应用广泛、结构复杂的工程机械。随着挖掘机技术的发展，目前国内外许多研究机构都致力于提高挖掘机自动化、智能化水平的研究。为实现挖掘机的自主挖掘功能，挖掘机的机器人化是其发展的重要方向。为提高工作效率，降低劳动强度，适应复杂工作环境，实现自主挖掘将成为提高挖掘机智能化水平的研究热点。
　　课题在对挖掘机进行机器人化改造基础上，建立了工作装置和电液系统模型，对工作装置轨迹规划进行了仿真研究。结合视觉传感器获取环境信息，设计了一种适合挖掘机器人的自抗扰视觉伺服控制器，并通过仿真和试验验证了自抗扰视觉伺服方法的有效性。构建了基于行为控制的挖掘机器人控制体系结构，对给定的挖掘任务进行状态分解，实现自主挖掘。具体研究工作包括以下几个主要方面:
　　(1)针对PC02-1型小松液压挖掘机，设计了电液系统改造方案，对挖掘机进行了机器人化电液比例技术改造。在工作装置上安装了倾角传感器和压力变送器，在机架上安装了视觉传感器。在Matlab/Simulink环境下搭建了挖掘机器人的xPCtarget控制平台，给出了xPC target的配置方法和工作流程。采用宿主机—目标机的外部模式实现对挖掘机器人的实时控制，可方便地进行动态模型实验，实时获取最佳控制参数。
　　(2)挖掘机器人的工作装置类似于由液压缸驱动的机械臂，采用机器人学的运动学理论对工作装置进行正向/逆向运动学模型的建立，并将位姿空间、关节空间和油缸空间联系起来，实现在各个空间对挖掘机器人的控制。建立了挖掘机器人阀控液压缸系统模型，并采用RBF神经网络对电液系统参数进行辨识。对工作装置运动学逆解采用RBF神经网络优化策略，实现工作装置铲斗末端运动轨迹规划。为提高挖掘机器人工作装置挖掘作业时轨迹规划控制精度，建立了ANFIS逆映射模型，选取逆映射间的输入、输出曲面数据训练ANFIS结构，实现由给定的期望挖掘轨迹，获得相应的关节角，进而用于跟踪期望的运动轨迹，仿真表明跟踪精度能较好满足实际要求。
　　(3)针对室外道路图像易受光照影响的特点，提出了去相关拉伸变换的方法。为提高铲斗图像质量，采用直方图均匀化方法进行图像增强。为去除障碍物目标图像中的背景影响，引入了基于梯度的分水岭变换图像分割方法，对挖掘机器人运动路径上的障碍物及目标进行分割。为提高对铲斗目标的识别精度，提出了基于不变矩和改进BP网络的图像目标识别方法，提高了对铲斗目标识别的可靠性。
　　(4)摄像机参数标定是建立机器视觉测量系统的基础，是提高视觉测量精度的保证。建立了挖掘机器人摄像机视觉系统内、外参数成像模型，分析了摄像机非线性畸变参数，确定了适合挖掘机器人视觉系统的标定参数。通过采集自制的棋盘标定模板图像，基于OpenCV技术实现了对模板角点的提取，进而标定出摄像机模型的内部参数矩阵，摄像机非线性模型的径向畸变系数，及摄像机外部旋转矩阵和平移向量，并给出了标定参数误差。标定结果表明，误差达到亚像素级，可满足挖掘机器人视觉系统的标定及视觉测量精度要求。建立了挖掘机器人双目立体视觉系统模型并进行了标定。研究了挖掘机器人铲斗目标图像匹配方法，对双目立体视觉匹配进行了仿真研究。
　　(5)在立体视觉系统标定及图像匹配的基础上，研究了立体视觉深度信息测量方法、目标图像定位方法、运动目标跟踪方法。研究了基于颜色标记跟踪的挖掘机器人铲斗目标及姿态识别方法。研究了铲斗标记图像的特征提取及铲斗目标定位的实现方法。
　　(6)研究了图像雅可比矩阵及改进神经网络图像雅可比矩阵估计方法。为提高挖掘机器人的自主挖掘能力，设计了基于图像的自抗扰视觉控制器，对挖掘机器人的动臂、斗杆、铲斗组成的3节机械臂末端位置和姿态在x-z平面进行控制。针对自抗扰控制器需要整定的参数较多，参数间相互影响，整定困难的特点，引入了粒子群算法对控制器参数进行优化。由于原始粒子群算法存在后期易陷入局部最优的缺欠，采用小生境粒子群算法对自抗扰控制器参数进行整定优化。搭建了基于视觉的自抗扰控制系统，并进行了仿真研究。
　　(7)为实现挖掘机器人的自主挖掘，构建了适合挖掘机器人的行为控制体系结构。以挖掘行为作为基准，用状态流模型实现挖掘目标、挖掘任务、挖掘行为的逐层分解。采集目标图像、机械臂倾角及液压缸压力信号，作为状态流行为状态间触发转换的事件或条件。针对挖掘中遇到的沙土物料、表面块状物料、块状物料埋于沙中3种挖掘环境，综合视觉定位信息、压力及倾角信息，通过模糊聚类判别仲裁，触发挖掘动作状态转换，有区别的自主处理挖掘中遇到的不同情况，通过控制挖掘动作，实现自主挖掘目标。

目录

声明

摘要

第1章 绪论

1．1 选题背景及课题研究的意义

1．1．1 国内外挖掘机市场概况

1．1．2 国内挖掘机技术差距

1．1．3 课题研究的意义

1．2 基于视觉的智能挖掘机器人研究综述

1．2．1 挖掘机器人控制技术

1．2．2 智能挖掘机器人国内外研究现状

1．2．3 基于视觉的智能挖掘机器人

1．3 智能挖掘机器人视觉系统

1．4 本课题研究的主要内容

第2章 挖掘机器人样机研制、建模及轨迹规划

2．1 小松PC02-1挖掘机电液比例改造

2．1．1 小松挖掘机液压系统改造

2．1．2 倾角及压力传感器

2．1．3 挖掘机器人电气系统

2．2 挖掘机器人视觉系统

2．3 智能挖掘机器人仿真、控制环境

2．3．1 xPC实时仿真、控制平台

2．3．2 OpenCV开源图像处理技术

2．3．3 IMAQ Vision虚拟仪器图像库

2．4 挖掘机工作装置运动学模型

2．4．1 油缸伸缩长度与关节角的对应变换

2．4．2 机械臂关节空间到铲斗末端位姿空间变换

2．4．3 铲斗末端位姿空间到关节空间变换

2．5 挖掘机器人电液系统参数辨识

2．5．1 阀控液压缸系统模型

2．5．2 阀控液压缸系统参数辨识

2．6 基于RBF参数优化的工作装置运动轨迹规划

2．6．1 工作装置运动学逆解神经网络优化

2．6．2 挖掘机器人工作装置运动学仿真

2．7 基于ANFIS的挖掘机器人挖掘轨迹仿真

2．7．1 挖掘机器人挖掘作业模型分析

2．7．2 机械臂ANFIS模型

2．8 本章小结

第3章 挖掘机器人视觉系统图像处理与识别

3．1 道路环境及目标图像处理技术

3．1．1 室外道路图像傅里叶变换

3．1．2 铲斗图像直方图均匀化

3．1．3 道路图像去相关拉伸变换

3．1．4 二维中值滤波

3．2 视觉环境图像分割

3．2．1 边缘检测

3．2．2 分水岭阈值分割

3．3 Harris角点特征检测

3．4 图像不变矩特征

3．5 图像目标识别方法

3．5．1 不变矩目标识别方法

3．5．2 基于不变矩和BP网络的图像目标识别方法

3．6 本章小结

第4章 挖掘机器人视觉标定与双目立体视觉

4．1 挖掘机器人视觉系统标定

4．1．1 视觉系统标定模板

4．1．2 单目摄像机模型

4．1．3 基于平面模板的摄像机标定

4．2 双目立体视觉系统模型

4．3 挖掘机器人双目立体视觉标定

4．4 铲斗目标匹配

4．4．1 SIFT图像匹配方法

4．4．2 铲斗目标图像匹配试验

4．5 挖掘机器人双目立体视觉匹配

4．6 本章小结

第5章 挖掘机器人视觉测量、目标跟踪及定位

5．1 立体视觉深度信息测量

5．2 运动目标的视觉跟踪

5．2．1 Camshift运动目标跟踪算法

5．2．2 运动物体视觉跟踪OpenCV实现

5．3 基于颜色标记跟踪的铲斗目标及姿态识别

5．3．1 挖掘机器人铲斗基本动作

5．3．2 挖掘机器人铲斗标记颜色模型

5．3．3 挖掘机铲斗目标及姿态识别

5．4 图像雅可比矩阵及其估计

5．4．1 图像雅可比矩阵

5．4．2 图像雅可比矩阵的改进神经网络估计

5．5 挖掘机器人铲斗定位实验

5．6 本章小结

第6章 小生境粒子群优化的挖掘机器人自抗扰视觉控制

6．1 挖掘机器人视觉控制综述

6．1．1 基于位置的视觉控制系统

6．1．2 基于图像的视觉控制

6．2 粒子群优化算法

6．2．1 基本粒子群算法

6．2．2 小生境粒子群优化算法

6．3 自抗扰控制器设计

6．3．1 自抗扰控制器原理

6．3．2 自抗扰控制器结构设计

6．3．3 自抗扰控制器时变系统控制性能仿真

6．4 粒子群优化自抗扰控制器算法流程

6．5 基于视觉的自抗扰控制仿真

6．6 本章小结

第7章 基于视觉的挖掘机器人行为控制研究

7．1 挖掘机器人的行为控制体系结构

7．2 挖掘目标状态流模型参数确定

7．3 模糊聚类判别算法

7．4 挖掘目标状态流实现

7．5 本章小结

第8章 总结与展望

8．1 研究总结

8．2 前景与展望

参考文献

致谢

作者简介

攻读博士学位期间发表的学术论文

攻读博士学位期间参加的科研项目

攻读博士期间获得的荣誉与奖励