苹果采摘机器人视觉测量与避障控制研究

摘要

苹果采摘机器人是一种具有感知识别能力，能够自动完成苹果果实采摘等作业任务的智能机械收获系统，其作用在于可以降低采摘劳动强度和生产费用、提高作业效率和产品质量、保证果实适时采摘，因此对其相关技术研究具有重大现实意义。我国对采摘机器人的研究起步较晚，由于采摘环境的非结构性和采摘对象的复杂性，其采摘自动化程度仍然很低;且随着人口老龄化和农业劳动力的减少，农业生产成本相应提高，市场竞争力减弱，实现果实的自动化采摘成为一个急需解决的问题。针对这一问题，本文在国家“863”基金项目“果树采摘机器人关键技术研究（2006AA10Z254）”和国家教育部博士点基金项目“果树采摘机械手运动性能优化与灵巧避障控制策略研究(20093227120013)”的资助下，对苹果采摘机器人动静态果实及采摘过程中枝干障碍的视觉测量和避障控制问题进行了研究，主要内容如下:
　　 1、根据开放性设计原则，以视觉系统、感知系统、交流伺服系统和控制系统四个方面构建了苹果采摘机器人的系统结构，其中视觉和感知系统用来感知识别采摘目标及采摘环境;交流伺服系统和控制系统用来负责驱动机械机构安全顺利地采摘果实。这些都为其后续视觉测量和避障控制提供硬件支持和研究基础。
　　 2、介绍了所采用的动静态图像的采集方法;对所采集的苹果图像进行特征分析，以受光线和生长状态的不同将其分类;对图像中的果实、绿叶、枝干和天空在RGB、XYZ、Lab、HIS、I1I2I3颜色空间下基于不同颜色特征进行了统计，从中可以看出图像中果实、绿叶、枝干和天空的颜色差异，从而为后续基于颜色特征的图像分割提供依据和奠定基础。
　　 3、研究自然环境下静态苹果果实的识别方法。基于颜色特征在不同的颜色空间下比较不同的苹果图像分割方法，通过综合比较确定基于I1I2I3颜色空间下以I2为颜色特征的OTSU动态阈值分割方法;对分割后的图像进行图像完善及噪声去除;建立苹果果实轮廓模型，通过边缘检测和改进的随机Hough变换方法对其进行识别，其中以边缘细化和边缘连接解决边缘检测中边缘不够精细和边缘断裂的情形，而对于重叠和被枝叶严重遮挡的苹果果实，在识别前分别对其进行分离和遮挡修复;最后进行了苹果果实的识别试验。试验结果表明:对于分离无遮挡和重叠苹果果实的识别，所述方法识别率为100％，而对于被枝叶遮挡果实的识别率则高于85％;分离无遮挡苹果果实图像的平均识别时间为0.44s，重叠苹果果实图像的平均识别时间为0.72s，被枝叶严重遮挡苹果果实图像的平均识别时间为0.77s，能够符合采摘机器人实时采摘的需求。此外，本章还研究了适用于苹果采摘机器人目标果实的快速跟踪识别方法。通过基于距离图像中心最近原则来确定要采摘的目标果实;而后利用所采集图像之间的信息关联性，在不断缩小图像处理区域的同时，采用经过加速的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实;最后进行了不同灰度、亮度和对比度匹配识别以及新旧方法识别时间对比试验，验证了新方法的有效性。
　　 4、针对采摘机器人在快速采摘果实前，需要判别果实的状态以采用相应不同的采摘方法，进行了果实状态判别方法的研究。首先图像分割连续采集的果实图像并从首帧分割图像中以距离图像中心最近原则确定采摘目标果实;然后引入帧间差法对分割后的两帧果实图像进行差分，通过对差分图像进行连通数判别，对振荡果实图像进行质心坐标匹配判别，最终确定目标果实的状态;最后试验表明对采摘环境下所遇到的多数情况，所提出的算法是可行有效的，判别时间少于0.2s。动态果实的识别采用经过改进具有抗旋转性能的去均值归一化积相关模板匹配识别算法，通过试验验证，改进算法在[-55°60°]较大范围内旋转无关，可以准确识别振荡果实，此外加上模板适时更新，能够满足需求。在上述确定采摘果实为振荡果实情况下，为解决由于果实振荡影响采摘机器人采摘效率的问题，提出了一种采摘机器人在果实振荡状况下的快速采摘方法。首先对连续采集图像中振荡果实的二维质心坐标FFT建模，求取果实的振荡周期，在测得振荡果实的深度距离后，计算出采摘机器人直动关节的行程速度，随即开始采摘，抓取时果实正处于平衡位置;最后通过试验可知，采摘成功率达到84％，对于果实静态状况下采摘速度较快的采摘机器人来说，采摘振荡果实，所研究方法明显优于以往采摘方法，能够显著提高采摘机器人果实采摘的整体速度。
　　 5、为了给苹果采摘机器人自动导航和采摘避障提供比较完善的环境信息，对其障碍感知识别进行了研究。首先分析了障碍感知识别的工作流程;然后着重研究了苹果采摘机器人的障碍识别——在讨论比较中确定枝干障碍物最为有效的剥离分割方法，经过形态学闭运算和孔洞填充后，通过骨架化获得枝干的骨架，并采用基于不同模板的小分支去除方法进行了修剪，最终提取出枝干障碍物的主要特征——中轴线;最后分别通过双目和单目视觉实现对树干和树枝障碍的定位。试验结果表明:枝干障碍检出率为95％，识别平均时间不足0.4s;双目测距在500～1500mm范围其误差在20mm以内，单目测距在250～400mm范围其误差在15mm以内。
　　 6、在以上果实及障碍物位置信息确定的基础上，将苹果采摘机器人避障控制明确分为目标搜索避障和目标采摘避障两个部分。设计了目标搜索避障路径，结合苹果采摘机器人小臂上的碰撞传感器来有效感知外部障碍信息，安全搜寻目标果实，避免损害设备。目标采摘避障首先建立了苹果采摘机器人的运动学模型，并对其进行了仿真研究;将采摘环境的可能障碍物等效分类为点、圆和直线形障碍，并对其进行相应的C空间边界特征建模及栅格化，使对机器人的控制直接作用于关节;最后提出了基于树形结构的平滑方向优先路径规划算法，实现了苹果采摘机器人在C空间的局部避障路径规划。试验表明，该方法能够顺利避开障碍物到达目标位置。

目录

声明

学位论文版权使用授权书

摘要

第1章 绪论

1．1 课题研究的背景及意义

1．2 采摘机器人的特点及发展现状

1．2．1 采摘机器人的特点

1．2．2 国外研究成果及现状

1．2．3 国内研究成果及现状

1．3 课题主要研究内容

第2章 苹果采摘机器人系统设计

2．1 视觉系统

2．1．1 视觉传感器

2．1．2 图像坐标变换

2．2 感知系统

2．2．1 位置感知

2．2．2 压力感知

2．2．3 碰撞感知

2．3 交流伺服系统

2．3．1 位置控制模式

2．3．2 速度控制模式

2．3．3 主从通信方式

2．4 控制系统

2．4．1 主控计算机

2．4．2 主控软件

2．5 本章小结

第3章 苹果图像采集与颜色特征分析

3．1 图像采集

3．1．1 静态图像采集

3．1．2 动态图像采集

3．2 颜色空间

3．2．1 RGB颜色空间

3．2．2 XYZ颜色空间

3．2．3 Lab颜色空间

3．2．4 HIS颜色空间

3．2．5 I1I2I3颜色空间

3．3 果实颜色特征

3．4 本章小结

第4章 苹果采摘机器人静态果实识别研究

4．1 图像分割

4．1．1 固定阈值分割

4．1．2 动态阈值分割

4．1．3 聚类分割

4．2 图像完善及噪声去除

4．3 果实识别

4．3．1 果实轮廓模型

4．3．2 果实边缘检测

4．3．3 果实边缘细化

4．3．4 果实边缘连接

4．3．5 重叠果实分离

4．3．6 遮挡果实修复

4．3．7 果实识别算法

4．3．8 试验

4．4 快速跟踪识别方法

4．4．1 目标果实确定

4．4．2 识别区域提取

4．4．3 模板匹配识别

4．4．4 试验

4．5 本章小结

第5章 苹果采摘机器人动态果实识别及采摘方法研究

5．1 果实状态判别

5．1．1 运动目标检测

5．1．2 状态判别

5．1．3 试验

5．2 动态果实识别

5．2．1 动态区域标识

5．2．1 抗旋转匹配识别

5．2．3 试验

5．3 动态果实采摘

5．3．1 振荡周期计算

5．3．2 单目视觉测距

5．3．3 果实采摘方法

5．3．4 试验

5．4 本章小结

第6章 苹果采摘机器人障碍感知识别研究

6．1 图像剥离分割

6．2 图像修补及特征提取

6．2．1 图像修补

6．2．2 中轴线提取

6．3 障碍定位

6．3．1 基于双目视觉的树干定位

6．3．2 基于单目视觉的树枝定位

6．4 试验

6．5 本章小结

第7章 苹果采摘机器人避障控制研究

7．1 目标搜索避障

7．2 目标采摘避障

7．2．1 机械手运动学模型的建立

7．2．2 机械手Matlab运动学仿真

7．2．3 基于C空间的障碍建模

7．2．4 C空间障碍信息描述

7．2．5 避障路径搜索

7．2．6 避障路径细化

7．2．7 避障路径平滑

7．2．8 试验

7．3 本章小结

第8章 总结与展望

8．1 总结

8．2 论文主要创新点

8．3 研究展望

致谢

参考文献

攻读博士学位期间的主要成果