视觉感知的葡萄机器人采摘行为及虚拟试验

摘要

随着我国农业现代化进程的不断推进，水果生产正向着规范化、集群化和产业化发展。为了提高采摘效率，保证水果品质和减轻劳动强度，迫切需要研发采摘机器人。在采摘机器人研发过程中，采摘目标的视觉检测、采摘点定位、防碰包围体计算及采摘行为规划等环节对采摘机器人实用化进程起着重要影响，而传统的视觉定位及采摘行为试验通常在果园进行，易受采摘对象的收获季节、天气和场地等诸多因素限制，使得研发的算法难以得到及时有效验证，从而延长样机开发周期。为此，本文以大棚架栽培葡萄为对象，深入研究多维信息（采摘点、防碰损包围体等）感知的视觉机器人采摘行为及虚拟试验，旨在为采摘机器人精准防损采摘提供技术基础和方法支持，从而推动和加速我国水果采摘机械化、自动化和智能化进程。
　　本文深入了分析葡萄种植规范、果实形态、颜色和纹理等特征，以智能计算、机器学习、双目立体视觉、机器人行为规划与虚拟现实等方法和理论为基础，综合运用硬件在环仿真与样机试验对采摘目标图像识别、果梗采摘点定位、防碰包围体计算及采摘行为虚拟试验等核心内容进行了深入系统研究。具体内容如下：
　　（1）针对果园环境下葡萄图像识别问题，设计了一种基于人工蜂群优化模糊聚类的葡萄图像分割方法。该方法通过利用自然界蜂群行为来优化传统模糊聚类算法易陷入局部最优的问题，通过运用蜂群中采蜜蜂、跟随蜂和侦察蜂的分工合作来求解葡萄图像中的最优聚类中心，实现对葡萄图像的分割；另外，将集成学习和多颜色空间相结合设计了Adaboost-MutipleColor葡萄识别算法，该算法以最能突显葡萄的颜色空间为基础构建4个弱分类器，利用Adaboost框架对这4个弱分类器进行集成训练得到强分类器，再用强分类器对目标与背景进行分类，进而实现目标识别。用果园环境下采集的夏黑葡萄图像对上述两种算法进行测试，结果显示这两种方法的识别率分别达90.33%和93.74%。
　　（2）通过分析葡萄果梗形态特征和葡萄在重力作用下的生长姿态，设计了一种基于图像分割和点线最小距离约束相结合的单串葡萄采摘点定位方法，对300幅果园葡萄图像进行试验，采摘点定位准确率达88.33%。另外，为实现果园环境下重叠、贴靠葡萄目标的准确识别与定位，提出一种基于轮廓分析的双串叠贴葡萄目标识别与提取方法，该方法通过求解两叠贴葡萄边缘轮廓交界处拐点来实现对双串叠贴葡萄目标分别提取，再在单串葡萄采摘点定位基础上计算出叠贴葡萄采摘点，以27幅叠贴葡萄图像进行测试，定位成功率达81.48%。
　　（3）为便于机器人进行智能防碰损采摘作业行为规划，设计了一种基于双目立体视觉的葡萄防碰包围体求解与定位方法。先通过视觉检测获得葡萄果梗采摘点和果粒圆心；再利用立体匹配和三角测量原理求出采摘点和葡萄果粒的三维空间坐标；以采摘点空间坐标为原点构建葡萄空间坐标系，求解葡萄最大截面；最后将该截面绕中心轴旋转扫描得到葡萄包围体。用不同距离下采集的双目视觉图像对该方法进行测试，分别从定位误差、包围体尺寸精度和实时性等三个方面进行评价和分析。结果表明，当深度距离在1000mm之内时，包围体高度误差小于4.95%，最大直径误差小于5.64%，算法运行时间在0.38～0.69s之间。
　　（4）为验证和试验采摘机器人的视觉定位及行为控制算法，设计开发了一套基于硬件在环仿真的采摘机器人虚拟试验系统。该系统先通过实物视觉系统获取葡萄采摘点空间坐标及葡萄防碰包围体；以实验室研发的采摘机器人样机为原型，开发虚拟机器人仿真系统；虚拟机器人根据采摘点坐标和防碰包围体进行无碰撞路径规划、逆运动学求解等行为规划，再控制末端执行器运动至采摘点执行采摘作业。在该系统上进行34次硬件在环虚拟试验，试验中视觉定位成功次数29次(85.29%)、路径规划成功28次(82.35%)、夹剪成功28次(82.35%)，结果表明该虚拟试验系统可对采摘机器人的视觉定位、路径规划、夹剪行为等环节算法进行试验与验证。
　　（5）对葡萄采摘机器人视觉感知定位及采摘行为等核心算法进行软件系统集成，用实验室研制的6自由度采摘机器人对相关算法进行室内试验，验证了本文算法有效性和鲁棒性。

目录

声明

第1章 绪论

1.1 研究背景及意义

1.2 采摘机器人国内外研究现状与发展

1.3 采摘机器人视觉感知与采摘行为研究现状

1.4 研究内容及技术路线

1.5 本文组织架构

2.1 引言

2.2 果园葡萄种植模式与图像素材采集

2.3 葡萄颜色空间及其特征分析

2.4 基于改进人工群蜂模糊聚类的葡萄图像分割算法

2.5 基于AdaBoost-MutipleColor的葡萄图像分割与识别

2.6 本章小结

第3章 葡萄果梗采摘点检测与计算方法研究

3.1 引 言

3.2 基于视觉注意机制的葡萄果梗感兴趣区域提取

3.3 单串葡萄果梗采摘点定位与试验

3.4 双串叠贴葡萄采摘点定位与试验

3.5 本章小结

第4章 基于双目视觉的葡萄采摘点及防碰包围体三维定位

4.1 引 言

4.2 双目立体视觉图像采集

4.3 双目立体视觉系统结构与定位

4.4 葡萄采摘点及防碰包围体的三维空间定位

4.5 视觉定位试验与分析

4.6 本章小结

第5章 基于硬件在环仿真的采摘行为虚拟试验研究

5.1 引言

5.2 采摘行为及其虚拟试验系统架构

5.3 室内环境下葡萄多维信息感知

5.4 采摘机器人三维建模及运动学分析

5.5 采摘机器人运动规划及采摘行为建模

5.6 系统开发与虚拟行为试验

5.7 本章小结

6.1 引言

6.2 葡萄多维信息视觉解析及采摘机器人行为仿真软件系统

6.3 采摘机器人室内样机试验

6.4 本章小结

第7章 结论与展望

7.1 本文结论

7.1 主要创新点

7.3 研究展望

致谢

参考文献

附录A攻读博士学位期间与本文相关的科研工作及取得的成果