一种基于图像识别的叶菜收获机械装置及其控制方法

摘要

本发明公开了一种基于图像识别的叶菜收获机械装置及其控制方法，收获机械装置的机械本体顶部开口，行走装置安装在机械本体的底部，装料箱安装在机械本体内；夹持机械手和切割机械手均通过机械臂安装在机械本体前端，夹持机械手上安装有多个第一压力传感器，腕部安装有第二压力传感器，第一和第二压力传感器均与控制平台电连接，控制平台安装在机械本体前端；重量测量装置安装在机械本体底部，装料箱下面；机械本体的上部四周均设置有图像采集装置；机械本体的下部四周均设置有至少两个超声波传感器；电源装置安装在机械本体下面位于行走装置上；返程控制器通过无线通信与控制平台连接。本发明可以实现叶菜的自动采摘和装箱，节省人力和物力。

说明书

技术领域

本发明涉及蔬菜收获农业机械装置及控制方法，特别是涉及一种基于图像识别的叶菜收获机械装置及其控制方法。

背景技术

目前，蔬菜生产机械化水平相对落后，针对叶菜收获采摘环节机械装备均需人力操作，在人力成本越来越高的今天，蔬菜生产收获效益与人工成本密切相关，而基于图像识别叶菜类蔬菜自行走收获机械装备，则可减少人工成本，同时此类设备几乎还是空白，随着现代农业技术的发展，蔬菜机械化收获技术越来越受到重视。

因此发明一种基于图像识别的叶菜收获机械装置及控制方法对农业发展有着重要意义。

发明内容

发明目的：针对现有技术中存在的问题与不足，提供一种基于图像识别的叶菜收获机械装置及其控制方法。

技术方案：本发明提供了一种基于图像识别的叶菜收获机械装置，包括机械本体、行走装置、装料箱、夹持机械手、切割机械手、机械臂、控制平台、重量测量装置、图像采集装置、超声波传感器、电源装置以及返程控制器；

其中，机械本体顶部开口；行走装置安装在机械本体的底部；装料箱安装在机械本体内；夹持机械手和切割机械手均通过机械臂安装在机械本体前端，夹持机械手上安装有多个第一压力传感器，用于检测夹持对象受力松紧的压力值，并反馈给控制平台，夹持机械手的腕部安装有第二压力传感器，用于检测夹持对象底部的拉力，并反馈给控制平台；控制平台安装在机械本体前端；重量测量装置安装在机械本体底部，装料箱下面；机械本体的上部四周均设置有图像采集装置；机械本体的下部四周均设置有至少两个超声波传感器；电源装置安装在机械本体下面位于行走装置上；返程控制器通过无线通信与控制平台连接。

优选的，所述重量测量装置包括壳体和设置在壳体内的重量传感器。

优选的，所述返程控制器包括触摸屏显示器和若干操控按钮。

优选的，所述切割机械手的前端安装有往复切割刀片。

优选的，所述机械本体的下部四周均设置有两个超声波传感器。

本发明还提供了一种基于图像识别的叶菜收获机械装置的控制方法，该收获机械装置采用上述的一种基于图像识别的叶菜收获机械装置，该控制方法包括以下步骤：

(1)启动装置，设置装料箱的重量阈值、电源装置的电量阈值和夹持机械手上的第一压力传感器和腕部的第二压力传感器的压力设定值；

(2)进行收获叶菜；

(3)机械装置返回至返程控制器附近

控制平台向返程控制器发出信号，由返程控制器发出返程指令，由控制平台控制机械装置返回至返程控制器附近。

进一步的，所述步骤(2)包括以下步骤：

(21)用户操控返程控制器，通过控制平台控制机械装置自行走；

(22)控制平台判断机械装置的电源装置电量是否低于设定电量阈值，若低于设定电量阈值，则执行步骤(3)；否则执行步骤(23)；

(23)图像采集装置采集图像信息并进行处理

图像采集装置实时采集机械装置四周的图像信息，并传递给控制平台，控制平台对图像信息进行处理；图像采集装置可上下调整，往上调整至某一固定角度称作远视角，往下调整至某一固定角称作近视角；首先收获机械装置不运动，通过图像采集装置静态采集叶菜图片和土地颜色图片，采集足够多样本，对彩色图像进行二值化处理，将绿色叶菜从大地色中提取出来，存入数据库，用作判断依据；

(24)判断是否检测到叶菜

收获机械装置在运动过程中，图像采集装置远视角不间断的采集视频图像，将采集的图像和预存的数据库中的图像进行比较，当二者接近程度小于预设阈值时，就认为检测到叶菜；控制平台判断是否检测到叶菜，若没有检测到叶菜，则进一步判断未收获叶菜持续时间是否超过预先设定时间，若超过预先设定时间则执行步骤(3)；若检测到叶菜，则执行步骤(25)；

(25)夹持机械手夹持叶菜

首先收获机械装置不动，通过图像采集装置采集近视角和远视角两种视角的叶菜图片，确定叶菜在这两个视角中心点的坐标；，收获机械装置在运动过程中，图像采集装置首先通过远视角不间断的采集视频图像，当有叶菜在远视角采集中心处，驱动收获机械装置向前移动一定距离，同时控制图像采集装置使之调整至近视角，当叶菜在近视角采集中心处，收获机械装置停止向前移动；控制平台向夹持机械手发出夹持指令，控制夹持机械手移动至近视角采集中心处，开始夹持叶菜，夹持机械手上装有多个第一压力传感器，可向控制平台反馈夹持对象受力松紧的压力值，控制平台根据压力设定值，自动调节夹持机械手的握紧程度；

(26)切割机械手切割叶菜

夹持机械手夹持好对象后，控制平台启动切割机械手对叶菜进行根部切割，切割机械手的前端装有往复切割刀片，根据夹持机械手夹持位置，自动递出切割机械手进行切割，夹持机械手与切割机械手相互配合动作；

(27)夹持机械手将叶菜装入装料箱

当切割机械手切割完成后，夹持机械手腕部的力传感器发出信号给控制平台，控制平台控制夹持机械手的机械臂向后翻转，将切割对象(叶菜)放入机械本体上部的装料箱内；

(28)重量传感器检测装料箱内叶菜重量并实时显示

在装箱过程中，装料箱下方的重量检测装置不断将检测到的重量信号传输给控制平台，控制平台将重量信息通过返程控制器的触摸屏显示器进行显示；

(29)判断装料箱重量是否超过重量阈值

控制平台根据接收的重量信号判断装料箱的重量是否达到预设的重量阈值，如果达到重量阈值，则执行步骤(3)；否则返回步骤(22)继续执行。

优选的，该方法还包括用超声波传感器采集信号检测障碍物，具体为：

超声波传感器将检测信号传至控制平台，用于调整机械装置的位姿以及防撞设置，事先将收获机械装置轨迹路线及超声波壁障导入控制平台的控制器，收获机械装置在运行过程中，当前面或后面的两个超声波传感器检测反馈的值不同时，则前方或后方有障碍物，根据事先导入的超声波壁障算法，控制收获机械装置向左或向右转动预定角度，调整收获机械装置的位姿，直至前面或后面的两个超声波传感器检测反馈的值相同，然后继续向前或向后移动，直至碰到下一个障碍物，再进行转弯壁障；当右面或左面的两个超声波传感器检测反馈的值不同时，则左方或右方有障碍物，根据事先导入的超声波壁障算法，控制机械本体向右或向左转动预定角度，调整收获机械装置的位姿，直至右面或左面的两个超声波传感器检测反馈的值相同，然后继续向前移动，直至碰到下一个障碍物，再进行转弯壁障。

有益效果：与现有技术相比，本发明的一种基于图像识别的叶菜收获机械装置及其控制方法，具有以下优点：

1、基于图像采集识别控制夹持切割机械手，进行夹持切割叶菜，可达到机械手最佳夹持叶菜位置。

2、夹持机械手上装有多个压力传感器，控制平台根据压力设定阈值，自动调节夹持机械手握紧程度，控制平台启动切割装置对叶菜进行切割，实现无损切割。

3、装料箱下部装有重量传感器，可预设重量阈值，如果达到重量阈值，控制平台发出信号通知返程控制器，使收获机械装置返程，实现重量控制和返程控制。

4、控制平台设定收获机械装置自行走轨迹，可自动驱动收获机械装置自行走，实现无人控制。

5、机械本体的四周安装有超声波传感器，用于检测机械本体四周是否有障碍物，将检测信号传至控制平台，可实现位姿调整以及防撞设置。

6、返程控制器与机械本体上的控制平台构成局域网，当电源装置电量低于设定阈值或机械本体上部的装料箱的重量达到预设重量阈值(即已经满箱)时，返程控制器发送指令，控制控制平台让机械装置返回至返程控制器附近，保证机械装置可控不失联。

7、触摸屏设计界面友好，收获机械全程状态及相关数据实时显示，并自动控制。本发明将满足广大蔬菜种植户提高收获劳动效率的迫切需要，对于解决蔬菜收获难题具有重要意义。

附图说明

图1是本发明实施例的结构示意图；

图2是本发明实施例的方法流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明的技术方案，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明的一种基于图像识别的叶菜收获机械装置，包括机械本体1、行走装置2、装料箱3、夹持机械手4、切割机械手5、机械臂6、控制平台7、重量测量装置8、图像采集装置9、超声波传感器10、电源装置11以及返程控制器13。

其中，机械本体顶部开口；行走装置有两个，平行安装在机械本体的底部；装料箱可拆卸的安装在机械本体内，且顶部开口；夹持机械手和切割机械手均通过机械臂安装在机械本体前端，夹持机械手上安装有多个第一压力传感器12，用于检测夹持对象受力松紧的压力值，并反馈给控制平台，夹持机械手的腕部安装有第二压力传感器，用于检测夹持对象底部的拉力，并反馈给控制平台；切割机械手的前端安装有往复式切割刀片；控制平台安装在机械本体前端；重量测量装置安装在机械本体底部，装料箱下面，其包括壳体和设置在壳体内的重量传感器；机械本体的上部四周均设置有一个图像采集装置；机械本体的下部四周均设置有两个超声波传感器；电源装置安装在机械本体下面位于行走装置上；返程控制器设置于田间地头或者控制室，其通过无线通信与控制平台连接，包括触摸屏显示器和若干操控按钮。

图像采集装置实时采集图像至控制平台，基于虚拟仪器程序设计语言LabVIEW，构造视觉系统，完成图像采集、预处理、识别、机器学习等功能，得到目标物体(夹持对象，即叶菜)特征点的空间三维坐标。控制平台驱动协作机械手群进行动作，协作机械手群包括夹持机械手和切割机械手，其中，夹持机械手夹持对象(叶菜)，切割机械手进行根部切割；夹持机械手上装有多个第一压力传感器，可向控制平台反馈夹持对象(叶菜)受力松紧的压力值，控制平台根据压力设定值，自动调节夹持机械手握紧程度，控制平台启动切割装置对叶菜进行切割。切割机械手前端装有往复切割刀片，根据夹持机械手夹持位置，自动递出切割机械手，进行切割。夹持机械手与切割机械手相互配合动作，当切割机械手切割后，夹持机械手腕部的力传感器发出信号给控制平台，控制平台控制夹持机械手臂向后翻转，将切割对象(叶菜)放入机械本体上部的装料箱。

所述机械本体的四周安装有超声波传感器，根据控制平台设定行走轨迹，可自动驱动收获装置自行走，实现无人控制，超声波传感器用于检测机械本体四周是否有障碍物，将检测信号传至控制平台，用于调整机械装置的位姿以及防撞设置，调整位姿以及防撞设置均通过编制控制器软件实现。事先将收获机械装置轨迹路线及超声波壁障等导入控制平台的控制器，收获机械装置在运行过程中，当前面或后面的两个超声波传感器检测反馈的值不同时，则前方或后方有障碍物，根据事先导入的超声波壁障算法，控制收获机械装置向左或向右转动预定角度，调整收获机械装置的位姿，直至前面或后面的两个超声波传感器检测反馈的值相同，然后继续向前或向后移动，直至碰到下一个障碍物，再进行转弯壁障；当右面或左面的两个超声波传感器检测反馈的值不同时，则左方或右方有障碍物，根据事先导入的超声波避障算法，控制机械本体向右或向左转动预定角度，调整收获机械装置的位姿，直至右面或左面的两个超声波传感器检测反馈的值相同，然后继续向前移动，直至碰到下一个障碍物，再进行转弯避障。

装料箱在机械本体上内部，其下部装有重量检测装置，在装箱过程中，重量检测装置不断将检测到的重量信号传输给控制平台，控制平台使返程控制器上的触摸屏显示器显示重量信息，并判断装料箱的重量是否达到预设重量阈值，如果达到，发出信号通知返程控制器，并返程。

返程控制器由触摸屏显示器和按钮等操控键组成，用户可通过触摸屏显示器和按钮等操控实现控制平台对机械装置的自行走、夹持机械手、切割机械手以及装料箱的控制；用户通过触摸屏显示装置设置装料箱的重量阈值。返程控制器与机械本体上的控制平台构成局域网，可将行走装置的位置实时反馈给返程控制器，当电源装置的电量低于设定阈值或机械本体上部的装料箱的重量达到预设重量阈值(即已经满箱)，则返程控制器发送指令，由控制平台控制机械装置返回至返程控制器附近。

工作时，用户通过返程控制器上的触摸屏显示器和若干操控按钮设置装料箱的重量阈值，并给控制平台发出控制指令，控制平台控制通过控制行走装置上四轮电机的启停进一步控制机械装置整体的自动行走，通过控制夹持机械手实现对夹持对象的夹持动作和装箱动作，通过控制切割机械手实现对夹持对象的切割。图像采集装置将采集的图像信息传输给控制平台，控制平台进行图像数据处理，若检测到叶菜，则向夹持机械手和切割机械手发出控制指令，控制夹持机械手夹持叶菜，并控制切割机械手切割叶菜，夹持机械手和切割机械手相互配合动作，当切割完成后，夹持机械手腕部的力传感器发出信号给控制平台，控制平台控制夹持机械手的机械臂向后翻转，将切割对象放置在装料箱内；重量测量装置不断将检测到的重量信号传输给控制平台，并将重量信息通过返程控制器上的触摸屏显示器进行显示，同时控制平台判断装料箱的重量是否达到预设重量阈值，如果达到阈值，则向返程控制器发出信号，由返程控制器发出返程指令，由控制平台控制机械装置进行返程。机械装置行走过程中，通过四周的超声波传感器检测机械装置四周是否有障碍物，并将检测信号传递给控制平台，控制平台对检测信号进行处理，并进行调整机械装置的位姿以及防撞设置。返程控制器与控制平台构成局域网，控制平台可将行走装置的位置实时反馈给返程控制器，当控制器平台检测到电源装置的电量低于设定值或装料箱的重量达到预设重量阈值(已满箱)，则向返程控制发出信号，由返程控制器发出返程指令，由控制平台控制机械装置返回至返程控制器附近。

如图2所示，一种基于图像识别的叶菜收获机械装置的控制方法，包括以下步骤：

(1)启动装置，设置装料箱的重量阈值、电源装置的电量阈值和夹持机械手上第一压力传感器和腕部的第二压力传感器的压力设定值；

(2)进行收获叶菜，具体为：

(21)用户操控返程控制器，通过控制平台控制机械装置自行走；

(22)控制平台判断机械装置的电源装置电量是否低于设定电量阈值，若低于设定电量阈值，则执行步骤(3)；否则执行步骤(23)；

(23)图像采集装置采集图像信息并进行处理

图像采集装置实时采集机械装置四周的图像信息，并传递给控制平台，控制平台对图像信息进行处理；图像采集装置(USB相机)可上下调整，往上调整至某一固定角度称作远视角，往下调整至某一固定角称作近视角。首先机械本体不动，通过图像采集装置(USB相机)静态采集叶菜图片、土地颜色图片等，采集足够多样本，对彩色图像进行二值化处理，可将绿色叶菜从大地色中提取出来，存入数据库，用作判断依据。

(24)判断是否检测到叶菜

机械本体在运动过程中，图像采集装置(USB相机)远视角不间断的采集视频图像，将采集的图像和预存的数据库中的图像进行比较，当二者接近程度小于预设阈值时，就认为检测到叶菜。控制平台判断是否检测到叶菜，若没有检测到叶菜，则进一步判断未收获叶菜持续时间是否超过预先设定时间(本实施例预先设定时间为10分钟)，若超过预先设定时间则执行步骤(3)；若检测到叶菜，则执行步骤(25)；

(25)夹持机械手夹持叶菜

首先机械本体不动，通过图像采集装置(USB相机)采集近视角和远视角两种视角的叶菜图片(将叶菜放置在图像的中心点)，确定叶菜在这两个视角中心点的坐标。机械本体在运动过程中，图像采集装置(USB相机)首先通过远视角不间断的采集视频图像，当有叶菜在远视角采集中心处，驱动机械本体向前移动一定距离，同时控制图像采集装置(USB相机)使之调整至近视角，当叶菜在近视角采集中心处，机械本体停止向前移动。控制平台向夹持机械手发出夹持指令，控制夹持机械手移动至近视角采集中心处，开始夹持叶菜，夹持机械手上装有多个第一压力传感器，可向控制平台反馈夹持对象受力松紧的压力值，控制平台根据压力设定值，自动调节夹持机械手的握紧程度；(26)切割机械手切割叶菜

夹持机械手夹持好对象后，控制平台启动切割机械手对叶菜进行根部切割，切割机械手的前端装有往复切割刀片，根据夹持机械手夹持位置，自动递出切割机械手进行切割，夹持机械手与切割机械手相互配合动作；

(27)夹持机械手将叶菜装入装料箱

当切割机械手切割完成后，夹持机械手腕部的力传感器发出信号给控制平台，控制平台控制夹持机械手的机械臂向后翻转，将切割对象(叶菜)放入机械本体上部的装料箱内；

(28)重量传感器检测装料箱内叶菜重量并实时显示

在装箱过程中，装料箱下方的重量检测装置不断将检测到的重量信号传输给控制平台，控制平台将重量信息通过返程控制器的触摸屏显示器进行显示；

(29)判断装料箱重量是否超过重量阈值

控制平台根据接收的重量信号判断装料箱的重量是否达到预设的重量阈值，如果达到重量阈值，则执行步骤(3)；否则返回步骤(22)继续执行。

(3)机械装置返回至返程控制器附近

控制平台向返程控制器发出信号，由返程控制器发出返程指令，由控制平台控制机械装置返回至返程控制器附近。