基于ZED相机的盆栽作物信息检测方法与装置

摘要

本发明提供了一种基于ZED相机的盆栽作物信息检测方法与装置，地走式扫描与搬运装置用于实现指定位置的盆栽检测，ZED相机A扫描指定位置的盆栽，获取指定盆栽的位置信息、状态信息和图片信息，云端服务器利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，获取需要搬运的指定盆栽位置信息，结合地走式扫描与搬运装置的实时位置，实现指定盆栽的抓取；若需要对所有盆栽进行检测，则悬挂式扫描装置的ZED相机扫描所有盆栽，得到需要搬运的所有盆栽位置信息，地走式扫描与搬运装置根据需要搬运的所有盆栽位置信息，结合地走式扫描与搬运装置的实时位置，实现所有盆栽的抓取。本发明对盆栽作物指导作业具有重要意义。

说明书

技术领域

本发明属于设施农业领域，具体涉及基于ZED相机的盆栽作物信息检测方法与装置。

背景技术

虽然我国盆栽种植规模大，但仍以传统经验生产为主，机械化水平低，设施盆栽的单产均不足荷兰等发达国家的15％，装备集成不足是主要瓶颈之一。在我国盆栽养殖中，盆栽的摆放排列仍旧以人工为主，国外的盆栽搬运设备都是基于温室床的整体搬运，其机械系统的搭建需要温室内外部架构的协调统一，且价格较高，不适用于我国小型温室。

当前的一些盆栽、苗盘等搬运装置，都是基于固定位置传感器或者基于单一重复作业流程的工作方式，存在着作业误差不断积累的现象；同时没有检测分析的功能，或没有能够实现检测分析和协同搬运作业的集成功能。

发明内容

针对现有技术中存在不足，本发明提供了一种基于ZED相机的盆栽作物信息检测方法与装置，实现检测分析和协同搬运作业。

本发明是通过以下技术手段实现上述技术目的的。

基于ZED相机的盆栽作物信息检测方法，具体为：

对于所有盆栽信息的检测：ZED相机B扫描所有盆栽作物，获取所有盆栽的位置信息、状态信息和图片信息，上传至云端服务器；云端服务器利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，确定需要搬运的所有盆栽位置信息；地走式扫描与搬运装置根据需要搬运的所有盆栽位置信息，结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置的实时位置；嵌入式开发板一将需要搬运的所有盆栽位置信息发送给PLC一，PLC一控制机械手和电机A，实现所有盆栽的准确抓取；

对于指定盆栽信息的检测：ZED相机A扫描指定盆栽作物，获取指定盆栽的位置信息、状态信息和图片信息，云端服务器按照所有盆栽信息检测过程中的方法，确定需要搬运的指定盆栽位置信息，地走式扫描与搬运装置完成指定盆栽的准确抓取。

进一步，所述盆栽的位置信息为：基于扫描初始位置的盆栽位置坐标

更进一步，所述盆栽位置坐标与每盆盆栽图片编号相结合，得到盆栽位置矩阵

更进一步，所述利用盆栽的实际宽纵值(U，V)和盆栽的实际高度h对盆栽的生长状态E来进行评估，并根据E的阈值范围对盆栽进行优、良、差的分类，建立状态矩阵，分别为[1，0，0，E]

更进一步，所述盆栽位置矩阵与生长状态信息组合，得到盆栽信息矩阵

更进一步，根据目标盆栽位置矩阵t

一种盆栽作物信息检测方法的检测装置，包括：

地走式扫描与搬运装置，包括框架、ZED相机A、云端服务器和控制柜B，ZED相机A安装在框架顶端，且ZED相机A的镜头垂直于地面，ZED相机A与控制柜B进行通讯，控制柜B与云端服务器进行通讯，控制柜B中设有嵌入式开发板一和PLC一；框架在控制柜B的控制下，能够移动；

悬挂式扫描装置，包括ZED相机B和控制柜A，ZED相机B滚动连接在温室内的悬梁上，ZED相机B的运动由控制柜A控制，控制柜A中设有嵌入式开发板二和PLC二；

所述嵌入式开发板一、嵌入式开发板二均能够接收ZED相机获取的盆栽作物信息，实时进行卷积神经网络计算，确定盆栽位置坐标

上述技术方案中，

本发明的有益效果为：

(1)本发明通过ZED相机建立动态坐标系，并结合纠正后的相机实时位置坐标、基于卷积网络检测到的盆栽中心点位置、相机深度信息，得到以扫描初始位置为坐标系原点的盆栽具体位置坐标，扫描定位精度较高；相机实时位置坐标的纠正，是将PLC发出的电机脉冲转化为装置实际水平方向上的运动距离实现的。

(2)对于地走式扫描装置本身的定位，由于ZED相机A与地走式扫描装置一起运动，可以充分利用ZED相机A实时位置追踪功能，实时检测相机的当前位置，以确定地走式扫描装置的实时位置，不再需要借助其他定位或测距传感器进行辅助作业，节约成本。

(3)本发明使用ZED相机获取实时深度信息，能够得到盆栽的具体位置，以此调节机械手的姿态和位置，因此适用不同的作业场景。整套系统在不借助人力的情况下能够实现盆栽的目标检测、生长状态智能分析、位置定位、自动筛选、全局或指定位置搬运的功能，对盆栽作物指导作业具有重要意义。

附图说明

图1为本发明所述地走式扫描与搬运装置结构示意图；

图2为本发明所述悬挂式扫描装置结构示意图；

图3为本发明卷积神经网络识别盆栽轮廓示意图；

图4为本发明检测到的z方向上盆栽中心点到相机的距离示意图；

图5为本发明深度信息模式下像素点与实际坐标对应关系的示意图；

图6为本发明所述位置扫描结果示意图；

图中：1-地走式扫描与搬运装置、2-盆栽放置板、3-滚轮B、4-ZED相机A、5-机械手、6-盆栽、7-云端服务器、8-控制柜B、9-悬挂式扫描装置、10-控制柜A、11-滚轮A、12-框架、13-ZED相机B、1-1-像素平面、2-1-扫描初始位置、2-2-像素平面上的盆栽、2-3-盆栽外接矩形框。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

基于ZED相机的盆栽作物信息检测装置，包括地走式扫描与搬运装置1和悬挂式扫描装置9。

如图1所示，地走式扫描与搬运装置1包括框架12、盆栽放置板2、滚轮B3、ZED相机A4、机械手5、云端服务器7和控制柜B8，框架12为对称结构；盆栽放置板2横置在框架12中间，用于放置筛选的盆栽6；机械手5通过支架A安装在框架12顶端；ZED相机A4固定在机械手5的支架A上，且ZED相机A4的镜头垂直于地面；四个滚轮B3分为两组，对称安装在框架12两侧的底端，且滚轮B3中设有电机A；控制柜B8中设有进行图像资源计算的嵌入式开发板一和进行逻辑控制的PLC一。电机A在控制柜B8的控制下，驱动滚轮B3运动，从而带着ZED相机A4扫描整个盆栽6，传输给嵌入式开发板一，以获取盆栽6的位置信息、状态信息(根据盆栽的实际宽纵值和实际高度获取)和图片信息，嵌入式开发板一将上述信息传输给云端服务器7，嵌入式开发板一接收云端服务器7筛选后需要搬运的盆栽位置信息，PLC一接收嵌入式开发板一发送的需要搬运的盆栽位置信息，以此控制机械手5、电机A进行相应的动作，实现盆栽6的抓取；机械手5进行抓取动作为现有技术，参见中国专利CN202022005582。

如图2所示，悬挂式扫描装置9包括ZED相机B13、控制柜A10、云端服务器7和滚轮A11，ZED相机B13通过支架B套设在连接轴上，连接轴两端安装有滚轮A11，滚轮A11中间设置为凹形，滚轮A11啮合在温室内的悬梁上；滚轮A11中设有电机B；控制柜A10中设有进行图像资源计算的嵌入式开发板二和进行逻辑控制的PLC二。电机B在PLC二的控制下，驱动滚轮A11运动，从而带着ZED相机13扫描整个盆栽6，传输给嵌入式开发板二，以获取盆栽6的位置信息、状态信息和图片信息，嵌入式开发板二将上述信息传输给云端服务器7。

如图3所示的卷积神经网络识别盆栽轮廓示意图，嵌入式开发板接收ZED相机获取的盆栽作物信息，实时进行卷积神经网络计算，当检测到像素平面上的盆栽2-2，得到盆栽外接矩形框2-3、四个顶点像素坐标(μ

如图5所示的深度信息模式下像素点与实际坐标对应关系，卷积神经网络获取像素平面1-1中的指定点坐标O′(μ，v)，并利用ZED相机的深度信息将坐标O′(μ，v)转化为实际空间位置的坐标点O(x，y，z)。

如图6所示的位置扫描结果示意图，ZED相机以扫描初始位置2-1为原点，建立一个盆栽6的动态坐标系，动态坐标系中包含每个盆栽6的具体位置信息

基于ZED相机B13扫描所有盆栽作物，以获取所有盆栽6的位置信息、状态信息和图片信息，并上传到云端服务器7，然后利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，以确定需要搬运的所有盆栽位置信息；地走式扫描与搬运装置1根据需要搬运的所有盆栽位置信息，并结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置1的实时位置，然后嵌入式开发板一将需要搬运的所有盆栽位置信息发送给PLC一，PLC一控制机械手5和电机A，实现盆栽的准确抓取；上述过程为所有盆栽信息检测的过程。此外，地走式扫描与搬运装置1中的ZED相机A4能够实现指定位置的盆栽扫描，获取指定盆栽6的位置信息、状态信息和图片信息，嵌入式开发板一将上述信息传输给云端服务器7，云端服务器7利用盆栽数据库对拍摄的盆栽进行生长状态分析，根据状态阈值进行筛选，获取需要搬运的指定盆栽位置信息，结合ZED相机的实时位置坐标，得到地走式扫描与搬运装置1的实时位置，嵌入式开发板一将需要搬运盆栽的位置信息发送给PLC一，PLC一以此控制机械手5、电机A进行相应的动作，实现盆栽的抓取；该过程为指定盆栽信息检测的过程，且无需悬挂式扫描装置9的参与。

具体的实施过程如下：

一、悬挂式扫描装置9和地走式扫描与搬运装置1的扫描过程

步骤(1)：启动作业

对于悬挂式扫描装置9，控制柜A10控制电机B运动至初始位置，控制柜A10控制ZED相机B13开始扫描；对于地走式扫描与搬运装置1，控制柜B8控制电机A移动到扫描初始位置2-1，ZED相机A4进行指定区域的扫描。

步骤(2)：ZED相机开启

ZED相机启动，并开启动实时位置追踪，同时嵌入式开发板实时进行卷积神经网络计算，ZED相机的实时位置追踪是以扫描初始位置2-1作为坐标原点(0，0，0)，利用自身的追踪功能实时得到相机的实时位置坐标。由于ZED相机只有一个水平自由度，所以利用相机的实时位置追踪功能可以得到y方向上ZED相机实时位置坐标(0，y

步骤(3)：基于ZED相机的盆栽位置信息的获取

当检测到像素平面上的盆栽2-2时，利用得到的像素平面1-1上的盆栽中心点坐标(μ

步骤(4)：基于扫描初始位置的盆栽位置信息的转化

因为ZED相机沿y方向上的位置实时变化，所以步骤(3)得到基于ZED相机的盆栽坐标(x

为了得到精确的ZED相机实时位置，首先利用PLC对相机的位置进行纠正。PLC将发送的滚轮电机脉冲转化为装置实际水平方向上的运动距离y′

y′

式中p为ZED相机的失帧系数；v(t)为ZED相机的实时速度，通过ZED相机自带的IMU系统的实时状态得到；q为滚轮电机的摩擦损耗系数；y′

利用纠正的ZED相机实时位置坐标y′

又x、z方向上盆栽到相机的距离不跟随ZED相机的变化而变化，所以利用

步骤(5)：对盆栽的生长状态进行评估

通过卷积神将网络可以得到像素平面1-1上的像素点O′，然后利用ZED相机的深度信息，得到其世界坐标下的坐标O，如图4所示；相似的方法，利用ZED相机的深度信息，计算像素平面上盆栽外接矩形框2-3的长宽(μ

对于盆栽的实际高度h的计算，首先是利用ZED相机的深度信息得到z方向上盆栽的中心点到相机的距离

利用盆栽的实际宽纵值(U，V)和盆栽的实际高度h对盆栽的生长状态E来进行评估，并根据E的阈值范围对盆栽进行优、良、差的分类，建立状态矩阵，分别为[1，0，0，E]

对于盆栽生长状态E的计算公式：

步骤(6)：拍摄每一盘检测到的盆栽，并对其图片进行编号。

步骤(7)：将盆栽位置坐标与每盆盆栽图片编号相结合得到盆栽位置矩阵t

式中t

步骤(8)：上传云端服务器7并进行筛选

嵌入式开发板将每盆盆栽的信息矩阵A

二、地走式扫描与搬运装置1的搬运过程

步骤(1)：云端服务器7将筛选的数据信息发送给控制柜B8上的嵌入式开发板一中，得到需要搬运的盆栽位置矩阵t

步骤(2)：地走式扫描与搬运装置1移动到指定的位置

地走式扫描与搬运装置1根据y方向上ZED相机实时位置坐标(0，y

步骤(3)：机械手5进行相应的动作

PLC一驱动机械手5根据位置矩阵t

步骤(4)：机械手5归位，重复步骤(1)-(3)，完成所有盆栽的搬运。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。