一种基于Kinect自主标定的高通量温室植物表型测量系统

摘要

本发明公开了一种基于Kinect自主标定的高通量温室植物表型测量系统，采用Kinect相机与精密旋台结合方式，实现多视角RGBD图像采集，并且Kinect相机采用自主标定方式，实现多视角三维点云统一坐标系，为植物三维点云模型精确重构奠定基础，极大的提高了现有测量系统的集成度以及自动化水平。在成像系统中，采用两轴滑轨与激光测距传感器结合，实现成像系统位姿精确控制，使得成像系统满足全生长周期植物表型测量。本测量系统解决了温室植物表型高效、精准、可靠测量问题，提高了温室植物表型测量效率、精度和适用性，对促进我国设施园艺信息化、数字化、精准化及智能化管理具有重要意义。

说明书

技术领域

本发明涉及高通量温室植物表型测量领域，尤其是一种基于Kinect自主标定的高通量温室植物表型测量系统。

背景技术

随着我国设施农业的发展，我国已是世界设施园艺第一生产大国，由于植物信息是设施温室栽培实现智能化管理的重要依据，所以植物信息的高效、精准、可靠测量是设施温室智能化装备急需解决的关键问题之一。传统植物信息测量主要靠人工测量和目测等方式获取，存在速度慢、强度大、主观性强、误差大等缺陷，已经无法满足设施温室智能化装备的需要，制约了产业效益水平和劳动生产效率的提升。随着传感器技术的发展，可通过计算机图形图像处理的途径实现植物信息自动监测，研发一种基于Kinect自主标定的高通量温室植物表型测量系统，可以提高高通量温室植物表型测量系统自动化水平，将加速解决温室植物表型高效、精准、可靠测量问题，提高温室植物表型测量效率、精度和适用性，对促进我国设施温室信息化、数字化、精准化及智能化管理具有重要意义，并且加速我国作物分子育种和植物功能基因组学等学科领域的发展具有重要意义。

发明内容

本发明旨在提供一种高通量温室植物表型测量系统，在成像室安装Kinect相机、精密旋台、两轴滑轨以及LED光源等。精密旋台为圆盘形状，上面贴有两块圆形标定贴，实现Kinect自主标定，标定得到精密旋台旋转轴向量与轴心坐标，为多视角三维点云坐标统一奠定基础。精密旋台由步进电机驱动，实现植物旋转角度精确控制，Kinect相机采集多个视角下RGBD图像，通过Kinect相机内部参数，将深度图转换为三维点云图。根据旋台旋转轴向量与轴心坐标，将多视角下三维点云图进行位移以及旋转轴变换，选定初始参考坐标系，将其他视角下三维点云进行旋转角度逆变换，实现多视角三维点云统一坐标系，并进行迭代最近点法ICP精确配准，实现温室植物三维点云模型精确重构。根据植物三维点云模型，计算植物三维几何形态信息：植株高度、最大宽幅、体积、表面积、叶面积等植物表型参数。该发明测量系统具有精度高、速度快、适用性强的高通量温室植物表型测量系统。

为实现上述目的，本发明提供如下技术方案：基于Kinect自主标定的高通量温室植物表型测量系统，包括成像室、成像系统控制柜、控制器、图形工作站、LED光源、Kinect相机、精密旋台、两轴滑轨、植物表型测量软件等。成像室采用铝型材搭建，顶部、侧面以及底部均封闭面，其中X轴向两侧面安装有移动门，成像室顶部安装LED光源。在成像室上方安装两轴滑轨，Kinect相机安装于Y轴滑轨支架上，横向Z轴与纵向Y轴均为步进电机驱动，步进电机通过驱动器连接至控制器，实现Kinect相机水平方向距离(Z轴)与测量高度(Y轴)的精确控制。在滑轨Y轴和Z轴两端均设置有限位保护开关，实现Kinect相机位姿控制保护功能。Kinect相机通过USB线缆连接至图形工作站，采用软件触发方式。在成像室底部安装精密旋台，旋台由步进电机驱动，两轴步进电机驱动器信号线连接至控制器。成像系统控制柜安装于成像室侧面，控制柜中主要包括：开关电源、控制器、继电器、步进电机驱动器、信号中继器等。温室植物表型测量软件安装于图形工作站上，成像系统控制柜通过RS232线连接至图形工作站。

作为本发明的进一步方案：所述成像系统，采用Kinect相机与精密旋台结合，实现多视角RGBD图像(深度图像和彩色图像)高速采集，降低了植物表型测量系统复杂性，提高了植物表型测量系统集成度以及测量效率。

作为本发明的进一步方案：所述Kinect自主标定，在旋台圆盘表面贴有两块圆形标定贴，旋台圆盘表面为蓝色，两块标定贴分别为黄色标定贴和红色标定贴。Kinect相机采集初始RGBD图(包含旋台表面)，将旋台旋转180°，再次采集RGBD图，采用包围盒法或颜色阈值法分割旋台表面点云图，并分别分割黄色标定贴和红色标定贴区域点云，计算初始0°和180°时标定贴的中心坐标，分别为Y₁(x，y，z)、R₁(x，y，z)、Y₂(x，y，z)、R₂(x，y，z)，并根据Y₁、R₁、Y₂和R₂，计算旋转轴中心坐标M(x，y，z)。根据旋台表面点云坐标，计算旋台表面法向量p(a，b，c)。根据旋台中心坐标M，将旋台表面点云平移至Kinect坐标系原点O(0，0，0)，并将旋台表面法向量p旋转轴Kinect坐标系Y轴(0，1，0)，计算出转轴变换旋转矩阵Rx和Rz。多视角植物三维点云均需要进行位移与转轴变换，初始三维点云不需要Y轴旋转逆变换，其他视角三维点云需要进行Y轴旋转逆变换，实现不同视角下，三维点云统一坐标系，为三维点云精确配准奠定基础。

作为本发明的进一步方案：所述成像系统位姿控制，采用两轴滑轨控制。两轴滑轨实现Y轴向的成像系统测量高度以及Z轴向的成像系统测量距离的控制，在滑轨上均安装有激光测距传感器，实现成像系统位姿精确控制，使得成像系统满足全生长周期温室植物表型测量。在两轴滑轨的两端均安装有限位开关，实现成像系统的位姿限位保护。

与现有技术相比，本发明的有益效果是：高通量温室植物表型测量系统，采用Kinect相机与精密旋台结合方式，实现多视角RGBD图像采集，并且Kinect相机采用自主标定方式，实现多视角三维点云统一坐标系，为植物三维点云模型精确重构奠定基础，极大的提高了现有测量系统的集成度以及自动化水平。在成像系统中，采用两轴滑轨与激光测距传感器结合，实现成像系统位姿精确控制，使得成像系统满足全生长周期植物表型测量。本测量系统解决了温室植物表型高效、精准、可靠测量问题，提高了温室植物表型测量效率、精度和适用性，对促进我国设施园艺信息化、数字化、精准化及智能化管理具有重要意义，并且加速我国作物分子育种和植物功能基因组学等学科领域的发展具有重要意义。

附图说明

图1为高通量温室植物表型测量系统结构图(YZ轴)；

图2为高通量温室植物表型测量系统控制电路原理图；

图3为旋台表面法向量变换至Y轴示意图；

图4为Kinect相机自主标定旋台表面点云分割图(0°与180°)；

图5为旋台表面标定贴点云识别分割图；

图6为三维点云位移与转轴变换图(初始点云图和变换后点云图)；

图7为多视角植物三维点云图(0°、120°和240°)；

图8为植物三维点云模型重建图(RGB图)；

图9为植物冠层高度计算图；

图10为植物冠层最大宽幅计算图；

图11为植物冠层表面积计算图；

图12为植物冠层外包围体积计算图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1：成像室1，顶部LED光源2，Z轴滑轨3，Y轴滑轨4，Z轴滑轨步进电机5，Y轴滑轨步进电机6，Y轴滑轨激光测距传感器7，Z轴滑轨激光测距传感器8，成像系统支架9，Kinect相机10，左侧X轴移门11，右侧X轴移门12，精密旋转台13，植物14，成像室控制柜15。

如图1所示，本发明高通量温室植物表型测量系统，根据测量植物类型，满足整个生长周期条件下，确定成像室长、宽、高等结构参数，采用铝型材搭建成像室。成像室呈长方体结构，六面均为封闭面，其中顶部安装有LED光源，底部为铝板封闭面，X轴向两侧为移动门封闭面，实现植物进入与输出，并保证成像系统工作时，成像室为封闭体，以减少外部环境光对成像质量的影响。在成像室底部安装有植物传送系统，实现温室植物自动化传送至成像室测量区，测量完毕后将植物传送出成像室，实现高通量温室植物表型测量(在本发明中仅涉及高通量温室植物表型测量系统测量部分，而植物传送系统不在本发明保护范围内)。在成像室顶部LED光源。在成像室内安装有两轴滑轨，将成像系统Kinect相机分别安装于两轴滑轨支架上，两轴滑轨支架上安装有激光测距传感器，实现成像系统的测量高度与测量距离控制，实现不同相机位姿精确控制，以满足全生长周期植物表型测量；成像室控制系统：采用可编程控制器PLC和HMI触控系统结合方式，实现相机位姿、LED光源、Kinect相机触发等控制流程的精确控制。在成像室底部安装有精密旋台，温室植物停放在旋台中心测量区域，Kinect相机根据植物三维形态，调节合适的测量高度与测量距离。两轴滑轨均由激光测距传感器精确定位，并且滑轨具有限位保护功能。

如图2所示，温室植物表型测量系统控制电路主要由开关电源、控制器、3个步进电机驱动器MD1～MD3、3个步进电机M1～M3、2个直流电动机M4～M5，1个LED驱动器LA1、1组LED光源、2个激光测距传感器D1～D2、8个限位开关SQ1～SQ8、1个测量区植物准备就绪信号开关SQ9、1个Kinect相机、1个图形工作站组成。开关电源为220AC转为24VDC，为控制器、激光测距传感器、LED光源、步进电机驱动器、直流电动机、HMI触控屏等设备供电。控制器采用可编程控制器，具有多输入多输出接口，并且模拟量输入接口以及高速脉冲输出接口。根据待测植物三维形态，2个步进电机实现两轴滑轨控制，调节合适的Kinect成像位姿。精密旋台根据预设定旋转角度，实现多视角RGBD图像采集。2个直流电动机实现X轴两侧的移门自动化关闭与打开操作，成像时处于完全封闭状态。在成像室安装LED光源，减少外部环境光源的干扰问题。控制器通过RS232接口连接至图形工作站，Kinect相机通过USB接口连接至图形工作站。

温室植物表型测量系统软件流程主要分为4个阶段：Kinect自主标定阶段、图像采集阶段、图像预处理与重建阶段、植物表型计算阶段。

如图3～5所示，Kinect自主标定阶段，在精密旋台表面贴有两块圆形标定贴，旋台圆盘表面为蓝色(直径20cm)，两块标定贴分别为黄色标定贴(直径3cm)和红色标定贴(直径3cm)。Kinect相机采集初始RGBD图(包含旋台表面)，将旋台旋转180°，再次采集RGBD图，采用包围盒法或颜色阈值法分割旋台表面点云图，并分别分割黄色标定贴和红色标定贴区域点云，计算初始0°和180°时标定贴的中心坐标，分别为Y₁(x，y，z)、R₁(x，y，z)、Y₂(x，y，z)、R₂(x，y，z)，并根据Y₁、R₁、Y₂和R₂，计算旋转轴中心坐标M(x，y，z)。根据旋台表面点云坐标，计算旋台表面法向量p(a，b，c)。根据旋台中心坐标M，将旋台表面点云平移至Kinect坐标系原点O(0，0，0)，并将旋台表面法向量p旋转轴Kinect坐标系Y轴(0，1，0)，先将向量p绕X轴旋转α度至XOY平面，旋转矩阵为R_x(α)，再绕Z轴旋转β度至Y轴，旋转矩阵为R_z(β)。

式中：R_x(α)为绕X轴旋转的矩阵，其中α为旋转角度；(a，b，c)为旋台表面法向量；R_z(β)为绕Z轴旋转的矩阵，其中β为旋转角度；R_y(γ)为绕Y轴旋转的矩阵，其中γ为旋转角度。

多视角植物三维点云均需要进行位移与转轴变换，初始三维点云不需要Y轴旋转逆变换，其他视角三维点云需要进行Y轴旋转逆变换，旋转矩阵为R_y(γ)，具体选择角度γ是根据实现测量时旋转角度(根据视角间隔，人为设置γ)，实现不同视角下三维点云统一坐标系，为三维点云精确配准奠定基础。

如图6所示，为旋台三维点云初始位置，以及经过位移与转轴变换的三维点云，图中绿色向量为初始法向量，经过转轴变换后，旋台表面法向量与Y轴重合。

以下为举例说明植物三维点云模型重建与表型计算方法。

如图7所示，在图像采集阶段，采集三个视角下植物三维点云，分别为0°、120°和240°，或者更多个视角下植物三维点云。

如图8所示，在图像预处理与重建阶段，对三个视角下植物三维点云，经过上述位移与转轴变换后，并进行ICP精确配准，得到植物三维点云模型，并去除Y坐标小于0的点，得到植物三维点云(包括栽培盆)。

植物表型计算阶段，在重建的植物三维点云模型基础上，计算植株高度、最大宽幅、表面积、体积等植物表型参数，具体计算方法如下：

如图9所示，根据三维点云最高点Y坐标最大点，计算的得到植物高度，减去栽培盆高度，得到植物高度(根部以上部分)。根据栽培盆高度，去除栽培盆，得到植物三维点云模型(根部以上部分)。

如图10所示，根据植物三维点云在XOZ平面上的投影，搜索边界距离最远的两个点，并计算两点距离，该距离为植物冠层最大宽幅。

如图11所示，植物三维点云进行网格化处理，计算网格面积，得到植物三维表面积。

如图12所示，植物三维点云为外边界包络图，计算得到植物体积。

在本发明中主要保护采用Kinect自主标定实现植物三维点云模型重建的方法与系统。在三维点云模型基础上，进行三维点云模型几何形态学计算，得到植物各种表型参数。

在单个植物三维形态信息计算后，完成温室植物表型测量，则等待下一个温室植物准备就绪信号，进行后续植物表型测量。