一种基于视频图像的叶类蔬菜三维表型测量方法

摘要

本发明公开了一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：通过数据获取装置获取叶类蔬菜的视频图像数据；对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果；本发明提供了一种方便、低成本的三维表型测量手段，不需要繁琐的图像拍摄过程，可通过直接录制绿叶蔬菜的视频来得到表型参数，进一步的，可将该方法扩展应用于其他叶类蔬菜的分析。

说明书

技术领域

本发明涉及计算机视觉技术与农业植物表型交叉的研究领域，特别涉及一种基于视频图像的叶类蔬菜三维表型测量方法。

背景技术

叶类蔬菜是人们日常生活中的所需各类营养的重要来源。蔬菜表型的量化和产量估计是其基因品种的选择和种植方式改进的前提，传统方式通过手工测量来完成，这是耗时而且繁琐的，同时改变了作物的生长状态，是破坏性的。因此，需要有高效便捷的原位蔬菜表型鉴定方法，以给育种研究和叶类蔬菜产量监测提供数据支持，从而改进提高蔬菜产量。

在过去的十几年，研究者广泛应用二维成像技术获取叶类蔬菜的表型。一些研究者使用CCD相机采集油菜数据，实现用于油菜表型二维参数的自动测量方法及装置。近些年，相关研究者将机器视觉与深度相结合，利用深度神经网络进行产量估计等。与此同时，一些研究者探索手机在农业生产中的应用，开发了基于手机拍摄图像的树木直径计算方法。然而由于二维世界缺乏深度信息，很难解决遮挡问题，尤其是在田间条件下这种情况非常普遍，从而难以获得研究对象精准的结构信息。

近些年，使用三维数据生成技术进行植物表型化的趋势不断增加。为了采集植物的三维数据，不同领域的研究者使用多种不同的基于三维传感器的技术，其主要可以分为两类：主动式和被动式。主动式传感器发射独立的光源，如手持激光扫描，结构光，地面激光扫描和飞行时间。LiDAR是用于表型分析的最广泛使用的主动传感器之一。除此之外，微软公司的Kinect是一种常见的主动传感器，它可以采集RGB-D数据，同时价格相对便宜，然而由于其分辨率较低，在室外场景下难以准确采集有效的数据。

基于被动方法的三维重建近些年受到关注。通过相机在不同角度采集感兴趣区域的图像，然后通过三角测量原理计算目标的深度信息。从运动中重建结构(SFM)方法由于其使用简单、鲁棒性等特点用于植物表型结构的测量、产量估计、良品预测中。目前由于SFM相关的工作针对单一的作物往往需要拍摄30到50张图像，拍摄过程复杂繁琐，且相机快门、ISO的参数的调整需要一定的经验。同时由于田间现场环境的复杂，如植物件的遮挡，风对植物抖动的影响，以及光照条件等都给这项工作带来了挑战。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于视频图像的叶类蔬菜三维表型测量方法，首先获取拍摄视频的关键帧，其后通过三维重建算法获得植物点云模型，通过点云骨架提取和点云分割获取叶类蔬菜的表型参数，最终实现基于手机视频数据的叶类蔬菜三维表型自动测量和分析。

本发明的目的通过以下的技术方案实现：

一种基于视频图像的叶类蔬菜三维表型测量方法，包括以下步骤：

通过数据获取装置获取叶类蔬菜的视频图像数据；

对视频图像数据进行去除模糊图像帧处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；

将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；

对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。

进一步地，所述通过数据获取装置获取叶类蔬菜的视频图像数据，具体为：通过数据获取装置以不同的角度环绕叶类蔬菜进行拍摄视频，获取叶类蔬菜的视频图像数据。

进一步地，所述对视频图像数据进行去模糊处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧，具体为：

S201、将视频图像数据解码为单帧图像进行保存，对保存的每一帧图像依次判断是否模糊，并将模糊的图像序号进行标记；

S202、对处理后未被标记模糊的单帧图像计算ExGR植被指数，得到叶类蔬菜显著图；

S203、对叶类蔬菜显著图依次进行分组并计算，获取视频图像数据中包含叶类蔬菜区域的关键帧。

进一步地，所述步骤S203，具体为：

设定I表示视频内一帧图像，对于一个具有n帧图像的视频S＝{I

计算所有集合内的每个叶类蔬菜显著图的SIFT特征，以第1个集合的第1个显著图I′

其中，{I'}

将m个关键帧在原始视频中对应的帧作为原始视频的图像序列，用于重建叶类蔬菜的三维点云模型。

进一步地，所述三维空间的后处理，包括滤波、平面拟合，简化。

进一步地，所述将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理的点云模型，具体为：

S301、对关键帧图像首先使用SFM算法重建得到稀疏的三维点云模型，进一步使用MVS算法进行重建，得到稠密的三维点云模型；

S302、对三维点云模型进行三维空间的滤波处理，得到滤波三维点云模型；

S303、对滤波三维点云模型进行平面拟合，将在检测到的平面作为地面，将垂直于地面的方向定义为Z轴方向，同时将平面以下的点云全部删除，得到平面拟合三维点云模型；

S304、对平面拟合点云模型进行简化，降低每个样本点云数量，从而将降低后续步骤的计算量。

进一步地，所述对后处理的点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，具体为：

S401、对点云模型进行尺寸转换，得到尺寸转换点云模型，进而得到叶类蔬菜点云模型的真实尺寸；

S402、对尺寸转换云模型进行骨架化处理，得到点云骨架模型；

S403、在点云骨架模型的基础上，对后处理点云模型进行点云分割，得到点云分割模型；

S404、对点云分割模型和点云骨架模型计算叶类蔬菜表型参数，得到叶类蔬菜三维表型测量。

进一步地，其特征在于，所述叶类蔬菜表型参数包括：植株高度、叶片数量、叶片长度、叶片夹角。

本发明与现有技术相比，具有如下优点和有益效果：

本发明通过直接录制绿叶蔬菜的视频最终得到表型参数，与其他基于摄影测量的其他方法相比，该方法不需要繁琐的图像拍摄过程；在关键帧提取步骤中，通过模糊图像去除和基于特征点匹配的方法，能够实现重建得到高质量的点云模型；提供了一种方便、低成本的三维表型测量手段，进一步的，可以将该方法扩展应用于其他叶类蔬菜的分析，对叶类蔬菜的改良、提高叶类蔬菜产量具有重要的现实意义。

附图说明

图1是本发明所述一种基于视频图像的叶类蔬菜三维表型测量方法的流程图；

图2为本发明所述实施例中视频数据通过不同角度采集的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于视频图像的叶类蔬菜三维表型测量方法，如图1所示，包括以下步骤：

通过数据获取装置获取叶类蔬菜的视频图像数据；

对视频图像数据进行去模糊处理，并使用基于植被指数和尺度不变特征变换匹配方法，获取视频图像数据中包含叶类蔬菜区域的关键帧；

将关键帧图像重建为三维点云模型，通过三维点云模型进行三维空间的后处理，得到后处理点云模型；

对后处理点云模型提取点云骨架并进行点云分割，进而对叶类蔬菜表型参数进行计算，得到叶类蔬菜三维表型测量结果。

具体如下：

第一步、通过手机以不同的角度环绕叶类蔬菜拍摄视频；使用为相机参数为2000万像素的手机，设置拍摄分辨率2880x2160，视频帧率为30fps，曝光参数为自动，对焦模式为每次拍摄前进行手动对焦，以尽可能稳定的方式拍摄绕叶类蔬菜旋转进行拍摄视频。为了获取尽可能多的信息，以距离植物中心以30到50cm的距离，分别对每株植物分别以相对于地平面以0度、45度，75度的夹角旋转3次进行拍摄。拍摄方式如图2所示。在拍摄视频完成后，对单个的叶类蔬菜进行手动的测量其表型参数。

第二步、对获取到的视频每一帧图像判断是否发生模糊并去除模糊图像，在此基础上，使用基于植被指数和尺度不变特征变换(SIFT)匹配算法，获取视频中包含作物区域的关键帧；

对于使用手机围绕叶类蔬菜进行拍摄的视频，由于人在拍摄过程中的抖动，造成视频帧出现模糊。已知模糊的图片边界信息少，而正常清晰的图片边界信息多。因此通过计算图片二阶导的方差值能够作为判断图片是否发生模糊的依据。Laplacian算子具有二阶可导性，可以用来计算出图片中边界的区域。则图像的模糊程度可表示为：

D(f)＝∑

其中，G(x,y)为图像f中的像素点(x,y)处的Laplacian算子的卷积。

植被指数主要能够反映植被在可见光、近红外波段反射等与土壤背景之间差异的指标，用来增强作物与周围地物的差异,有效分离出绿色作物和土壤背景。对于输入的RGB色彩空间图像，实验表明，过量绿色减去过量红色指数(ExGR)指数对于绿叶类蔬菜图像具有更优的表现，其中ExGR指数的计算方法如公式所示：

ExG＝2g-r-b，

ExR＝1.48r-g，

ExGR＝RxG-ExR，

尺度不变特征变换算法(SIFT)在图像平移、缩放、旋转等复杂变化环境下有着优异的性能，常用于图像拼接、点云模型重建等算法中。因此完整的关键帧提取方法如下：

1)设定I表示视频内一帧图像，对于一个具有n帧图像的视频S＝{I

2)对每个集合内的视频帧采用ExGR方法得到灰度化的叶类蔬菜显著图I′。

3)计算所有集合内的每个叶类蔬菜显著图的SIFT特征。以第1个集合的第1个显著图I

4)将m个关键帧在原始视频中对应的帧作为原始视频的图像序列，进一步用于重建叶类蔬菜的3D点云模型。

第三步、通过SFM算法将关键帧图像重建为三维点云模型并进行三维空间的滤波等后处理；

对步骤二得到的关键帧图像使用SFM算法得到稀疏点云，之后使用MVS算法将稀疏点云重建为稠密点云。受到外界环境的影响，生成的点云模型包含一些离散分布的噪声，因此需要对点云模型进行三维空间的滤波处理。采取基于半径的离群点过滤器，进行噪声点过滤，从而获得更平滑的点云模型。

对于重建得到的点云，其在包含植物的同时也包含土壤地面。首先对点云模型进行平面检测，检测到的平面即为地平面。使用随机样本共识(RANSAC)算法来拟合平面，在检测到地面之后，将垂直于地面的方向定义为Z轴，同时将平面以下的点云全部删除，保留下来点云用于后续植物表型的计算。重建得到的高精度点云往往包含数十万甚至多达百万数量级，这对于后续的计算量是巨大的。为了提高效率，需要对点云进行简化，降低每株植物点云数量到1～3万左右，在模型精度影响较小的前提下，有效降低后续步骤计算量。

第四步、对后处理的点云模型提取点云骨架并进行点云分割，在此基础上对叶类蔬菜表型参数进行计算。

为了获得点云与真实世界之间的尺寸关系，首先测量立方体在三维空间的尺寸，能够得到比值k＝L

植物株高；当植株与地面近乎垂直时，则其是从土壤地上部分开始到植物最顶端的欧式距离。此时可以直接对点云Z轴方向的最大值与最小值作差，即植物株高H＝Z

叶片数量；对于叶类蔬菜，叶片数量可以通过计算植株骨架分支的个数来得到。

叶片长度；其由叶片分支骨架线的长度来计算。对于包含有的n个结点v

叶片角度；首先计算地面的法向量α，再通过叶片骨架分支计算分支处的切向量γ，则叶片分支夹角θ有：

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。