一种采摘机器人的重叠果实快速跟踪识别方法

摘要

本发明公开了一种采摘机器人的重叠果实快速跟踪识别方法，通过摄像头连续采集的最新10帧重叠苹果图像；对采集到的第一帧图像进行分割，去除背景；通过计算圆内的点到轮廓边缘最小距离的极大值确定重叠苹果圆心的位置，计算圆心到轮廓边缘的距离确定半径；根据圆心与半径截取后续匹配的模板；确定连续采集的最新10帧图像中重叠苹果的圆心，根据每帧图像的圆心对机器人的运动路径进行拟合、预判，综合半径与预判路径确定下一帧图像中重叠苹果的位置，并截取重叠苹果区域。最后，采用快速归一化互相关匹配算法进行匹配识别。通过该方法能够实现对重叠苹果等类球状重叠果实的跟踪识别，并且运行时间短，能有效提高采摘机器人的采摘效率。

说明书

技术领域

本发明属于农业机械领域，涉及果蔬采摘机器人的图像识别方法，特别是对苹果等类 球状重叠果实的快速跟踪识别方法。

背景技术

自1983年第1台西红柿采摘机器人在美国诞生以来，采摘机器人的研究开发历经30 多年，各国相继立项研究各类蔬果采摘智能机器人。然而，因为识别率和采摘率不高等问 题，采摘机器人离实用化和商品化还有一定的距离，因此，提高采摘机器人的采摘效率， 增强采摘机器人的实用性能是当前研究的关键。

果实的识别和定位是果实采摘机器人的首要任务和设计难点，识别和定位的准确性关 系到采摘机器人的工作效率。国内外学者对于重叠果实进行了大量的研究，并取得了一些 初步的成果。项荣等(2012)提出了一种基于边缘曲率的方法识别重叠番茄，对于轻微遮挡的 重叠番茄的识别正确率为90.9％。宋怀波等(2013)在K-means聚类分割的基础上，采用基于 凸壳的方法分割重叠苹果，经实验证明，该方法得到的苹果目标重合度为85.08％，平均定 位误差为14.15％。Xu Yongwei等(2013)采用支持向量机的HOG算子识别重叠的草莓，其 识别成功的准确率为87％。然而，这些研究都是针对静态条件下的，静态识别的方法并不 能完全适用于采摘机器人在运动过程的动态采摘。吕继东等(2014)对动态果实的识别进行了 初步研究，实验证明利用前后图像的相关性能够有效减少图像处理的时间，然而对于重叠 果实的动态跟踪识别研究较少。

发明内容

本发明的目的是：提供一种针对苹果等类球状重叠果实的快速跟踪识别方法，解决由 于果实自然生长导致重叠而影响机器人跟踪识别的问题。其方法简单，通用性好，能够准 确定位出重叠球状果实并提高机器人采摘的速度。

本发明采摘机器人重叠果实快速跟踪识别方法的技术方案包括以下步骤：

一种采摘机器人的重叠果实快速跟踪识别方法，包括以下步骤：

步骤1，重叠苹果图像采集：采用彩色CCD摄像头连续采集图像；

步骤2，目标果实分割：对采集到的图像进行分割，去除背景，并采用数学形态学方 法对分割后的图像进行完善，去除噪声以及孔洞；

步骤3，确定重叠苹果的圆心与半径：通过寻找圆内点到轮廓边缘最小距离的极大值 找到圆心的位置；圆心确定后，根据圆心到轮廓边缘的距离确定半径；

步骤4，提取目标果实模板：根据求得的圆心与半径再加上一定的预留值截取后续匹 配的模板；

步骤5，机器人运动路径预判：对机器人运动中连续采集的最新10幅图像中果实的圆 心的运动路径进行拟合并预判，根据预判的圆心以及果实的半径截取重叠果实区域；

步骤6，匹配识别：采用快速归一化互相关匹配对重叠果实进行匹配识别。

进一步，所述步骤2中采用数学形态学方法对分割后的图像进行完善的过程为：

步骤2.1，用半径为一个像素的圆盘形结构元素对图像进行膨胀运算，扩充边界点，填 补部分孔洞；

步骤2.2，用floodfill算法进行孔洞填充，填补花萼部分的缺孔，之后求得图像的最大 连通区域，将孤立的毛刺去除；

步骤2.3，对图像进行腐蚀运算，消除边界部分的噪声。

进一步，所述步骤3具体为：

步骤3.1，确定圆心的步骤：定义四个扫描方向A(x⁺,y⁺)、B(x^-,y⁺)、C(x^-,y^-)、D (x⁺,y^-)，在A方向，以从左往右，从上到下的方式进行扫描；在B方向，以从右往左， 从上到下的方式进行扫描；在C方向，以从右往左，从下到上的方式进行扫描；在D方向， 以从左往右，从下到上的方式进行扫描；

步骤3.2，确定半径的步骤：上述求出重叠苹果的圆心A(a_x,a_y)、B(b_x,b_y)；再求出经过 圆心A、B的直线方程y；求出该直线与果实轮廓的交点C(c_x,c_y)、D(d_x,d_y)；半径 $r_1=\sqrt{{(a_x-c_x)}^2+{(a_y-c_y)}^2},r_2=\sqrt{{(b_x-d_x)}^2+{(b_y-d_y)}^2}.$

进一步，所述步骤5的具体处理过程如下：

步骤5.1，根据所述步骤3.1确定的前9幅连续采集的图像中重叠果实两个圆心的位置， 对两个圆心的中点进行多项式拟合，拟合出机器人运动的路径，再结合机器人运动速度以 及采样时间进行预判，估计出下一帧图像中圆心中点的位置；

步骤5.2，根据所述步骤3.2确定出半径，求出两个果实半径的最大值r_max，以步骤5.1 预判的两个圆心的中点为中心，截取边长为4*r_max的正方形作为后续图像处理的区域。

进一步，所述步骤6中归一化互相关匹配的算法简化为：

$R_1(x,y)=\frac{F^{-1}\left\{F\right\{I\}·F*\{T^{\prime }\left\}\right\}}{\sqrt{\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{[I(x+u,y+\gamma )-{\bar{I}}_{x,y}]}^2}}$

式中，I为待匹配图像(像素为M×N)；T为(x,y)为模板图像(像素为m×n)；(x,y)为子 图I_x,y的左上角在图像I中的坐标；(u,γ)为像素在模板中的坐标；为子图I_x,y的像素平 均值；

本发明的技术效果为：对于苹果等类球状果实由于自然生长导致的果实重叠情况，该 发明方法能够在机器人运动状态下准确定位出重叠果实，而且根据前后图像信息对机器人 运动路径进行预判，减少后续图像处理的工作量，因此运行时间短，采摘的实时性得到了 有效提高。

附图说明

图1为重叠苹果快速跟踪识别流程图；

图2为重叠苹果果实图像分割以及形态学运算后的图像，其中，图2a为原始图像，图 2b为分割完善后的图像；

图3为图2所示重叠苹果原始图像的识别定位图，其中，图3a为确定圆心时的扫描方 向示意图，图3b为圆内的点到轮廓边缘的最小距离三维函数图，图3c为确定半径的方法 示意图，图3d为重叠果实图像的识别结果图；

图4为提取的匹配模板图；

图5为机器人运动路径曲线拟合图；

图6为重叠苹果区域提取结果图，其中图6a为重叠苹果区域提取的示意图，图6b为 结果图；

图7为快速归一化互相关匹配结果图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的说明，本发明的具体流程如图1所 示。

1、重叠苹果图像采集

本发明采用彩色CCD摄像头连续采集图像，采集频率为10帧/秒，机器人运动过程中 连续采集图像，利用最新的10幅重叠苹果图像。

2、目标果实分割

本实施例采用基于颜色特征的OTSU分割法对采集到的图像进行分割，也就是用RGB 彩色模型下的R分量减去G分量。经过分割后的图像存在孔洞，毛刺，噪声等，因此采用 数学形态学方法对分割后的图像进行完善。具体方法是首先用半径为1个像素的圆盘形结 构元素对图像进行膨胀运算，扩充边界点，填补部分孔洞；然后用Floodfill算法进行孔洞 填充，填补花萼部分的缺孔，之后求得图像的最大连通区域，将孤立的毛刺去除；最后， 再对图像进行腐蚀运算，消除边界部分的噪声。图像分割完善效果如图2所示。

3、确定重叠苹果的圆心与半径

3.1确定圆心

通过寻找圆内点到轮廓边缘最小距离的极大值便能找到圆心的位置。但是，若是计算 圆内所有的点到轮廓边缘的距离必定会占用大量的内存且实时性较差。本实施例采用改进 的方法对圆内的点进行扫描，定义四个扫描方向A(x⁺,y⁺)、B(x^-,y⁺)、C(x^-,y^-)、D(x⁺,y^-)。 在A方向，以从左往右，从上到下的方式进行扫描；在B方向，以从右往左，从上到下的 方式进行扫描；在C方向，以从右往左，从下到上的方式进行扫描；在D方向，以从左往 右，从下到上的方式进行扫描，示意图如图3a所示。

轮廓内的点与其四邻域的点比较之后取最小值，可以得到最小距离函数，其三维曲面 效果图如图3b所示。其中红色圆圈标出的便是最小距离的两处极大值，也就是两个重叠苹 果的圆心位置。

3.2确定半径

圆心确定后，可以根据圆心确定半径，然而不能单纯依靠圆心到轮廓边缘距离的最大 值来确定半径，因为重叠果实情况下，距离最大值可能是到另一个苹果轮廓的距离。为了 避免这种情况，本文采取以下方式：根据3.1求出重叠苹果的圆心A(a_x,a_y)、B(b_x,b_y)；再求 出经过圆心A、B的直线方程y；求出该直线与果实轮廓的交点C(c_x,c_y)、D(d_x,d_y)；半径 $r_1=\sqrt{{(a_x-c_x)}^2+{(a_y-c_y)}^2},r_2=\sqrt{{(b_x-d_x)}^2+{(b_y-d_y)}^2}.$确定半径的示意图如图3c所示。重 叠果实定位的效果图如图3d所示。

4、提取目标果实模板

根据3.1、3.2确定圆心与半径再加上一定的预留值截取后续匹配的模板。其效果图如 图4所示。

5、机器人运动路径预判步骤：根据机器人运动中连续采集的最新10幅图像中果实的 圆心对其运动路径进行拟合并预判。具体处理步骤如下：

Step1根据之前由3.1的方法确定的前9幅连续采集的图像中重叠果实两个圆心的位 置，对两个圆心的中点进行多项式拟合，拟合精度为小于等于0.5，如图5所示，拟合出机 器人运动的路径，再结合机器人运动速度以及采样时间进行预判，估计出下一帧图像中圆 心中点的位置。

Step2由3.2的方法确定出半径，求出两个果实半径的最大值r_max，以Step1预判的两 个圆心的中点为中心，截取边长为4*r_max的正方形作为后续图像处理的区域。其示意图如 图6a所示。

经过处理后的重叠果实区域提取效果图如图6b所示。

6、匹配识别

采用快速归一化互相关匹配对重叠果实进行匹配识别。图7为快速归一化互相关匹配 结果图。

归一化互相关匹配的算法步骤如下：

设待匹配图像I(像素为M×N)与模板图像T(像素为m×n)，归一化相关系数的定义 为：

$R(x,y)=\frac{\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}[I(x+u,y+\gamma )-{\bar{I}}_{x,y}][T(u,\gamma )-\bar{T}]}{\sqrt{\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{[I(x+u,y+\gamma )-{\bar{I}}_{x,y}]}^2\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{[T(u,\gamma )-\bar{T}]}^2}}---\left(1\right)$

式中：(x,y)为子图I_x,y的左上角在图像I中的坐标；(u,γ)为像素在模板中的坐标；

${\bar{I}}_{x,y}=\frac{1}{\mathrm{mn}}\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}\left[I(x+u,y+\gamma )\right]---\left(2\right)$

为子图I_x,y的像素平均值；

$\bar{T}=\frac{1}{\mathrm{mn}}\underset{i=0}{\overset{m-1}{\Sigma }}\underset{j=0}{\overset{n-1}{\Sigma }}T(u,\gamma )---\left(3\right)$

为模板T的像素平均值。R(x,y)的范围在(0,1)之间，系数越大，说明两个匹配模板间的 相似性越高。

归一化互相关匹配计算量过大，实时性较差，因此，采用快速归一化互相关匹配算法。 具体步骤如下：

Step 1设则经过简化，式(1)的分子部分可以改写为：

$\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}I(x+u,y+\gamma )T^{\prime }(u,\gamma )-{\bar{I}}_{x,y}\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{T}^{\prime }(u,\gamma )---\left(4\right)$

式中$\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{T}^{\prime }(u,\gamma )=\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}[T(u,\gamma )-\bar{T}]=0$则分子进一步简化为：

$R{(x,y)}_{\mathrm{numerator}}=\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}I(x+u,y+\gamma )T^{\prime }(u,\gamma )---\left(5\right)$

根据傅里叶变换的性质，分子可以改写为

R(x,y)_numerator＝F^-1{F{I}·F*{T'}}      (6)

Step 2对于分母部分，由于模板是已知的，因此是已知的定值，不会 影响归一化匹配时寻找最优解，可以不计算，所以式(1)的分母可以简化为：

${R(x,y)}_{\mathrm{numerator}}=\sqrt{\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{[I(x+u,y+\gamma )-{\bar{I}}_{x,y}]}^2}---\left(7\right)$

综上所述，归一化相关系数可以简化为：

$R_1(x,y)=\frac{F^{-1}\left\{F\right\{I\}·F*\{T^{\prime }\left\}\right\}}{\sqrt{\underset{\mu =0}{\overset{m-1}{\Sigma }}\underset{\gamma =0}{\overset{n-1}{\Sigma }}{[I(x+u,y+\gamma )-{\bar{I}}_{x,y}]}^2}}---\left(8\right)$

应理解上述施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后， 本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范 围。