基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法

摘要

本发明公开了一种基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法，该方法在夜间通过人工光源辅助照明采集苹果果园中的彩色图像，采用改进的分水岭算法沿图像边缘将图像碎片化，提取每个碎片的颜色特征和纹理特征，再建立反向传播人工神经网络并利用己知类别碎片的特征量进行训练，接着利用训练好的神经网络根据每个碎片的特征量进行分类，最后根据碎片之间的位置关系滤除错误分类以修正分类结果并确定苹果的位置。本发明通过将图像碎片化并对碎片进行分类的方法识别夜间苹果，能有效抑制人工光源造成的光照不均、阴影和反光现象对苹果识别的影响，并提高识别苹果的完整度和定位精度。

说明书

技术领域

本发明涉及果树采摘机器人，尤其是苹果采摘机器人在夜间的图像识别技术领域，基于分水岭和神经网络对夜间苹果果实进行识别。

背景技术

我国是世界上最大的苹果生产国，而采摘作业是苹果种植生产中最耗时、费力的环节之一，对机器采摘作业的需求越来越迫切。但目前，苹果采摘机器人的采摘效率受限于图像的识别速度和机械手的采摘速度还难以与人工相媲美。2008年，比利时学者开发了苹果采摘机器人AFPM，对直径在6cm到11cm的苹果采摘率在80％左右，平均采摘时间为9秒。2011年中国农业机械化科学研究院与江苏大学联合研制的苹果采摘机器人，其采摘成功率为80％，收获速度为15秒/个。然而机器人具有不知疲倦、可以长时间连续工作的优势，因此，另辟蹊径实现全昼夜作业，可以提高苹果采摘机器人总体工作效率。昼夜作业的实现要求采摘机器人的视觉系统能适应多种光照条件，其中夜间人工光源照明下的采摘作业是其中的重要组成部分。

夜间人工光源下的果蔬识别国内外均有所研究，但是大都以产量估计为目的。2014年，国内学者张春龙等采用以归一化的g分量和HSV色彩空间的H，S颜色分量为特征参量的支持向量机分类器和以超绿算子(2G-R-B)为特征的阈值分类器识别出夜间光照下的青苹果并估算产量。2014年，澳大利亚学者A.Payne等采集了夜间LED光照下的芒果图像，结合YCbCr彩色空间的颜色特征与形状纹理特征识别芒果并估算芒果产量。2013年，美国学者D.Font等在夜间利用人工光源照明采集了红色成熟葡萄的RGB图像，通过检测葡萄表面的球面反射峰值计算葡萄个数。2014年，StephenNuske等综合颜色、形状、纹理多种视觉特征对夜间人工光源下的青葡萄进行识别以估算产量。然而以产量估算为目的果蔬识别在目标水果定位的精确性上难以满足机器人采摘的需要。为了引导机械手进行采摘，还需要进一步减少夜间人工光源照明带来的干扰因素实现目标水果的精确定位。

分水岭算法的基本思想是把图像看作测地学上的拓扑地貌，图像中的每个像素值代表该点的海拔高度，每个局部极小值及其影响区域称为集水盆。分水岭的形成可以通过模拟浸没过程来说明。在每一个局部最小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每个局部最小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

形态学开闭滤波就是对二值图像先进行开运算再进行闭运算。其中开运算具有去除毛刺，平滑边缘并滤除小的孤立点的作用；闭运算具有弥合断点，填充小的孔洞的作用。开运算可以几何的描述为将结构元素紧贴原图像内部边界滚动并保证结构元素始终包含于原图像内，结构元素中的点所能达到的最靠近原图像内边界的位置构成了开运算结果的外边界。闭运算和开运算是对偶的，同样可以几何的描述为将结构元素紧贴原图像的外边界滚动，滚动过程中始终保证其不离开原图像，此时结构元素中的点所能达到的最靠近原图像外边界的位置构成了闭运算的外边界。

神经网络又叫人工神经网络(ArtificialNeuralNetwork，ANN)，是对人脑或生物神经网络若干基本特性的抽象和模拟。神经网路优异的学习能够大大节省对数据进行分析建模的工作量，提高分类效率。其中反向传播人工神经网络(BackPropogationArtificialNeuralNetwork，BP神经网络)是应用最为广泛的神经网络之一。

发明内容

本发明的目的是提供一种基于分水岭和神经网络的针对夜间人工光源条件下苹果采摘机器人的图像识别方法，能有效抑制人工光源造成的光照不均、阴影和反光现象对苹果识别的影响，并提高识别苹果的完整度和定位精度。

本发明解决其技术问题所采用的技术方案是：在夜间通过人工光源辅助照明采集苹果果园中的彩色图像，采用改进的分水岭算法沿图像边缘将图像碎片化，提取每个碎片的颜色特征和纹理特征，再建立反向传播人工神经网络并利用已知类别的碎片的特征量进行训练，接着利用训练好的神经网络根据每个碎片的特征量进行分类，最后根据碎片之间的位置关系滤除错误分类以修正分类结果并确定苹果的位置，其中：所述改进的分水岭算法是将分水岭算法的输入变为所采集彩色图像的梯度图像并对梯度图像采用3×3模板进行中值滤波和开闭滤波以平滑噪声；所述图像碎片化是以改进分水岭算法检测的边缘为基础将图像分为大小不一的碎片；所述颜色特征是为图像碎片内像素点在RGB颜色空间的颜色平均值和方差；所述纹理特征是为图像碎片内所有像素灰度直方图的统计特征，包括：均值，标准差，平滑度，熵；所述反向传播人工神经网络训练是分别取苹果、树叶、树枝和背景的图像碎片若干并分别提取其颜色特征和纹理特征作为神经网络输入，这些碎片对应的类别编号作为神经网络输出，然后进行多次训练并选取训练误差最小的网络作为最终用于分类的网络；所述反向传播人工神经网络分类是提取图像中每个碎片的颜色特征和纹理特征，并利用训练好的神经网络将其分为苹果、树叶、树枝和背景4类；所述碎片之间的位置关系是采用区域邻接图描述图像碎片之间的邻接关系；所述滤除错误分类是将孤立的或者只有一个苹果碎片与之相邻的苹果碎片作为错误分类的碎片并予以滤除。

进一步，在夜间通过人工光源辅助照明采集苹果果园中的彩色图像的具体过程为：首先在夜间以白色LED灯作为人工辅助照明光源，选用CMOS彩色摄像头对目标果实进行拍摄完成图像采集。

进一步，所述改进的分水岭算法的改进部分为：

a)彩色图像梯度计算：和灰度图像的梯度计算相比，彩色图像的梯度计算把关于单一灰度的计算转换成三维的向量计算，彩色图像在点(x，y)上的梯度定义公式如下：

$>g(x,y)=\left(\begin{array}{c}\overrightarrow{u}\\ \overrightarrow{v}\end{array}\right)=\left(\begin{array}{c}\frac{\partial R}{\partial x}\overrightarrow{r}+\frac{\partial G}{\partial x}\overrightarrow{g}+\frac{\partial B}{\partial x}\overrightarrow{b}\\ \frac{\partial R}{\partial y}\overrightarrow{r}+\frac{\partial G}{\partial y}\overrightarrow{g}+\frac{\partial B}{\partial y}\overrightarrow{b}\end{array}\right)$>

其中，R、G、B分别是点(x，y)处的颜色分量；分别是沿RGB彩色空间的R、G、B轴的单位向量；分别是彩色图像在点(x，y)处沿x和y方向的梯度向量。

b)采用中值滤波和形态学的开闭滤波相结合的方法对梯度图像进行滤波：采用3×3正方形模板对彩色图像的梯度图像进行中值滤波后，再采用3×3的正方形结构元素对其进行开闭滤波。

进一步，所述图像碎片化是以改进分水岭算法检测的边缘为基础将图像分为大小不一的碎片。

进一步，所述颜色特征是为图像碎片内像素点在RGB颜色空间的颜色平均值和方差；所述纹理特征是为图像碎片内所有像素灰度直方图的统计特征，包括：灰度均值，标准差，平滑度，熵。

进一步，所述反向传播人工神经网络训练是分别取苹果、树叶、树枝和背景的图像碎片若干并分别提取其颜色特征和纹理特征作为神经网络输入，这些碎片对应的类别编号作为神经网络输出，然后进行多次训练并选取训练误差最小的网络作为最终用于分类的网络；所述反向传播人工神经网络分类是提取图像中每个碎片的颜色特征和纹理特征，并利用训练好的神经网络将其分为苹果、树叶、树枝和背景4类。

进一步，所述碎片之间的位置关系是采用区域邻接图描述的图像碎片之间的邻接关系。

进一步，所述滤除错误分类是将孤立的或者只有一个苹果碎片与之相邻的苹果碎片作为错误分类的碎片并予以滤除。

本发明的有益效果是：

1)一般的边缘检测算法难以形成稳定的闭合回路，本发明采用分水岭算法对原始图像进行边缘检测并间接地应用边缘信息将图像碎片化，以便实现图像的区域化描述。

2)常规分水岭算法对噪声特别敏感，易造成图像梯度恶化和分割轮廓的偏移；其次，易产生过分割现象。本发明应用该经典算法优化分水岭分割效果并针对夜间图像特点在梯度图像计算方法和滤波模板大小方面进行了适当的选择和改进；因此采用RGB彩色向量空间的梯度计算方法可以使梯度图像的细节表现更完善，为后面的分水岭分割打好基础；为了克服分水岭算法易受到噪声等影响造成过分割的问题，采用中值滤波和形态学与开闭计算相结合对梯度图像进行滤波。

3)分水岭算法将图像分割成大小适中的区域化碎片，因此只要对图像碎片进行分类并筛选出属于目标水果的图像碎片就能将目标苹果从复杂的背景中分类出来。本发明提取碎片的颜色特征和纹理特征作为碎片分类的依据。通过将图像碎片化并根据碎片的颜色和纹理特征对图像碎片进行分类的方法，能有效抑制人工光源造成的光照不均、阴影和反光现象对苹果识别的影响，并提高识别苹果的完整度和定位精度。

4)本发明根据图像碎片的颜色特征和纹理特征采用反向传播人工神经网络(BackPropogationArtificialNeuralNetwork，BP神经网络)对碎片进行分类，再根据碎片之间的空间位置关系对已分类的碎片进行进一步的修正。BP神经网络的学习能力可以节省前期人为建模的工作量并且在训练精度上达到满意的效果。

附图说明

图1为夜间LED光源下的图像；

图2为原始分水岭分割效果图；

图3分水岭算法改进流程图；

图4改进后分水岭分割效果图；

图5不同景物的局部放大样本图；

图6BP神经网络拓扑结构图；

图7图像碎片分类效果图；

图8区域邻接图生成示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步描述。

本发明具体实施步骤主要分为图像碎片化、碎片特征提取、碎片分类三部分，采用改进的分水岭算法沿所采集图像的边缘将图像碎片化；提取每个碎片的颜色特征和纹理特征；建立神经网络并利用已知类别的碎片的特征量进行训练，接着利用训练好的神经网络根据每个碎片的特征量进行分类，最后根据碎片之间的位置关系滤除错误分类的苹果碎片并确定苹果的位置。具体如下：

1、图像碎片化

首先在夜间以白色LED灯作为人工辅助照明光源，选用CMOS彩色摄像头对目标果实进行拍摄完成图像采集。采集的夜间苹果果实图像受人工光源影响易造成光照不均形成局部阴影和反光等现象使局部区域亮度过高或过低并使细节和颜色信息受损。如图1所示，这是一幅夜间LED光源下拍摄的图像。观察图中标注的区域发现：受反光和阴影影响严重的区域像素颜色值基本一致，已经很难看出该景物本来的颜色。此外，复杂的光线环境也会造成即使同一物体的不同区域的颜色和亮度差距较大，这都增加了识别的难度。

然而以图像的边缘为基础将图像碎片化，同一碎片内像素除了具有颜色或灰度上的相对一致性，还具有一定范围内的差异性。颜色的差异性表明以碎片区域为单位的图像特征描述相对于以像素为单位的图像特征描述对光照的敏感度更低。边缘是图像的基本特征之一，边缘信息的检测和应用有助于改善图像识别的精确度。在具有复杂背景的图像中，边缘信息的应用受到限制，更多的被应用于简单背景的图像识别中。本发明采用分水岭算法对原始图像进行边缘检测并间接地应用边缘信息将图像碎片化，以便实现图像的区域化描述。

采用分水岭算法检测图像边缘信息相较于Roberts算子、Sobel算子、Prewitt算子等边缘检测算子，不仅能够检测出图像的边缘信息产生更稳定的分割结果还能形成完整的边界将图像碎片化形成内部颜色或灰度相对一致的区域。分水岭算法也有不可忽视的缺点：首先分水岭算法对噪声特别敏感，易造成图像梯度恶化和分割轮廓的偏移；其次，易产生过分割现象。采用未经优化改进的原始分水岭算法对图像进行分割其效果如图2所示。从图2中可以看出原始分水岭算法具有严重的过分割现象，这种分割结果基本不可用。

为此需要对分水岭算法进行必要的改进来抑制噪声和过分割现象，通过将图像变换为梯度图像并对其滤波平滑后再进行分水岭分割是一种经典的分水岭优化算法。本发明应用该经典算法优化分水岭分割效果并针对夜间图像特点在梯度图像计算方法和滤波模板大小方面进行了适当的选择和改进，具体流程如图3所示。

常规的彩色图像梯度计算是将彩色图像灰度化后再计算梯度或拆分成多个单一颜色通道的图像计算梯度后再叠加合成。然而这两种方法产生的梯度图像都不够准确，会影响分水岭分割的效果。为准确表达彩色图像的梯度，需要把梯度计算公式中关于单一灰度的计算转换成三维的向量计算。因此采用RGB彩色向量空间的梯度计算方法可以使梯度图像的细节表现更完善，为后面的分水岭分割打好基础。彩色图像在点(x，y)上的梯度定义公式如下：

$>g(x,y)=\left(\begin{array}{c}\overrightarrow{u}\\ \overrightarrow{v}\end{array}\right)=\left(\begin{array}{c}\frac{\partial R}{\partial x}\overrightarrow{r}+\frac{\partial G}{\partial x}\overrightarrow{g}+\frac{\partial B}{\partial x}\overrightarrow{b}\\ \frac{\partial R}{\partial y}\overrightarrow{r}+\frac{\partial G}{\partial y}\overrightarrow{g}+\frac{\partial B}{\partial y}\overrightarrow{b}\end{array}\right)---\left(1\right)$>

其中，R、G、B分别是点(x，y)处的颜色分量；分别是沿RGB彩色空间的R、G、B轴的单位向量；分别是彩色图像在点(x，y)处沿x和y方向的梯度向量。彩色图像梯度的定义与灰度图像梯度的定义的主要区别是：灰度图像沿x或y轴的梯度是标量；彩色图像沿x或y轴的梯度是一个向量，对各个颜色分量的梯度合成是按照向量计算而不是简单叠加。

由于分水岭算法易受到噪声等影响造成过分割，需要对彩色梯度图像进行必要的滤波。本发明采用中值滤波和形态学与开闭滤波相结合对梯度图像进行滤波。中值滤波采用的是3×3正方形模板，开闭滤波的结构元素也是3×3的正方形结构。对平滑后的彩色梯度图像利用分水岭算法进行分割将图像分为大小不一的碎片，分割效果如图4所示。

2、碎片特征提取

分水岭算法已将图像分割成大小适中的区域化碎片，因此只要对图像碎片进行分类并筛选出属于目标水果的图像碎片就能将目标苹果从复杂的背景中分类出来。本发明提取碎片的颜色特征和纹理特征作为碎片分类的依据。

2.1颜色特征提取

颜色特征是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关，并且与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小。颜色特征的描述首先需要选择合适的颜色空间来表达，RGB颜色空间是最常用的颜色空间而且原始图像数据也是在RGB颜色空间表达的，因此直接采用RGB颜色空间进行颜色特征的描述。为了反映每个碎片内部像素点的色彩属性的一致性和差异性，因此考虑采用碎片内像素点的颜色平均值和方差(Var作为碎片的色彩特征量。其中方差(Var的计算公式如下：

$>Var=\frac{\underset{i=1}{\overset{n}{\Sigma }}\left|\right|(R_i,G_i,B_i)-(\bar{R},\bar{G},\bar{B})|{|}^2}{n}---\left(2\right)$>

其中，n为碎片内像素点的总数，为碎片内第i个像素点的颜色值。

2.2纹理特征提取

纹理特征是图像的固有特征之一，是灰度或颜色在空间以一定的形式变换而产生的图案，有时具有一定的周期性。图5分别是截取的苹果、树叶、树枝和背景的局部放大图像。图像碎片的纹理特征采用的是碎片内所有像素灰度直方图的统计特征，包括：灰度均值，标准差，平滑度，熵。首先需要将彩色的图像碎片灰度化，其变换公式如下：

Gray＝R×0.299+G×0.587+B×0.114(3)其中Gray是灰度值，R，G，B分别是像素点在RGB颜色空间的三个颜色分量。将图像灰度化后，建立对应灰度直方图并计算直方图的四个统计特征。

(1)灰度均值：纹理亮度的平均度量。

$>m=\underset{i=0}{\overset{L-1}{\Sigma }}{z}_{i}p\left(z_i\right)---\left(4\right)$>

式中：m是灰度均值；L是灰度级总数；表示第i个灰度级；p(z_i)是灰度级z_i的概率。

(2)标准差：纹理平均对比度的度量。

$>\sigma =\sqrt{\underset{i=0}{\overset{L-1}{\Sigma }}{(z_i-m)}^{2}p\left(z_i\right)}---\left(5\right)$>

式中：σ是标准差；其他参数含义同式(4)所述。

(3)平滑度：纹理亮度的相对平滑度度量。

$>R=\frac{1}{1+{\sigma }^2}---\left(6\right)$>

式中：R是平滑度；σ是标准差。

(4)熵：随机性的度量。

$>e=-\underset{i=0}{\overset{L-1}{\Sigma }}p\left(z_i\right){\log }_{2}p\left(z_i\right)---\left(7\right)$>

式中：e是熵；其他参数含义同式(4)所述。

3、碎片分类

本发明根据图像碎片的颜色特征和纹理特征采用反向传播人工神经网络(BackPropogationArtificialNeuralNetwork，BP神经网络)对碎片进行分类，再根据碎片之间的空间位置关系对已分类的碎片进行进一步的修正。

3.1BP神经网络分类

所述反向传播人工神经网络分类是提取图像中每个碎片的颜色特征和纹理特征，并利用训练好的神经网络将其分为苹果、树叶、树枝和背景4类。

具体过程为：BP神经网络的输入数据为各个图像碎片的色彩平均值、方差、灰度均值、标准差、平滑度和熵(R，G，B，Var，m，R，e)，其维度为8。BP神经网络的输出主要分为4类：苹果、树叶、树枝、背景。因此建立的BP神经网络是一个八输入四输出结构的简单分类系统，采用单隐层经典的BP神经网络三层拓扑结构，即隐层的传递函数采用双极性S函数TANSIG，输出层采用线性函数PURELIN，通过试凑法将隐层节点数定为12，其拓扑结构如图6所示。

为了使建立的BP神经网络发挥出应有的分类效果，需要对其进行必要的训练。所述反向传播人工神经网络训练是分别取苹果、树叶、树枝和背景的图像碎片若干并分别提取其颜色特征和纹理特征作为神经网络输入，这些碎片对应的类别编号作为神经网络输出，然后进行多次训练并选取训练误差最小的网络作为最终用于分类的网络。

具体过程为：采集苹果、树叶、树枝、背景四种图像碎片各60个并计算其色彩平均值、方差、灰度均值、标准差、平滑度和熵以作为BP神经网络的输入数据；同时建立对应的类别标签作为训练的输出数据，对该网络进行20次训练，选取训练误差最小的网络作为最终分类网络来对图像进行分类，其分类效果如图7所示。从图7中可以看出，该网络将图像碎片分为四类，图中红色碎片表示苹果，绿色碎片表示树叶，灰色碎片表示树枝，黑色碎片表示背景。

3.2碎片位置关系修正

根据碎片之间的位置关系滤除错误分类以修正分类结果并确定苹果的位置，所述滤除错误分类是将孤立的或者只有一个苹果碎片与之相邻的苹果碎片作为错误分类的碎片并予以滤除。

树枝和树叶区域识别的小范围偏差对苹果采摘的影响较小，而目标苹果的误判则会给目标的定位和识别带来了较大的干扰，因此需要滤除非目标区域的干扰。类似图6中较小红色区域的被误判区域具有面积小、位置孤立的特点。由于误判区域的相邻碎片区域通常没有或很少存在同类的区域，因此误判区域空间位置的孤立性是误判区域区别于其他区域的重要特征。

为了描述不同碎片在二维空间中的关系，碎片之间的位置关系是采用区域邻接图描述的图像碎片之间的邻接关系，首先需要建立一个区域邻接图(RegionAdjacencyGraph，RAG)来表达不同碎片区域之间的邻接关系。区域邻接图是一个N×N的二值矩阵，其中N为图像碎片的个数。若P为一幅区域邻接图，其中P(i，j)＝1，(i，j＝1，2，3…N)，则表示第i个图像碎片与第j个图像碎片相邻，若为0则不相邻，具体邻接图生成方式如图8所示。

根据区域邻接图的描述，统计每个误判的苹果碎片区域周围相邻的同类碎片的个数。根据多幅图像的统计结果，得出绝大多数误判的苹果碎片周围相邻的同类碎片个数为0或1个。因此在实验中通过统计每幅图像中苹果碎片相邻同类碎片的个数，将个数为0或1的碎片作为误判碎片滤除减少干扰。

最后对苹果碎片进行闭运算使相邻的苹果碎片连成一体再进行孔洞填充，其中闭运算的结构元素为3×3的正方形；接着计算每个苹果连通区的中心以确定苹果的中心位置。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。