基于深度卷积神经网络的樱桃分级检测方法及系统

摘要

本发明公开了一种基于深度卷积神经网络的樱桃分级检测方法及系统，涉及樱桃检测技术领域，包括：S1.采集樱桃图像，对采集到的图像进行增强处理；S2.对增强处理后的图像进行数据集的标注及划分；S3.将标注好的图像输入至樱桃特征提取网络模型中，通过该网络模型对樱桃关键点特征进行提取，所述关键点为樱桃果梗首末两端及果体两侧；S4.将提取出的樱桃关键点特征回归处理，得到樱桃大小和有无果梗的分级参数；S5.通过网络模型对分级参数进行训练。能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。

说明书

技术领域

本发明涉及樱桃检测技术领域，具体涉及一种基于深度卷积神经网络的樱桃分级检测方法及系统。

背景技术

樱桃的大小反映了其质量水平，樱桃果梗的有无对保鲜时长至关重要，果梗缺损会导致其内部水分流失，进而导致其干枯和腐烂，影响樱桃的品质。品质的好坏不仅影响着产品本身的价值，而且直接影响消费者的购买欲望，进而影响果农的经济收入。因此，采用机器视觉技术进行水果的实时检测分级是实现水果自动化分级进而商品化的关键性一步。

目前樱桃分级主要靠人工拣选和传统图像处理。人工分级速度慢且存在误差，而传统图像对樱桃分级检测容易受环境因素影响，泛化能力差。由于人工分拣和传统的图像处理方法所面临检测速度和环境影响的局限性，樱桃的分级检测未被在工业现场广泛应用。

发明内容

为解决现有技术中存在的不足，本发明提供一种基于深度卷积神经网络的樱桃分级检测方法及系统，能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。

本发明为解决其技术问题所采用的技术方案是：一种基于深度卷积神经网络的樱桃分级检测方法，包括：

S1.采集樱桃图像，对采集到的图像进行增强处理；

S2.对增强处理后的图像进行数据集的标注及划分；

S3.将标注好的图像输入至樱桃特征提取网络模型中，通过该网络模型对樱桃关键点特征进行提取，所述关键点为樱桃果梗首末两端及果体两侧；

S4.将提取出的樱桃关键点特征回归处理，得到樱桃大小和有无果梗的分级参数；

S5.通过网络模型对分级参数进行训练。

进一步的，对采集到的图像进行增强处理，包括：采用一个卷积扫描图像上的每个像素，用卷积确定的领域内像素的加权平均灰度值替代模板中心像素点的值。

进一步的，数据集的标注及划分，包括：将增强处理后的图像保持长宽比例缩放为416×416，剩下部分采用灰色填充，采用图像质量评价筛选出3505张樱桃图像，对樱桃果梗首末两端及果体两侧进行关键点坐标标注，然后将3505张具有标注信息的樱桃图像数据集按照7:2:1随机划分训练集、验证集和测试集，其中，训练集、验证集和测试集按照樱桃尺寸和有无果梗分为大、中、小、有果梗、无果梗。

进一步的，所述网络模型由模块1和模块2组成，模块1由两个3×3卷积层和一个1×1卷积层组成，采用残差连接；模块2由一个3×3卷积层和一个1×1卷积曾组成，无残差连接；所述模块1和模块2的卷积方式均为深度可分离卷积。

进一步的，步骤S4包括：将模块1和模块2提取出的樱桃关键点特征经过最后的全局平均池化将维度向量降到8维，进而回归出上(x,y)、下(x,y)、左(x,y)、右(x,y)四个关键点坐标，得到果梗首末两端和果体两侧位置的坐标信息，通过欧式距离计算果梗首末两端的距离d和果体两侧位置之间的距离h，设置樱桃大小阈值为th1、th2，果梗有无的阈值为th3，通过分别与上述相应阈值的比较得出樱桃大小和有无果梗的分级参数。

进一步的，步骤S5包括：采用Adam优化器，将初始学习率设置为1x10

ReLU6＝min(6,max(0,x))；

采用Smooth L1作为损失函数，损失函数为：

x＝f(x

一种樱桃分级检测系统，使用上述方法，包括：支柱、传送带、图像采集设备、计算机处理单元、辅助照明系统；

所述辅助照明系统包括光源罩、LED光源漫光片，所述光源罩架设在传送带上方，将传送带罩于其内，樱桃通过传送带向前输送，LED光源漫光片安装在光源罩内壁并与电源供给控制器连接；

所述图像采集设备包括工业相机、频闪控制器和激光光电开关，所述工业相机通过支柱架设在光源罩顶部并朝向传送带，工业相机通过相机触发线与频闪控制器连接，频闪控制器分别与电源供给控制器、激光光电开关连接；

计算机处理单元通过相机触发线与工业相机连接，用于存储工业相机采集到的图像并进行处理；

当传送带的传送滚轮经过激光光电开关时，触发工业相机进行图像采集。

进一步的，所述光源罩壁体涂覆有纳米漫反射涂料。

有益效果：网络模型的两个模块采用深度可分离卷积的方式，将逐通道卷积和逐点卷积两个部分结合起来，用来提取图像特征，相比常规的卷积操作，其参数数量和运算成本比更低；

在全连接层采用随机丢弃20％的神经元，并采取早停策略，每经过5个迭代轮次验证集损失不再下降时，模型训练停止，能够有效缓解过拟合的发生，在一定程度上达到正则化的效果，从而增强模型的泛化能力；

使用的激活函数为ReLU6，在移动端float16的低精度时候，也能有很好的数值分辨率，采用Smooth L1损失函数，能够对距离中心较远的点、异常值不敏感、可控制梯度的量级训练时不容易跑飞，从而解决梯度爆炸的问题；

能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，检测更加稳定，具有更好的泛化能力。

附图说明

图1是樱桃分级检测系统结构示意图；

图2是本发明樱桃果体两侧和果梗首末两端关键点坐标标注示意图；

图3是本发明训练集，验证集，测试集樱桃尺寸分布图；

图4是本发明训练集，验证集，测试集有无果梗分布图；

图5是本发明网络模型结构图；

图6是本发明模块1结构图；

图7是本发明模块2结构图；

图8是本发明樱桃尺寸和有无果梗分级标准图；

图9是本发明激活函数曲线图；

图10是本发明训练集、验证集损失函数曲线图；

图11是本发明学习率迭代曲线图；

图12是本发明樱桃真实标注与预测结果对比图。

图1中附图标记：1、工业相机，2、LED光源漫光片，3、传送带，4、频闪控制器，5、光源罩，6、激光光电开关，7、计算机处理单元，8、相机触发线，9、樱桃，10、电源供给控制器，11、支柱。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

实施例1

一种基于深度卷积神经网络的樱桃分级检测方法，基于深度学习关键点检测方法对樱桃的大小分级和有无果梗进行判别。通过卷积神经网络自动提取樱桃的关键点特征，构建回归网络模型得到樱桃果梗首末两端和果体两侧的关键点坐标，通过欧氏距离计算樱桃果梗首末两端和果体两侧之间的距离，能够实现实时检测，达到更高的准确率和更小的误检率，使得樱桃分级检测的自动化水平得到了大幅度提高，从而达到樱桃分级的目的。

1、硬件设备设置

樱桃分级检测系统，包括：支柱11、传送带3、图像采集设备、计算机处理单元7、辅助照明系统；

所述辅助照明系统包括光源罩5、LED光源漫光片2，所述光源罩5架设在传送带3上方，将传送带3罩于其内，传送带3将樱桃9均匀地分散在图像的采集区域，樱桃9通过传送带3向前输送，LED光源漫光片2安装在光源罩5内壁并与电源供给控制器10连接；

所述图像采集设备包括工业相机1、频闪控制器4和激光光电开关6，所述工业相机1通过支柱11架设在光源罩5顶部并朝向传送带3，工业相机1通过相机触发线8与频闪控制器4连接，频闪控制器4分别与电源供给控制器10、激光光电开关6连接；

计算机处理单元7通过相机触发线8与工业相机1连接，用于存储工业相机1采集到的图像并进行处理；

通过频闪控制器4和激光光电开关6触发工业相机1拍照，当传送带3的传送滚轮经过激光光电开关6时，触发工业相机1进行图像采集。

优选的，光源罩5壁体涂覆有纳米漫反射涂料，保证图像采集区域的光照强度均匀，避免了樱桃表面的反射和底部阴影。本实施例采用Basler(acA2000-50gc)工业相机。

2、数据采集、图像增强

当传送带3的传送滚轮带动樱桃经过激光光电开关6时，将会触发图像采集设备进行图像采集，并通过POE千兆网卡传输给计算机处理单元7进行存储。

对采集好的图像采取高斯滤波方法进行图像增强，主要采用一个卷积去扫描图像上的每个像素，用卷积确定的领域内像素的加权平均灰度值去替代模板中心像素点的值。

3、数据集标注及划分

将增强处理后的图像保持长宽比例进行缩放为416×416，剩下部分采用灰色填充，采用图像质量评价(即基于图像像素统计，采用峰值信噪比和均方误差，通过计算采集出来的樱桃图像和选定的参考图像对应像素点灰度值之间的差异，信噪比值越大，表示待评测图像和参考图像之间像素值误差较小，图像质量较好，均方误差值越小，表示图像的质量越好)筛选出3505张樱桃图像，对樱桃果体两侧和果梗首末两端进行关键点坐标标注，如图2所示。然后将3505张具有标注信息的樱桃图像数据集按照7:2:1随机划分训练集、验证集和测试集。其中，训练集、验证集和测试集按照樱桃尺寸和有无果梗分为大、中、小、有果梗、无果梗，分布图如图3、4所示。

4、网络模型结构

网络模型输入为RGB三通道图像，将标注好的图像送入樱桃特征提取网络中，使用深度可分离卷积层自动捕捉樱桃关键点信息，能够提取有效信息并提高模型的训练速度，模型结构如图5所示，整个网络结构主要是采用MobilenetV2，由模块1和模块2组成，主要是对输入图像中樱桃的特征提取。模块1由两个3×3卷积层和一个1×1卷积层组成，并采用了残差连接，如图6所示，能够保证网络的深度，使得特征映射对于特征信息更加敏感，而且又能缓解深层网络的梯度消失，因此，模型拥有更强的表达能力。模块2由一个3×3卷积层和一个1×1卷积层组成，无残差连接，如图7所示，3×3卷积层步长为2时，取代池化操作降低特征维度，使其成为更低维表征，减少参数量，提升运算速度。两个模块中采用的卷积方式为深度可分离卷积，将逐通道卷积和逐点卷积两个部分结合起来，用来提取图像特征，相比常规的卷积操作，其参数数量和运算成本比较低。

5、关键点的回归

将两个模块提取出樱桃图像特征经过最后的全局平均池化将维度向量降到8维，进而回归出上(x,y)、下(x,y)、左(x,y)、右(x,y)四个关键点坐标，得到果梗首末两端和果体两侧位置的坐标信息，通过欧式距离计算果梗首末两端的距离d和果体两侧位置之间的距离h，设置樱桃大小阈值为th1、th2，果梗有无得阈值为th3，进而通过与阈值的比较达到樱桃大小和有无果梗的分级，结果如图8所示。

6、模型训练参数

模型训练采用Adam优化器，初始学习率为1x10

7、评价指标

樱桃尺寸大小和有无果梗检测网络模型的评价标准采用平均绝对误差(MeanAbsolute Error,MAE)，即观测值与真实值的误差绝对值的平均值，平均绝对误差能更好地反映预测值误差的实际情况。见下式。

其中m为测试样本数量，f

8、试验结果与分析

为验证本发明网络模型对樱桃大小的检测和有无果梗判别的检测效果，选取了经典的卷积神经网络模型VGG19、Resnet50作为对比，模型分级检测效果见表1。在350张测试样本集上测试，本发明提出的模型效果最优，平均绝对误差为6.12，网络具有更强的特征提取能力，检测精度更高。

表1模型分级检测效果

模型训练使用了3155张樱桃图像数据训练模型，训练集和验证集损失收敛情况如图10所示，训练过程的学习率衰减情况如图11所示，结合训练集、验证集损失曲线和学习率迭代曲线图可知，模型迭代初期，训练集和验证集损失迅速降低，模型趋于局部最优解，开始收敛缓慢，验证集损失值出现震荡，此时学习率衰减策略生效，防止模型收敛结果越过最优解，经过6次学习率衰减之后，验证集损失值不再下降，经过40个迭代轮次后停止，模型收敛至最优解，并且未出现过拟合情况。

针对350张樱桃图像的分级检测结果见表2。樱桃大小检测准确率为93.14％，有无果梗判定准确率为90.57％。大樱桃正确分检的概率为75.00％，平均绝对误差值为8.0944；中樱桃正确分检的概率为91.02％，平均均方误差值为6.2172；小樱桃正确分检的概率为98.70％，平均均方误差值为5.7162；樱桃有果梗正确分检的概率为94.87％，平均均方误差值为3.0714；樱桃无果梗正确分检的概率为87.78％，平均均方误差值为6.5309，其中350个樱桃批量测试样本，在线分级检测总用时10.5秒左右，平均速度约为33个/秒，能够满足在线检测的实时性要求。

表2樱桃分级检测结果

针对大、中、小三种樱桃的有无果梗图像检测结果如图12所示。图中第一行为人工标注的真实标签，第二行为模型预测结果，可以看出大樱桃的分级检测结果整体偏小，由表2可知大樱桃的平均绝对误差最大，主要是因为工业相机景深导致樱桃边缘像素模糊，其次光源直射樱桃产生的光斑和阴影对樱桃关键点回归带来一定的影响，可通过选择大景深相机，调整光源照射角度或选择特定光源来解决。此外，训练样本集中大樱桃所占比例为27.38％，中樱桃所占比例53.45％，样本分布不均衡，对大樱桃的检测结果偏小，可通过增加大樱桃样本数量和数据增强方式优化样本数据分布，进一步提升模型效果。模型对小樱桃的检测效果较好，主要是由于樱桃大小匹配相机景深，拍摄图像质量高，樱桃边缘较为清晰。因此，图像质量对于樱桃的关键点回归至关重要。

图12中第一列为有果梗樱桃检测结果，第二列为无果梗检测结果。由表2可知，模型对于无果梗的关键点回归误差相对较高，从图12中第二列也能看出果梗的关键点偏差相对较大，主要原因是无果梗樱桃的关键点标注位置精度较低，且标准不统一，受到人为因素影响，从而影响网络对于果梗关键点特征的提取，使得最终关键点回归误差相对较大。此外，由于樱桃果梗长度差异较大，增加了对于果梗关键点回归的难度。因此，对于无果梗樱桃的关键点标注要求较为苛刻。

针对樱桃分级问题，本发明提出基于深度学习的关键点回归算法，实现了樱桃的分级检测和有无果梗的精确判别，樱桃大小尺寸检测准确率为93.14％，有无果梗判定准确率为90.57％，检测速度为33fps,在实现高精度的同时，极大的提升了检测速度，具有很大的实用价值。通过对大、中、小、有无果梗樱桃的不同情况分析，可通过优化图像采集质量和调整光源等方法进一步改善模型检测效果。此外，还可通过增加训练集样本数量或图像增强方法优化数据分布，建立合理的回归逻辑，进一步提升樱桃大小和有无果梗的识别效果，推动樱桃分级的工业化应用。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。