基于多传感融合及深度学习技术的菠萝识别装置及其方法

摘要

本发明公开了一种基于多传感融合及深度学习技术的菠萝识别方法，包括：S1、摄像头传感器获取菠萝图像，根据SSD模型进行目标检测，输出目标坐标；S2、机械臂根据目标坐标移动到目标位置，然后夹持目标，同时驱动气泵对目标散发的气体进行采样，获得压力数据和气味数据；S3、将采集到的菠萝的气味数据和压力数据，以及S1中获得的菠萝图像本身的信息形成特征图进行通道合并，输入到VGG16预期器中预测菠萝的品质。本发明还提供一种识别装置。本发明根据SSD模型得到的目标坐标，将传感器对目标进行适度按压，同时借助气体采样泵进行气体采集。传感器可以得到菠萝的软硬情况，以及得到菠萝的气味数据，对两个数据进行融合判断，能准确得到菠萝的质量情况。

说明书

技术领域

本发明涉及属于农业设备技术领域，尤其是指一种基于多传感融合及深度 学习技术的菠萝识别装置及其识别方法。

背景技术

智慧农业、精准农业近年来备受关注。在智能菠萝采摘流程中，人们往往 最关注菠萝成熟时机、品质优劣。然而，由于菠萝形状不规则、个体差异大、 生长田间环境复杂等特点，导致传统的单一视觉识别方法存在图像遮挡、纹理 特征受限等问题，无法准确获得菠萝成熟的数据，以调度菠萝采集作业。

发明内容

本发明的目的在于针对上述问题，提供了一种检测准确、智能化高和使用 方便的菠萝识别装置及其识别方法，本发明根据SSD模型得到的目标坐标，自 动装置会将传感器对目标进行适度按压，同时借助气体采样泵进行气体采集。 压力传感器可以得到菠萝的软硬情况，气味传感器可以得到菠萝的气味数据， 对两个数据进行融合判断，能准确得到菠萝的质量情况。

本发明的目的可采用以下技术方案来达到：

一种基于多传感融合及深度学习技术的菠萝识别装置，包括机械手、控制 器、摄像头、压力传感器和气味传感器，所述控制器控制摄像头对菠萝进行拍 照而获取菠萝图像；所述压力传感器检测机械手夹持菠萝时的压力大小，且摄 像头对菠萝进行拍照而获取菠萝的变形量；在机械手夹持菠萝时，气味传感器 检测菠萝散发的气体的种类和浓度，获得菠萝的成熟度。

作为一种优选的方案，所述机械手上开有吸孔，所述吸孔与气泵连接；在 机械手夹持菠萝时，控制器控制气泵通过吸孔将菠萝散发的气体吸入吸孔内， 气味传感器检测菠萝散发的气体的种类和浓度。

作为一种优选的方案，所述气味传感器为XP-329IIIR气味传感器。

作为一种优选的方案，所述控制器为单片机。

一种基于多传感融合及深度学习技术的菠萝识别装置的制作方法，包括以 下步骤：

S1、目标识别，目标识别模型采用深度学习SSD模型；摄像头传感器获取 菠萝图像，根据SSD模型进行目标检测，输出目标坐标；

S2、数据采集；机械臂根据目标坐标移动到目标位置，然后夹持目标，同 时驱动气泵对目标散发的气体进行采样，获得压力数据和气味数据；

S3、品质鉴别；将采集到的菠萝的气味数据和压力数据，以及S1中获得的 菠萝图像本身的信息进行连接合并，进而输入到全连接层，经过Reshape操作后 得到与特征层输出相同尺寸的特征图；再将图像特征图和压力气味大小形成的 特征图进行通道合并，输入到VGG16预期器中预测菠萝的品质。

进一步地，所述步骤S1的具体内容为：

摄像头实时采集图像，并移动机械臂，当获取到菠萝图像时，SSD模型识 别菠萝的位置信息和大小信息，获取特征图信息。

进一步地，步骤S3中，在训练阶段中，对不同品质的菠萝进行多传感器数 据采集，再根据多个专业人士的品尝结果进行品质标定，得到具有标签的数据 集，训练品质鉴别的模型。

实施本发明，具有如下有益效果：

1、本发明的模具可以制作出不同胶结厚度，不同颗粒粒径的双颗粒胶结模 型，可以与双颗粒胶结模型的加载装置配合使用。对双颗粒胶结模型进行压剪、 压弯、压弯剪组合一系列的复杂荷载试验，研究胶结钙质砂的微观力学性质。

2、本发明在拆模时，首先将夹具拧松拿下，然后取上模具或下模具对角的 一对螺栓，使上模具和下模具之间处理松开的状态。此时，由于石膏与凹槽内 壁的粘结，上模具和下模具之间并不容易被分开。通过拧动另外一对螺栓，该 可以轻松地将下模具或上模具轻轻顶出，实现上模具和下模具的分开。然后将 双颗粒胶结模型取出，一个双颗粒胶结模型就制作完成。整个拆模过程更加的 简洁方便，上模具和下模具均不容易被破坏。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于多传感融合及深度学习技术的菠萝识别装置的结构示意 图。

图2是本发明基于多传感融合及深度学习技术的菠萝识别方法的连接框图。

图3是本发明基于多传感融合及深度学习技术的菠萝识别方法的数据采集 流程图。

图4是本发明基于多传感融合及深度学习技术的菠萝识别方法的菠萝定位 与品质鉴别算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

参照图1和图3，本实施例涉及基于多传感融合及深度学习技术的菠萝识别 装置，包括机械手1、控制器2、摄像头3、压力传感器4和气味传感器5，所 述控制器2控制摄像头3对菠萝进行拍照而获取菠萝图像；所述压力传感器4 检测机械手1夹持菠萝时的压力大小，且摄像头3对菠萝进行拍照而获取菠萝 的变形量；在机械手1夹持菠萝时，气味传感器5检测菠萝散发的气体的种类 和浓度，获得菠萝的成熟度。

所述机械手1上开有吸孔11，所述吸孔11与气泵12连接；在机械手1夹 持菠萝时，控制器2控制气泵12通过吸孔11将菠萝散发的气体吸入吸孔11内， 气味传感器5检测菠萝散发的气体的种类和浓度。

所述气味传感器5为XP-329IIIR气味传感器。

所述控制器2为单片机。

一种基于多传感融合及深度学习技术的菠萝识别装置的制作方法，如图1 至图4所示，包括以下步骤：

S1、目标识别，目标识别模型采用深度学习SSD模型；摄像头3传感器获 取菠萝图像，根据SSD模型进行目标检测，输出目标坐标；具体的，摄像头3 实时采集图像，并移动机械臂，当获取到菠萝图像时，SSD模型识别菠萝的位 置信息和大小信息，获取特征图信息。

机械手1包含一个六轴的机械臂执行机构，用于移动摄像头3平台、压力 传感器4以及气味传感器5，使所有传感器的感知位置有一个较高的自由度，以 应对复杂的田间环境。图2为硬件架构图，包含四大部分，分别为控制器2(运 算单元(TX2微型计算机，运行系统为Linux))，驱动单元，执行单元6(舵机 和采样泵)，传感器单元7(摄像头3、压力传感器4和气味传感器5)。图3进 一步展示了采集的流程：首先摄像头3传感器获取菠萝图像，根据模型进行目 标检测，输出目标坐标。

S2、数据采集；机械臂根据目标坐标移动到目标位置，然后夹持目标，同 时驱动气泵对目标散发的气体进行采样，获得压力数据和气味数据；执行单元 机械臂根据目标坐标移动到目标位置，驱动按压舵机，同时驱动气体采样泵， 压力传感器4经过图2的HX711-AD采样模块对压力进行电压变送，内部芯片 由电压模拟量转化为数字量，经过串行通信方式输送到STM32单片机，单片机 进而通过串口方式发送到英伟达TX2微型计算机。与此同时，XP-329IIIR气味 传感器5通过RS232通信方式发送由气体采样泵得到的气体气味数据到英伟达 TX2微型计算机。压力数据和气味数据经过滤波(多次采样，取平均值)之后， 得到输出数据。

S3、品质鉴别；将采集到的菠萝的气味数据和压力数据，以及S1中获得的 菠萝图像本身的信息进行连接合并，进而输入到全连接层，经过Reshape操作后 得到与特征层输出相同尺寸的特征图；再将图像特征图和压力气味大小形成的 特征图进行通道合并，输入到VGG16预期器中预测菠萝的品质。

如图4是菠萝定位和品质鉴别的算法流程。品质鉴别的输入信息包括步骤 S2采集获取到菠萝的气味数据和压力数据，以及菠萝图像本身的信息。菠萝图 像信息可在第二部分目标识别所使用的SSD模型里特征层输出中得到。SSD模 型的特征层输出信息具有低维度、低冗余度、高信息量的特点，是原始菠萝图 像数据的一个浓缩特征信息。在数据合并层中，将压力数据、气味数据、目标 检测的菠萝大小数据进行连接合并，进而输入到全连接层，经过Reshape操作后 得到与特征层输出相同尺寸的特征图。进一步地，将图像特征图和压力气味大 小形成的特征图进行通道合并，输入到VGG16预期器中预测菠萝的品质。在训练阶段中，可对不同品质的菠萝进行多传感器数据采集，最后根据多个专业人 士的品尝结果进行品质标定，得到具有标签的数据集，训练品质鉴别的模型。

目标识别用于步骤S1的定位和步骤S3的获取特征图信息。在本发明中， SSD模型是经过菠萝图像数据集迁移学习得到的特定模型，经过模型剪枝、权 重压缩等轻量化后移植到嵌入式运算平台TX2，使得本发明的菠萝识别装置能 够离线识别，适应实际的生产应用环境。

本发明利用图像传感器、气味传感器5及压力传感器4，分别采集菠萝的图 像，分析菠萝的风味以及感知菠萝的结构软度。图像经过深度学习SSD模型进 行目标检测，获取目标的外框大小和坐标，并进行分类；气味传感器5和压力 传感器4集成在一个特制的机械自动装置上，根据SSD模型得到的目标坐标， 自动装置会将传感器对目标进行适度按压，同时借助气体采样泵进行气体采集。 压力传感器4可以得到菠萝的软硬情况，气味传感器5可以得到菠萝的气味数 据，对两个数据进行融合判断，得到菠萝的质量情况。

本发明利用多传感器融合技术、机械臂技术和深度学习技术，先目标检测 后品质鉴别来实现菠萝的定位和品质识别。由于使用了机械臂技术，使得多传 感器能最大程度的适应复杂田间环境，更精准的采集菠萝的图像、软硬以及气 味数据。而实时性强、稳定性高的深度学习SSD目标检测模型为机械臂提供了 精准定位以及为后续品质鉴别模型提供了低冗余度、高信息量的图像特征信息， 实现模型利用率的最大化。

本技术提出了数据的融合网络，主要是通过全连接层构建特征图，并与图 像特征图进行通道合并，将各路传感器的特征信息有效合并，为VGG16预测器 的提供了有效输入。本发明所开发的品质鉴别模型，可以从菠萝形态等图像信 息、软硬信息以及气味信息，综合考虑得到可靠的品质预测。其中软硬感知、 气味感知在菠萝采前品质鉴别研究中较为新颖，具有较为广阔的应用和研究前 景。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发 明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的 范围。