一种基于机器视觉技术的稻米表型监测系统及方法

摘要

本发明公开了一种基于机器视觉技术的稻米表型监测系统及方法，所述系统包括：遮光罩、物料存放装置、图像采集装置和PC机，所述遮光罩罩设在所述物料存放装置的上方，所述物料存放装置用于放置稻米样品，所述遮光罩的内部设置所述图像采集装置，所述图像采集装置用于采集所述稻米样品的表型图像，所述遮光罩的顶部设置有遮光罩盖板；所述图像采集装置通过数据线与所述PC机电性连接。本发明提供的基于机器视觉技术的稻米表型监测系统及方法，通过机器视觉技术对稻米表型特征进行全面客观的数据采集和分析，有利于对稻米高速、精准的质量分级，提高稻米来源品质，并使企业大幅节约成本。

说明书

技术领域

本发明涉及农业粮食质量检测技术领域，特别是涉及一种基于机器视觉技术的稻米表型监测系统及方法。

背景技术

针对稻米外观的质量检测，目前在稻米生产中主要通过色选机来进行分级，但市场上的色选机技术算法较单一，准确度并不高。使用色选机在对每个批次的稻米进行筛选前，通常需要由有经验的使用人员对设备进行反复调试，由于色选机仅针对稻米颜色进行筛选，无法对稻米的形状、大小、质地、纹理等表型性状进行综合判断，往往进行多次重复筛选仍无法得到理想的优选结果。在国家粮库的质量检测环节，稻米外观性状(即出糙率)仍依靠人工检查的方法进行评估，不仅费时费力，且检测结果很大程度上依赖于检验人员的主观性，检验人员水平的良莠不齐及评判标准的地域性差别，使得当前无法实现稻米质量检测的精准判别。特别对于稻米加工厂而言，很难做到对收购的稻米进行全方位质量检测，往往只进行出米率和水分检测。

在国外农业巨头公司，图像技术在粮食作物和种子上的应用比较领先，已在质量检测和生产工艺中得以推广，但目前利用光谱成像及机器视觉技术对稻米的质量检测仍处于研究阶段，尚未出现商业化的应用。

发明内容

本发明的目的是提供一种基于机器视觉技术的稻米表型监测系统及方法，通过机器视觉技术对稻米表型特征进行全面客观的数据采集和分析，有利于对稻米高速、精准的质量分级，提高稻米来源品质，并使企业大幅节约成本。

为实现上述目的，本发明提供了如下方案：

一种基于机器视觉技术的稻米表型监测系统，该系统包括：遮光罩、物料存放装置、图像采集装置和PC机，所述遮光罩罩设在所述物料存放装置的上方，所述物料存放装置用于放置稻米样品，所述遮光罩的内部设置所述图像采集装置，所述图像采集装置用于采集所述稻米样品的表型图像，所述遮光罩的顶部设置有遮光罩盖板；所述图像采集装置通过数据线与所述PC机电性连接。

进一步的，所述物料存放装置包括物料抽屉和抽屉导轨，两个平行的所述抽屉导轨固定设置在所述遮光罩的底部相对的两边，所述物料抽屉通过滑块与所述抽屉导轨滑动连接，所述物料抽屉用于放置稻米样品。

进一步的，所述遮光罩的内侧壁固定连接有固定支架，所述图像采集装置设置在所述固定支架上，所述图像采集装置包括多光谱相机和LED环形光源，所述多光谱相机和LED环形光源分别固定在所述固定支架的上方和下方；所述多光谱相机通过数据线与所述PC机电性连接。

进一步的，所述LED环形光源布置有不同波段的LED灯珠。

进一步的，所述系统还包括LED背光板，所述LED背光板设置在所述物料存放装置的下方。

本发明还提供了一种基于机器视觉技术的稻米表型监测方法，应用于上述的基于机器视觉技术的稻米表型监测系统，包括以下步骤：

S1，利用多光谱相机采集稻米样品的图像并传输到PC机；

S2，利用分水岭算法，将单粒稻米从多光谱相机采集的图像中分割出来；

S3，从分割后的单粒稻米的图像中获取其颜色特征、纹理特征，将得到的单粒稻米进行二值化操作，通过像素点的连通区域来得到稻米的形态特征。

进一步的，所述步骤S2，利用分水岭算法，将单粒稻米从多光谱相机采集的图像中分割出来，具体包括：

采集稻米样品的图像，并将彩色的原图变为灰度图，采用OSTU算法得到稻米大概轮廓的二值图像；

将获得的图像进行膨胀操作使此时真实稻米的图像为膨胀后图像的子集，然后使用distanceTransform算法得到了每粒稻米的中心区域，中心区域图像为实际稻米图像的子集，把膨胀之后的图像减去中心区域就是不确定的稻米边缘区域；

使用connectedComponents算法创建一个掩码图像使每粒稻米的中心区域图像拥有自己的标号，并使用不同的颜色表示每粒稻米的编号；

利用分水岭算法得到每粒稻米边缘的确切位置，对每稻米依次裁剪，在每次裁剪之前在原图中只保留一粒稻米，最终通过获取的确切位置将单粒稻米从图像中分割出来。

进一步的，所述步骤S3中，从分割后的单粒稻米的图像中获取其颜色特征、纹理特征，将得到的单粒稻米进行二值化操作，通过像素点的连通区域来得到稻米的形态特征，具体包括：

采用SURF算法提取单粒稻米的特征，首先使用积分图来计算卷积，然后使用Hessian响应来衡量某点是否为特征点，并创建描述子来描述该特征，将获取的特征放入分类器通过机器学习方法对稻米的质量进行分类。

进一步的，所述机器学习方法具体包括：

将卷积神经网络VGG16模型作为基础模型，模型总共有16层，13个卷积层和2个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling层，第二次经过两次128个卷积核卷积后，再采用pooling层，再经过三次256个卷积核卷积，再采用pooling层，再重复两次三个512个卷积核卷积后，再pooling层，接着经过两次大小为256的全连接和一个Dropout层，最终通过softmax进行分类。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于机器视觉技术的稻米表型监测系统中，遮光罩能够遮挡外界干扰，提高图像采集质量，通过图像采集装置采集稻米样品的图像，具体采用PC机与多光谱相机相连，检测人员将稻米平铺到物料抽屉便可完成稻米的精准成像，遮光罩内的配套LED环形光源布置了不同波段的LED灯珠，采用LED背光板的作用是使稻米图像的轮廓更加清晰，易于图像分割算法得到单粒稻米；待图像采集完成后由带回收槽的物料抽屉沿抽屉导轨抽出并倾斜以收集稻谷，由检测人员再倒入新的稻米再放回物料抽屉进行新的检测，提高检测的效率。

本发明提供的基于机器视觉技术的稻米表型监测方法中，待多光谱相机完成相应种子的成像后与PC机进行通讯完成图像采集，采用机器视觉和深度学习算法对稻米的外观性状，包括色泽、形状、大小、纹理、质地等进行全面的综合分析和判断，实现对稻米精准、智能地优选和分级，与市场上的通用色选机相比，本发明专业性强，筛选准确度高，同时降低假阳率与假阴率，从而帮助稻米生产企业和国家粮库提高收购产品质量并大幅节约检测成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于机器视觉技术的稻米表型监测系统的结构示意图；

图2是本发明实施例基于机器视觉技术的稻米表型监测方法的流程图；

图3是本发明实施例卷积神经网络VGG16模型的示意图；

附图说明：1、抽屉轨道；2、遮光罩盖板；3、多光谱相机；4、LED环形光源；5、固定支架；6、遮光罩；7、物料抽屉；8、LED背光板；9、数据线；10、PC机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于机器视觉技术的稻米表型监测系统及方法，通过机器视觉技术对稻米表型特征进行全面客观的数据采集和分析，有利于对稻米高速、精准的质量分级，提高稻米来源品质，并使企业大幅节约成本。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于机器视觉技术的稻米表型监测系统，包括：遮光罩2、物料存放装置、图像采集装置和PC机10，所述遮光罩2罩设在所述物料存放装置的上方，所述物料存放装置用于放置稻米样品，所述遮光罩2的内部设置所述图像采集装置，所述图像采集装置用于采集所述稻米样品的表型图像，所述遮光罩2的顶部设置有遮光罩盖板6；所述图像采集装置通过数据线9与所述PC机10电性连接。

其中，所述物料存放装置包括物料抽屉7和抽屉导轨1，两个平行的所述抽屉导轨1固定设置在所述遮光罩2的底部相对的两边，所述物料抽屉7通过滑块与所述抽屉导轨1滑动连接，所述物料抽屉7用于放置稻米样品。

所述遮光罩2的内侧壁固定连接有固定支架5，所述图像采集装置设置在所述固定支架5上，所述图像采集装置包括多光谱相机3和LED环形光源4，所述多光谱相机3和LED环形光源4分别固定在所述固定支架5的上方和下方；所述多光谱相机3通过数据线9与所述PC机10电性连接。

所述LED环形光源4布置有不同波段的LED灯珠；所述系统还包括LED背光板8，所述LED背光板8设置在所述物料存放装置的下方。

本发明提供的基于机器视觉技术的稻米表型监测系统中，遮光罩能够遮挡外界干扰，提高图像采集质量，通过图像采集装置采集稻米样品的图像，具体采用PC机与多光谱相机相连，检测人员将稻米平铺到物料抽屉便可完成稻米的精准成像，遮光罩内的配套LED环形光源布置了不同波段的LED灯珠，采用LED背光板的作用是使稻米图像的轮廓更加清晰，易于图像分割算法得到单粒稻米；待图像采集完成后由带回收槽的物料抽屉沿抽屉导轨抽出并倾斜以收集稻谷，由检测人员再倒入新的稻米再放回物料抽屉进行新的检测，提高检测的效率。

如图2所示，本发明还提供了一种基于机器视觉技术的稻米表型监测方法，应用于上述的基于机器视觉技术的稻米表型监测系统，包括以下步骤：

S1，利用多光谱相机采集稻米样品的图像并传输到PC机；

S2，利用分水岭算法，将单粒稻米从多光谱相机采集的图像中分割出来；

S3，从分割后的单粒稻米的图像中获取其颜色特征、纹理特征，将得到的单粒稻米进行二值化操作，通过像素点的连通区域来得到稻米的形态特征。

本发明的图像分割算法是分水岭算法，由于平铺的稻米可能互相粘连，因此需要将单粒稻米从多光谱相机采集的图像中分割出来。其中，所述步骤S2，利用分水岭算法，将单粒稻米从多光谱相机采集的图像中分割出来，具体包括：

首先将彩色的原图变为灰度图，然后并采用OSTU算法得到稻米大概轮廓的二值图像，二值图像中可能存在一些小的黑白噪声，可以使用了形态开运算来去除；将获得的图像进行膨胀操作使此时真实稻米的图像为膨胀后图像的子集，然后使用distanceTransform算法得到了每粒稻米的中心区域，中心区域图像为实际稻米图像的子集，把膨胀之后的图像减去中心区域就是不确定的稻米边缘区域，随后使用connectedComponents算法创建一个掩码图像使每粒稻米的中心区域图像拥有自己的标号，为了便于区分使用不同的颜色表示每粒稻米的编号，最后利用分水岭算法得到每粒稻米边缘的确切位置，为了防止在分割过程中与相邻稻米图像产生干扰，在每次裁剪之前在原图中只保留一粒稻米，最终通过获取的位置将单粒稻米从图像中分割出来。

其中，所述步骤S3中，从分割后的单粒稻米的图像中获取其颜色特征、纹理特征，将得到的单粒稻米进行二值化操作，通过像素点的连通区域来得到稻米的形态特征，具体包括：

本方法的特征提取是根据从分割后的单粒稻米中获取的颜色特征(RGB、HSI、NIR)，纹理特征(一些灰度变化的规律)，将得到的单个稻米粒进行二值化操作，通过像素点的连通区域来得到稻米的形态特征(面积、长、宽、周长、长短轴比、离心率)。由于稻米摆放的位置和方向都是随机的，所以使用了Speeded Up Robust Features(SURF)算法提取每张图片的特征，该算法具有尺度和旋转不变性特点。该算法首先使用积分图来计算卷积，然后使用Hessian响应来衡量某点是否为特征点，并创建描述子来描述该特征，将获取的特征放入逻辑回归、支持向量机、K近邻、集成学习等分类器通过机器学习方法对稻米的质量进行分类。

本方法根据卷积神经网络的深度学习算法建立稻米筛选模型，使用多光谱相机获取的大量4通道单粒稻米图像(RGB+NIR)作为数据集。所述机器学习方法具体包括：

如图3所示，将卷积神经网络VGG16模型作为基础模型，模型总共有16层，13个卷积层和2个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling层，第二次经过两次128个卷积核卷积后，再采用pooling层，再经过三次256个卷积核卷积，再采用pooling层，再重复两次三个512个卷积核卷积后，再pooling层，接着经过两次大小为256的全连接和一个Dropout层，最终通过softmax进行分类。此模型通过改变原始模型的最后三个全连接层，来减少模型的参数提升模型对稻米的识别精度和效率。将稻米数据集在此模型中进行训练来获得最终的分类模型，最终对不同质量的稻米进行准确的分类。

在实际种子生产过程中，同一品种但不同批次或不同年限的稻米有可能会具有不同的外观性状，此外，系统所处环境的变化(如光照、震动、灰尘等)也可能会导致算法模型的漂移。因此，为保证系统的稳定性，分级模型的升级与维护步骤如下：

第一，建立系统的自适应校准程序，通过将当前数据和历史数据对比，自动消除环境造成的影响；

第二，建立简单易用的稻米筛选模型训练流程，使用户能够方便快捷的对模型进行校准和维护，保证输出结果最优化；

第三，建立有标记的稻米图像大数据库，应用深度学习算法开发跨品种的一般化分级模型，在用户不具有对系统进行精确校准和开发稻米筛选训练模型的能力时，仍能够智能地对稻米进行优选分级；

第四，最终建立粮食资源数据库，以及区域性的粮食大数据平台，形成地区粮食数据中心。

通用色选机用来进行稻米分级的主要问题是仅通过颜色分选难以将优良稻米与有缺陷的稻米有效分离，本发明提供的基于机器视觉技术的稻米表型监测方法中，待多光谱相机完成相应种子的成像后与PC机进行通讯完成图像采集，采用机器视觉和深度学习算法对稻米的外观性状，包括色泽、形状、大小、纹理、质地等进行全面的综合分析和判断，实现对稻米精准、智能地优选和分级，与市场上的通用色选机相比，本发明专业性强，筛选准确度高，同时降低假阳率与假阴率，从而帮助稻米生产企业和国家粮库提高收购产品质量并大幅节约检测成本。

本发明提供的的稻米质量检测系统通过机器视觉技术对稻米的不完善率、缺陷、杂质率等进行全面客观的综合分析和判断，另外采用近红外成像技术对水分、霉变等指标进行测量。该产品将弥补稻米质量检测的空白，实现对稻米高速、精准的质量分级，提高稻米来源品质并使企业大幅节约成本。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。