一种基于机器视觉的烟草切丝后异物在线检测方法

摘要

本发明公开了一种基于机器视觉的烟草切丝后异物在线检测方法，包括：获取待检测烟丝的彩色图像；对彩色图像进行滤波和对比度增强处理；通过特征提取算法从处理后的彩色图像中提取出待检测烟丝的色彩空间统计特征；针对色彩空间统计特征，采用预设的多个色彩空间分类器进行联合检测；对每个色彩空间分类器的检测结果进行统计判断，将连通域面积小于预设面积阈值的连通域删除；使用或运算对上述判断结果进行融合，得到像素级检测结果；针对上述像素级检测结果采用多个预设的异物鉴别器并行鉴别，排除不满足异物特征的图像区域；对上述图像数据进行融合处理，得到最终检测结果。所述检测方法能够提高切丝后的烟草异物检测的效率和准确性。

说明书

技术领域

本发明涉及烟草异物检测技术领域，特别是指一种基于机器视觉的烟草切丝后异物在线检测方法。

背景技术

针对卷烟加工过程中进行切丝操作时或者操作之前，异物去除仍然会有残余，而且在切丝的过程中也容易重新混入异物，使得最终生产得到的烟丝中包含异物。而一旦卷烟中含异物，便会影响口感，这样带有异物的卷烟进入市场，便升级为严重的质量问题。目前，常见的手段均是采用人工筛选方式对烟丝中的细小异物进行筛选，不但工作量巨大，需要投入的人力成本高，而且筛选的效果和效率不高。因此，在实现本申请的过程中，发明人发现现有技术中烟草异物检测的效率和准确性都难以达到工业化生产的需求。

发明内容

有鉴于此，本发明的目的在于提出一种基于机器视觉的烟草切丝后异物在线检测方法，能够提高切丝后的烟草异物检测的效率和准确性。

基于上述目的本发明提供的一种基于机器视觉的烟草切丝后异物在线检测方法，包括：

获取待检测烟丝的彩色图像；

对所述待检测烟丝的彩色图像进行滤波处理和对比度增强处理；

通过特征提取算法从处理后的彩色图像中，提取出待检测烟丝的色彩空间统计特征；

针对待检测烟丝的色彩空间统计特征，采用预设的多个色彩空间分类器进行联合检测；其中，不同的色彩空间分类器用于检测不同特征的异物；

对每个色彩空间分类器的检测结果进行统计判断，将检测结果中对应连通域面积小于预设面积阈值的连通域删除；

对所述多个色彩空间分类器的统计判断输出结果做或运算，得到像素级检测结果；

针对上述像素级检测结果，采用多个预设的异物鉴别器并行的方式进行鉴别，用于排除不满足异物特征的图像区域；

对上述异物鉴别器鉴别后的图像数据进行融合处理，得到最终检测结果。

可选的，所述滤波处理采用总变分法进行滤波处理。

可选的，所述对比度增强处理采用去相关拉伸算法进行对比度增强处理。

可选的，所述去相关拉伸算法包括：

依次计算待检测烟丝的彩色图像对应的均值向量、协方差矩阵、标准差矩阵；

基于上述统计量，计算得到彩色图像的相关矩阵；

对所述相关矩阵做特征值分解，得到特征向量矩阵和特征值矩阵；

基于特征向量矩阵和特征值矩阵，得到变换矩阵；

根据变换矩阵和均值向量，计算得到去相关拉伸结果；

其中，变换矩阵对应的计算公式为：

T＝SIGMA*V*S*V′*inv(SIGMA)；

SIGMA为标准差矩阵，V为特征向量矩阵，Λ为特征值矩阵，S为伸缩系数矩阵；V′为特征向量矩阵V的转置矩阵，inv(SIGMA)为标准差矩阵SIGMA的逆矩阵；

去相关拉伸对应的计算公式为：

b＝m+T*(a-m)；

其中，m为彩色图像对应的均值向量，a为去相关拉伸之前的彩色图像数据；b为去相关拉伸之后的彩色图像数据。

可选的，所述待检测烟丝的色彩空间统计特征包括：待检测烟丝的彩色图像对应RGB色彩空间中三个通道矩阵之间的两两相互比值以及三个通道的纵向标准差；待检测烟丝的彩色图像对应Lab色彩空间的a通道和b通道以及L、a、b三个通道之间的两两相互比值。

可选的，所述异物鉴别器包括棕色异物鉴别器、黄色异物鉴别器、黑色异物鉴别器，这三类鉴别器的目标是根据异物特征消除误报，保留正确的异物检测信息；所述异物鉴别器还包括针对生产线中指定的可不定义为异物的非烟物质特殊设计的异物鉴别器，这类鉴别器的目标是根据异物特征滤除有关该非烟物质的检测结果。

可选的，所述异物特征包括连通域面积大小、连通域的长度、连通域的宽度、连通域的长宽比、色彩空间的方差。

可选的，所述色彩空间分类器的参数根据Neyman-Pearson准则进行训练，依据零假设检验理论进行检验，训练得到分类准确的分类器。

可选的，所述色彩空间分类器的参数的训练方法包括：

获取无异物的烟丝彩色图像；

对上述无异物烟丝的彩色图像进行滤波处理和对比度增强处理；

通过特征提取算法从处理后的彩色图像中提取出无异物烟丝的色彩空间统计特征；

基于不同的检测需求，对不同色彩空间分类器的参数进行训练，得到每个色彩空间分类器对应的检测阈值和最小检测面积；其中，所述检测阈值用于判断是否存在对应特征的异物，所述最小检测面积用于设定预设面积阈值。

可选的，所述对不同色彩空间分类器的参数进行训练的步骤还包括：

计算色彩空间统计特征的直方图概率密度分布；

基于预设的概率密度分布阈值，在直方图概率密度分布中搜索符合预设的概率密度分布阈值的临界点；

基于所述临界点得到检测阈值；

针对色彩空间统计特征采用检测阈值做二值化分割，并且根据分割结果计算得到多个连通域面积；

选取连通域面积最大值，并且与预设的调节参数相加得到最小检测面积。

可选的，所述检测阈值为符合预设的概率密度分布阈值的临界点对应的左侧阈值、右侧阈值中的一个；且所述检测阈值采用单阈值或者双阈值。

从上面所述可以看出，本发明提供的基于机器视觉的烟草切丝后异物在线检测方法通过对待检测烟丝的彩色图像进行滤波和对比度增强的预处理，然后通过特征提取算法提取出待检测烟丝的色彩空间统计特征，进而通过提取的统计特征与预设的适用于各种类型异物检测的分类器进行检测和统计判断，最后通过数据融合得到准确的异物检测结果。此外，通过采用异物鉴别器，使得本申请所述方法不仅能够识别与烟丝色彩差别大的异物，而且对于棕色、黄色、透明等传统方法难以区分的异物，也能保证良好的检测效果。因此，本申请所述基于机器视觉的烟草切丝后异物在线检测方法能大幅提高切丝后的烟草异物检测的效率和准确性。

附图说明

图1为本发明提供的基于机器视觉的烟草切丝后异物在线检测方法的一个实施例的流程示意图；

图2为本发明提供的单阈值分类器示意图；

图3为本发明提供的双阈值分类器示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

针对于当前烟草异物检测领域中检测效率较低的问题，本申请针对烟草切丝后烟丝中混杂的异物，提供一种基于机器视觉的异物在线检测方法。可选的，本申请所述方法适用于烟草生产线上皮带输送或者风力输送的烟丝中异物在线检测。也即通过机器检测代替人工能够大大降低人力物力损耗，而且通过对检测方案的改进能够提高检测的效率和准确性。

参照图1所示，为本发明提供的基于机器视觉的烟草切丝后异物在线检测方法的一个实施例的流程示意图。所述基于机器视觉的烟草切丝后异物在线检测方法包括：

步骤101，获取待检测烟丝的彩色图像；其中，通过在烟丝传送带或者风力输送管道侧面安装一个或者多个线阵摄像机，然后通过这些摄像机摄取烟丝的彩色图像。这些彩色图像一般是由摄像机经由图像采集卡传送到计算机中。当计算机获取到这些彩色图像后，将其存放于计算机内存中的预处理队列或者缓存队列中，等待后续的检测处理过程。

步骤102，对所述待检测烟丝的彩色图像进行滤波处理和对比度增强处理；其中滤波处理的目的是过滤不需要的图像数据，使图像数据更有利于识别并最终提高异物检测的精度。合理的滤波处理对检测效果有明显的影响，能够有效消除噪声干扰，一般来说滤波处理是检测过程中的必备步骤。而如果不执行对比度增强处理，部分异物的检出率会有所下降。

可选的，所述滤波处理采用总变分法进行滤波处理，能够获取较优的综合滤波效果。当然，如果考虑到检测速率或者算法运行速度，也可以采用一些简化的方法对图像进行滤波，例如采用均值滤波。

可选的，所述对比度增强处理采用去相关拉伸算法进行对比度增强处理。

进一步，在本申请一些可选的实施例中，所述去相关拉伸算法包括如下步骤：

依次计算待检测烟丝的彩色图像a对应的均值向量、协方差矩阵(Cov)、标准差矩阵(SIGMA)；

首先，基于上述统计量，计算得到彩色图像的相关矩阵(Corr)；

其次，对所述相关矩阵做特征值分解，得到特征向量矩阵(V)和特征值矩阵(Λ)；

再次，基于特征向量矩阵和特征值矩阵，计算得到变换矩阵；

最后，根据变换矩阵和均值向量，计算得到去相关拉伸结果；

其中，变换矩阵对应的计算公式为：

T＝SIGMA*V*S*V′*inv(SIGMA)；

SIGMA为标准差矩阵，V为特征向量矩阵，Λ为特征值矩阵，S为伸缩系数矩阵；V′为特征向量矩阵V的转置矩阵，inv(SIGMA)为标准差矩阵SIGMA的逆矩阵。

去相关拉伸对应的计算公式为：

b＝m+T*(a-m)；

其中，m为彩色图像对应的均值向量，a为去相关拉伸之前的彩色图像数据；b为去相关拉伸之后的彩色图像数据。

步骤103，通过特征提取算法从处理后的彩色图像中提取出待检测烟丝的色彩空间统计特征；其中，所述特征提取算法用于根据目标物的需要，从一个包含较多元素的材料中提取出所需要的特征数据，例如：根据待检测烟丝的彩色图像提取出能够反映对应物品特征的数据。所述待检测烟丝的色彩空间统计特征即为能够反映图像中是否具有某类物品的一列特征数据。

在本申请一些可选的实施例中，所述待检测烟丝的色彩空间统计特征包括：待检测烟丝的彩色图像对应RGB色彩空间中三个通道矩阵之间的两两相互比值以及三个通道的纵向标准差；待检测烟丝的彩色图像对应Lab色彩空间的a通道和b通道以及L、a、b三个通道之间的两两相互比值。这里所述的两两比值是指每两个参数均得到一个比值数据。这样，通过提取两种色彩空间对应的特征数据能够使检测更为准确、可靠。当然，还可以根据需要选用更多类型的色彩空间进行组合使用。

步骤104，针对待检测烟丝的色彩空间统计特征，采用预设的多个色彩空间分类器进行联合检测；其中，不同的色彩空间分类器用于检测不同特征的异物；其中，所述多个色彩空间分类器并行执行，互不干涉。也即，针对烟丝中可能出现的异物，分别执行与步骤103中提取出的色彩空间统计特征对应的分类器进行分类识别。

在本申请一些可选的实施例中，所述色彩空间分类器包括的种类参见表1所示。

表1不同类型的色彩空间分类器

分类器主要检出异物p₁检测粉色、白色、青色、蓝色异物p₂检测绿色、白色异物p₃检测棕黑色异物p₄检测橘黄色异物p₅检测蓝色、青色、深棕黑色异物p₆检测青色、白色异物p₇检测暗红色异物p₈检测橘黄色异物p₉检测绿色异物p₁₀检测蓝色异物p₁₁检测黄色硬纸板异物、金黄色异物p₁₂检测白色、青色、黄白色异物p₁₃检测金黄色、橘黄色、一般黄色异物p₁₄检测黑色异物p₁₅检测透明色、亮色异物

进一步可选的，所述色彩空间分类器可以采用二分器，二分器可以采用单阈值分类，也可以为了获得更精确的检测输出而采用双阈值分类。每一个分类器的参数采用色彩空间分类器参数训练获得的检测阈值。

步骤105，对每个色彩空间分类器的检测结果进行统计判断，将检测结果中对应连通域面积小于预设面积阈值的连通域删除；也即，对每个分类器的检测结果分别进行统计判断，主要的步骤是对检测结果依据连通域面积进行过滤，大于或者等于预设的面积阈值的连通域保留，小于预设面积阈值的连通域删除。可选的，所述预设面积阈值采用色彩空间分类器参数训练时获得的最小检测面积。

步骤106，对步骤105中多个色彩空间分类器对应的统计判断输出结果u_i做或运算，得到像素级检测结果在本申请一些可选的实施例中，i的取值范围是从1到15，相应的i_max为15。

步骤107，针对上述像素级检测结果，采用多个预设的异物鉴别器并行的方式进行鉴别，用于排除不满足异物特征对应的图像区域；因为棕色、黄色、黑色这三类颜色的异物与正常烟丝的色彩特征较为接近，像素级检测结果中会包含很多与这三种色彩相近的误报，也即会将这三类颜色的烟丝误报为异物，所以必须分别针对这三类检出结果设计对应的异物鉴别器，针对像素级检测结果进行二次决策，消除误报，保留正确的异物检测信息。

可选的，二次决策算法为采用多个异物鉴别器并行的方式消除误报，例如棕色异物鉴别器、黄色异物鉴别器、黑色异物鉴别器。根据连通域面积大小、连通域的长度、连通域的宽度、连通域的长宽比、色彩空间的方差等异物特征统计量，对检测结果过滤，消除误报。过滤的具体方法是：去除面积小于min_area的连通域，去除连通域长度小于min_length的区域，去除连通域宽度小于min_width的区域，去除连通域的长宽比小于min_ratio的区域，去除RGB色彩空间的方差不属于黄色或者棕色色彩空间的区域。进一步，针对生产线中指定的可不定义为异物的非烟物质，例如刀泥，可增加为该非烟物质特殊设计的异物鉴别器，滤除有关该非烟物质的检测结果。

可选的，所述异物鉴别器包括棕色异物鉴别器、黄色异物鉴别器、黑色异物鉴别器，这三类鉴别器的目标是根据异物特征消除误报，保留正确的异物检测信息；所述异物鉴别器还包括针对生产线中指定的可不定义为异物的非烟物质特殊设计的异物鉴别器，这类鉴别器的目标是根据异物特征滤除有关该非烟物质的检测结果。所述异物特征包括连通域面积大小、连通域的长度、连通域的宽度、连通域的长宽比、色彩空间的方差。

步骤108，对上述异物鉴别器鉴别后的图像数据进行融合处理，得到最终检测结果。也即，如果最终检测结果中发现有异物，就发出异物告警信号并输出异物在图像中的位置信息，然后继续下一帧图像的检测处理。如果最终检测结果中没有发现异物，就直接继续下一帧图像的检测处理。

由上述实施例可知，本申请提供的基于机器视觉的烟草切丝后异物在线检测方法通过对待检测烟丝的彩色图像进行滤波和对比度增强的预处理，然后通过特征提取算法提取出待检测烟丝的色彩空间统计特征，进而通过提取的统计特征与预设的适用于各种类型异物检测的分类器进行检测和统计判断，最后通过数据融合得到准确的异物检测结果。此外，通过采用异物鉴别器，使得本申请所述方法不仅能够识别与烟丝色彩差别大的异物，而且对于棕色、黄色、透明等传统方法难以区分的异物，也能保证良好的检测效果。因此，本申请所述基于机器视觉的烟草切丝后异物在线检测方法能大幅提高切丝后的烟草异物检测的效率和准确性。

在本申请一些可选的实施例中，虽然上述的分类器功能较为直接和简便，实现起来也不难，但是其分类结果对最终的检测结果还是有较大影响的。因此，本申请提出一种色彩空间分类器参数训练方法，该方法的理论基础是根据Neyman-Pearson准则并且依据零假设检验。所述色彩空间分类器参数训练方法的步骤如下：

获取无异物的烟丝彩色图像；

对上述无异物烟丝的彩色图像进行滤波处理和对比度增强处理；其中，该参数训练过程中的滤波处理和对比度增强处理的算法与步骤102中的算法相同。

通过与步骤103相同的特征提取算法从处理后的彩色图像中提取出无异物烟丝的色彩空间统计特征；

基于不同的检测需求，对不同色彩空间分类器的参数进行训练，得到每个色彩空间分类器对应的检测阈值和最小检测面积；其中，所述检测阈值用于判断是否存在对应特征的异物，所述最小检测面积用于设定预设面积阈值。

进一步，所述对不同色彩空间分类器的参数进行训练的步骤还包括：

计算色彩空间统计特征的直方图概率密度分布；具体的，针对色彩空间分类器p_i的输入a_i，也即色彩空间分类器参数训练方法计算得到的色彩空间统计特征，计算其直方图统计，得到直方图概率密度分布pip。

基于预设的概率密度分布阈值P，在直方图概率密度分布pip中搜索符合预设的概率密度分布阈值P的临界点；在本申请一些可选的实施例中，P是将正常烟丝样本错误检测为异物的概率。

基于所述临界点得到检测阈值th；可选的，临界点对应左侧阈值、右侧阈值中的一个。也即，可以采用单阈值或者双阈值，而单阈值和双阈值都可以选择左侧阈值或者右侧阈值。

进一步，单阈值情况下的右侧阈值的定义：

单阈值情况下的左侧阈值的定义：

双阈值情况下，即th＝[th1,th2]，对应的右侧阈值的定义：

针对色彩空间统计特征采用阈值th1做二值化分割，得到二值矩阵res1，则th2＝mean(a_i(res1))+std(a_i(res1))，其中a_i(res1)是分类器p_i的输入a_i与掩模res1相乘后的结果，mean(a_i(res1))表示a_i(res1)的均值，std(a_i(res1))表示a_i(res1)的方差。th2的计算也可以采用a_i(res1)的其他数学统计运算得到，例如th2＝mean(a_i(res1))+2*std(a_i(res1))，也能得到与本申请实例相似的双阈值检测效果。

双阈值情况下，即th＝[th1,th2]，对应的左侧阈值的定义：

针对色彩空间统计特征采用阈值th1做二值化分割，得到二值矩阵res1，则th2＝mean(a_i(res1))-std(a_i(res1))，其中a_i(res1)是分类器p_i的输入a_i与掩模res1相乘后的结果，mean(a_i(res1))表示a_i(res1)的均值，std(a_i(res1))表示a_i(res1)的方差。th2的计算也可以采用a_i(res1)的其他数学统计运算得到，例如th2＝mean(a_i(res1))-2*std(a_i(res1))，也能得到与本申请实例相似的双阈值检测效果。

针对色彩空间统计特征采用检测阈值做二值化分割，并且根据分割结果计算得到多个连通域面积；

选取连通域面积最大值，与预设的调节参数相加得到最小检测面积。

也即，针对分类器p_i的输入a_i采用检测阈值th做二值化分割，对二值化结果做连通域面积计算，查找连通域面积的最大值，将该最大值加一个数值较小的预设值后作为分类器p_i的最小检测面积minarea。

由上述实施例可知，所述色彩空间分类器参数训练方法先由特征提取算法提取出无异物的烟丝彩色图像的色彩空间统计特征，然后针对色彩空间统计特征进行零假设检验，自动获得烟丝色彩空间分类器的参数。所述色彩空间分类器参数训练方法能够快速获得正常烟丝色彩空间对应的检测参数，训练时间不超过10秒钟。可针对每批烟丝快速建立新的检测模型，无需传统的烟丝牌号管理工作。

参照图2和图3所示，分别为本发明提供的单阈值和双阈值分类器示意图。

在一些可选的实施例中，本申请所述基于机器视觉的烟草切丝后异物在线检测方法的异物综合检出率达到90％以上。

需要说明的是，本申请实施例虽然均采用烟丝作为目标检测物，但是本申请所对应的方法并不限于烟丝的检测，还可以应用于与烟丝具有近似特征的产品的异物检测中。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它农产品的异物检测可以使用所讨论的实施例。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。