一种多层次模型布匹疵点检测方法和系统

摘要

本发明公开了一种多层次模型布匹疵点检测方法和系统，其中方法的实现包括：建立预分类模型Model1、卷积神经网络模型FabricNet和终分类模型Model2；采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM的特征值组成特征向量V1；将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则将疵点图像输入FabricNet，得到纹理特征向量V2；若不是疵点图像则得到了ROI图像的判别结果；将V2输入Model2，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。由于本发明使用了Model1、FabricNet和Model2这3个模型，提高了布匹疵点检测的准确率和实时性，满足工业生产需求。

说明书

技术领域

本发明属于模式识别技术领域，具体涉及一种多层次模型布匹疵点检测方法和系统。

背景技术

在纺织工业生产中，纺织品的检测是一道重要的工序，它决定了产品的质量，因此，疵点检测是生产工序中绝不可忽视的环节。然而，传统的的布匹疵点检测仍然是通过人工视觉来评定，人工长时间的检验不仅会影响产品质量的客观评定，还受限于检验人员的熟练程度。随着布匹的生产速度的提高以及对产品质量要求的提高，人工检验存在很大的弊端，包括检测速度慢、检测率低和稳定性差等，这使得人工检验越来越不适应工业生产的需求，因此，迫切需求生产过程中实现自动、精准、快速检测疵点的方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种多层次模型布匹疵点检测方法和系统，其目的在于解决布匹生产过程中人工检验疵点效率低，而现有基于机器视觉的检测方法准确率低、时效性低等问题。

为实现上述目的，按照本发明的一个方面，提供了一种多层次模型布匹疵点检测方法，包括以下步骤：

(1)预先训练预分类模型Model₁、卷积神经网络模型FabricNet和终分类模型Model₂；

(2)采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM>1；

(3)将V₁输入Model₁判断ROI图像是否为疵点图像，若为疵点图像则进行步骤(4)，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；

(4)将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V₂；

(5)将V₂输入Model₂，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。

进一步的，Model₁的具体训练方式为：

选取含有疵点的图像和不含疵点的图像组合为学习集L1，其中将L1按照第一预设比例分为训练集L1₁和验证集L1₂；计算L1₁中图像的GLCM的特征值组成特征向量V₁₁，将V₁₁输入第一分类器进行训练；计算L1₂中图像的GLCM>12，将V₁₂输入第一分类器测试预分类的准确率，得到预分类准确率大于等于第二预设值的Model₁。

进一步的，FabricNet的具体训练方式为：

选取含有疵点的图像和不含疵点的图像组合为学习集L2，其中将L2按照第三预设比例分为训练集L2₁和验证集L2₂；对L2₁采用N折交叉验证法进行训练，用L2₂测试再分类的准确率，得到再分类准确率大于等于第四预设值的FabricNet。

进一步的，Model₂的具体训练方式为：

选取含有疵点的图像和不含疵点的图像组合为学习集L3，L3按照第五预设值分为训练集L3₁和验证集L3₂；将L3₁输入FabricNet得到特征向量V₂₁，将V₂₁输入第一分类器进行训练，计算L3₂中图像的GLCM的特征值组成特征向量V₂₂，将V₂₂输入第一分类器进行测试，得到终分类准确率大于等于第六预设值的终分类模型Model₂。

进一步的，第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。

更进一步的，第一分类器为支持向量机。

进一步的，图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。

按照本发明的另一方面，提供了一种多层次模型布匹疵点检测系统，包括以下模块：

建立多层次模型模块，用于预先训练预分类模型Model₁、卷积神经网络模型FabricNet和终分类模型Model₂；

特征向量模块，用于对布匹图像分割得到ROI图像，计算ROI图像的>1；

预分类模块，用于将V₁输入Model₁判断ROI图像是否为疵点图像，若为疵点图像则执行卷积神经网络模块，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像；

卷积神经网络模块，将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V₂；

终分类模块，用于将V₂输入Model₂，得出疵点图像的疵点分类判别结果；得到布匹图像的疵点检测结果。

更进一步的，图像的GLCM的特征值是图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于本发明在布匹图像的疵点检测的过程中使用了3个模型：预分类模型、卷积神经网络模型FabricNet和终分类模型，提高了布匹疵点检测的准确率和实时性，满足工业生产需求，具体而言，具有以下优点：

1、利用预分类模型Model₁，对布匹图像分割后的ROI图像进行预分类过滤掉大部分无疵点正常布匹，减小后面模型的负担，预分类模型Model₁保证了布匹疵点检测的时效性；

2、利用卷积神经网络模型FabricNet，借助FabricNet提取图像的深层特征，用于图像的精确分类，准确率非常高，FabricNet保证了布匹疵点检测的准确率；

3、利用终分类模型Model₂，该模型分类准确率非常高，Model₂利用>2保证了布匹疵点检测的准确率。

附图说明

图1是一种多层次模型布匹疵点检测方法的流程图；

图2是布匹图像的分割原理示意图；

图3是ROI图像的纹理分块示意图；

图4是ROI图像计算GLCM时GPU端的线程分布图；

图5是ROI图像计算GLCM的特征值时GPU端的线程分布图；

图6(a)是孔洞疵点布匹图像；

图6(b)是油渍疵点布匹图像；

图6(c)是异物疵点布匹图像；

图6(d)是折痕疵点布匹图像；

图6(e)是正常布匹图像；

图7是卷积神经网络模型FabricNet的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提出了一种多层次模型布匹疵点检测方法，包括：

(1)预先训练预分类模型Model₁、卷积神经网络模型FabricNet和终分类模型Model₂；包括：

(1-1)选取含有疵点的图像和不含疵点的图像组合为学习集L1，将L1 按照第一预设比例分为训练集L1₁和验证集L1₂；计算L1₁中图像的GLCM的特征值组成特征向量V₁₁，将V₁₁输入第一分类器进行训练；计算L1₂中图像的>12，将V₁₂输入第一分类器测试预分类的准确率，得到预分类准确率大于等于第二预设值的Model₁。

第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。

其中第一分类器为支持向量机时分类效果最好。

具体实施方式为：选取3000张尺寸227×227的样本图像作为学习集L1，其中正常布匹1000张，疵点图像2000张，包括孔洞、异物、油渍和折痕疵点图像各500张。L1按照4∶1分为训练集L1₁和验证集L1₂；计算L1₁图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩，得到的特征向量V₁₁输入支持向量机(SVM)二分类模型进行训练，迭代一定步数后，计算L1₂图像的4个方向的GLCM的4个特征值，4个特征值为能量、熵、对比度和逆差矩，得到的特征向量V₁₂输入支持向量机(SVM)二分类模型进行测试，若测试正确率达不到要求，则继续训练，最终得到对疵点图像分类准确率为97.17％，正常图像分类准确率为91.50％的预分类模型Model₁。

(1-2)选取大量包含孔洞、油渍、异物和折痕等C类疵点的布匹图像以及不含疵点的正常布匹图像作为学习集L2时，由于L2中样本图像用于训练卷积神经网络模型FabricNet，为了避免网络过拟合，L2中图像数量需求比较大，将L1中的图像通过旋转、平移、灰度值改变、增加噪声等方式扩充K倍，扩充后的图像集作为L2。其中将L2按照第三预设比例分为训练集L2₁和验证集L2₂；对L2₁采用N折交叉验证法进行训练，将L2平均分为N份，轮流将其中N-1份作为训练数据，1份作为测试数据。每次训练完毕后测试后得到相应的正确率，N次结果的正确率的平均值作为分类准确率，得到再分类准确率大于等于第四预设值的FabricNet。

具体实施方式为：设计用于对布匹图像5分类的卷积神经网络FabricNet； FabricNet结构在经典结构CaffeNet的基础上做fine-tuning，最后一层分类层神经元数目为5，实现对正常布匹图像以及孔洞、油渍、异物和折痕4类疵点图像的分类。完整的FabricNet结构由5个卷积层和2个全连接层组成。将已有的3000张227×227的图像样本，经过旋转、平移、灰度值改变、增加噪声等方式扩充样本10倍，得到30000张图像作为学习集L2，其中正常布匹图像10000张，孔洞、异物、油渍和折痕疵点图像各5000张。利用 L2采用5(N＝5)折交叉验证法训练FabricNet，最后得到的FabricNet的分类准确率分别为97.08％。

其中，5折交叉验证法具体为：

将L2平均分为5份，轮流将其中4份作为训练图像，余下1份作为测试图像。每次适应训练图像训练完毕后，使用测试图像进行测试，得到相应的正确率，5次结果的正确率的平均值作为分类准确率，当分类准确率达到97.08％，停止训练。

(1-3)选取C类含有疵点的图像和1类不含疵点的图像组合为学习集 L3，L3按照第五预设值分为训练集L3₁和验证集L3₂；将L3₁输入FabricNet得到特征向量V₂₁，将V₂₁输入第一分类器进行训练，计算L3₂中图像的GLCM的特征值组成特征向量V₂₂，将V₂₂输入第一分类器进行测试，得到终分类准确率大于等于第五预设值的终分类模型Model₂。

第一分类器为支持向量机、Softmax分类器、贝叶斯分类器、决策树分类器和K近邻分类器中的任意一种。

其中第一分类器为支持向量机时，初分类模型、卷积神经网络模型和终分类模型的组合分类效率最高。

具体实施方式为：选取经过样本扩种的30000张图像中3000张图像作为学习集L3，其中，正常图像、孔洞疵点图像、异物疵点图像、油渍疵点图像和折痕疵点图像各600张。L3按照5∶1分为训练集L3₁和验证集L3₂；利用L3₁通过FabricNet得到最后一个卷基层Fc₇层输出作为特征向量V₂₁，输入>2经过步骤二得到的特征向量V₂₂输入支持向量机(SVM)5分类模型进行测试，若测试正确率达不到要求，则继续训练，最终得到对正常图像、孔洞疵点图像、油渍疵点图像、异物疵点图像和折痕疵点图像分类准确率分别为99.6％、99.2％、99.8％、99.2％和99.8％的终分类模型Model₂。

(2)利用工业相机获取分辨率为2048×2048的布匹图像P1，对其进行分割得到若干张ROI图像P_ROI1、V_ROI2……P_ROIn；

分割的原因在于：工业相机采集的布匹图像分辨率很大，但是后面设计的卷积神经网络接收的图像输入尺寸是固定的，且不能太大，因为卷积神经网络对于大尺寸图像的计算量非常大，耗时很多。大尺寸的布匹图像直接被送至卷积神经网络耗时过多，因此，需要对图像进行分割。分割的实现采用滑动窗口的思想，滑动过程中，布匹图像在窗口下的部分作为分割得到的ROI图像，选择滑动步长小于窗口长度是为了减小分割位置刚好处于小疵点位置造成分割后的疵点过小的可能性。图2为布匹图像的分割原理示意图，设工业相机获取布匹图像的尺寸为W×W，FabricNet接收输入图像的尺寸为S×S，使用大小为S×S的窗口从布匹图像左上角以t为步长滑动，该窗口由左上角滑到右下角的过程中，每次横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长变为t′，布匹图像在各窗口下的图像作为该布匹图像的所有ROI图像。横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长改变是为了保证布匹图像分割完全。其中t＜S，中的R代表分割后得到的各ROI图像的编号，每一行总共可以得到的ROI图像个数那么第2行得到的第1个分割图像的编号是最后一行得到的最后一个分割图像的编号是其中且R∈Z。

其中，分割的具体方法为：

布匹图像分辨率为2048x2048，使用大小为227×227的窗口从布匹图像左上角以114为步长滑动，该窗口由左上角滑到右下角的过程中，每次横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长变为111，布匹图像在各窗口下的图像作为该布匹图像的所有ROI图像。横向滑动至布匹图像最右端和纵向滑动至布匹图像最下端时，步长改变是为了保证布匹图像分割完全。

计算每张ROI图像的GLCM的特征值组成特征向量，首先计算每张ROI 图像的GLCM，然后计算每个GLCM的特征值，例如计算第一张ROI图像的特征向量V₁，在GPU端基于CUDA计算图像0°、45°、90°和135°方向的4>1；其中>1＝{Asm_n°，Ent_n°，con_n°，ind_n°}，n＝0，45，90或135。

如图3所示，ROI图像的分辨率为S×S，划分纹理块大小为M×M，则图像被划分为个纹理块，S％M表示S除以M所得到的余数。

如图4所示，在GPU端计算图像GLCM时，GPU端采用二维的线程格grid 和线程块Block进行任务划分，将ROI图像划分为二维的纹理块，GPU的每个Block处理一个纹理块，一共有个Block，每个Block内线程 Thread分布为M×M，Block内的每个线程负责1个像素，Block(x，y)是线程块的坐标，Thread(m，n)是线程位于对应线程块的坐标。

其中，在GPU端计算图像GLCM及其各特征值时，具体为：

划分纹理块大小为32×32(M＝32)，则图像被划分为8×8个纹理块，对应 GPU中8×8个block，每个block内线程分布为32×32，既然Block内的thread 是二维划分的，那么内部的thread就应该有2个方向上的索引(就是2个方向的坐标)，threadIdx.x代表线程的x方向上的索引，可以理解为横坐标，threadIdx.y代表线程的y方向上的索引，可以理解为纵坐标，对于 blockIdx.x＝7的block内仅threadIdx.x＜3对应的线程工作，对于blockIdx.y＝7的 block内仅threadIdx.y＜3工作。计算得到4个方向的灰度共生矩阵： GLCM_0°、GLCM_45°、GLCM_90°和GLCM_135°；计算4个GLCM的能量Asm、熵Ent、对比度con和逆差矩ind>2、-P(i，j)·lg>2·P(i，j)和通过2>1。

(3)将V₁输入Model₁判断ROI图像是否为疵点图像，若为疵点图像则进行步骤(4)，若不是疵点图像则得到了ROI图像的判别结果，ROI图像为正常图像。

本发明的4类疵点图像分别为，如图6(a)所示的孔洞疵点布匹图像、如图6(b)所示的油渍疵点布匹图像、如图6(c)所示的异物疵点布匹图像、如图6(d)所示的折痕疵点布匹图像以及如图6(e)所示的正常布匹图像，4类疵点图像中每一类疵点图像的数量相等。

(4)将疵点图像输入FabricNet，得到卷积层Fc7层输出向量作为疵点图像的纹理特征向量V₂。

FabricNet结构在经典结构CaffeNet的基础上做fine-tuning，最后一层分类层神经元数目为5，实现对正常布匹图像以及孔洞、油渍、异物和折痕 4类疵点图像的分类。完整的FabricNet结构如图7，由5个卷积层和2个全连接层组成。

(5)将V₂输入Model₂，得出疵点图像的疵点分类判别结果。若布匹图像中还有ROI图像的判别结果没有得到，则继续执行步骤(2)，若布匹图像中所有ROI图像的判别结果均得到，则得到布匹图像的疵点检测结果，所述布匹图像的疵点检测结束。

其中，该组ROI图像所含疵点总和即为该单张布匹图像所含疵点数目，根据判别结果为某种疵点的图像对应的ROI编号也可得到该疵点的位置。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。