一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法

摘要

本发明属于图像处理技术领域，并具体公开了一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法，其包括如下步骤：获取无缺陷的良品图以及对应的缺陷图，共同构成图像数据集；构建对抗网络，其包括生成器和判别器，生成器用于提取图像特征，并检测异常特征，然后采用正常特征对异常特征进行编辑，进而得到重构图像；判别器用于对良品图和重构图像进行判别；根据预构建的优化目标，通过图像数据集对对抗网络进行训练，得到重构图像生成模型；将待检测图像输入重构图像生成模型中，得到其对应的重构图像，进而根据待检测图像和对应的重构图像得到纹理表面缺陷。本发明对不同纹理表面上的不同形状大小、不同对比度的缺陷都有较高的检测精度。

说明书

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法。

背景技术

在工业制造领域，由于原材料的品质与复杂的制造过程等因素，会在产品的表面产生纹理缺陷，例如手机屏、木材、纺织物和瓷砖等。纹理缺陷是指不规则亮度变化或纹理结构破坏的局部区域。这些纹理缺陷会直接影响用户体验，为了控制产品质量，在制造过程中应该有效控制所有类型的纹理缺陷，所以缺陷检测是提升整个工业制造业的基础和关键。

图像识别技术只需通过CCD相机采集到纹理图像，然后利用图像处理算法来定位到需要感兴趣的位置，以及进行精确的检测缺陷。因此基于图像技术的缺陷检测方法可以达到工业自动化的要求。

目前，纹理表面缺陷检测还存在以下三个难点：纹理类型多样，即存在多种规则和不规则的纹理，缺陷种类繁多，即同一纹理表面可能出现多种缺陷，工业中缺陷样本少，难以收集与标注，因此，纹理表面缺陷检测仍然是一个极具挑战性的问题。现有的一些研究成果只能部分满足纹理表面缺陷检测的精度与鲁棒性要求。因此，需要提出一种基于无监督的纹理缺陷检测算法，适用于多种纹理表面的多种缺陷检测。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法，其目的在于，采用成对输入的策略，在训练阶段加入异常，并对利用异常进行检测和编辑，从而抑制了缺陷的重构，提升了缺陷的检出率，同时采用像素级对抗学习的方式，进一步提升纹理细节重构精度，本发明对不同纹理表面上的不同形状大小、不同对比度的缺陷都有较高的检测精度。

为实现上述目的，本发明提出了一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法，包括如下步骤：

S1、获取无缺陷的良品图，以及与良品图对应的缺陷图，该缺陷图和良品图共同构成图像数据集；

S2、构建基于异常特征编辑的对抗网络，其包括生成器和判别器，其中，所述生成器用于提取良品图和缺陷图的图像特征，并检测其中的异常特征，然后采用正常特征对异常特征进行编辑处理，并根据处理后的特征重构生成重构图像；所述判别器用于在每个像素上对良品图和重构图像进行判别；

S3、根据预构建的优化目标，通过图像数据集对基于异常特征编辑的对抗网络进行训练，训练时生成器和判别器进行对抗学习，从而得到重构图像生成模型；

S4、将待检测图像输入重构图像生成模型中，得到其对应的重构图像，进而根据待检测图像和对应的重构图像得到纹理表面缺陷，完成对该待检测图像的纹理表面缺陷检测。

作为进一步优选的，所述S2中，通过5个卷积层来提取图像特征，其中，第一个卷积层的步长为1，通道数为16，随后的三个卷积层的步长为2，通道数以2的倍数递增，第五个卷积层的步长为1。

作为进一步优选的，所述S2中，采用基于中心约束的聚类方法进行异常特征检测，具体包括如下步骤：

(1)以C＝{c

R

其中，i∈1,2,…,N；k＝1,2,…,K；N表示图像特征的个数，K表示聚类中心的个数；

(2)计算每个聚类簇的中心边界T

其中，σ

作为进一步优选的，所述S2中，进行异常特征编辑时，将异常特征与正常的背景特征进行卷积获得匹配分数，通过softmax运算将该匹配分数归一化为分数图，结合该分数图与背景特征得到相应的正常特征，最后采用正常特征对异常特征进行替换，完成对异常特征的编辑。

作为进一步优选的，所述优化目标即训练的联合损失L的计算公式如下：

L＝λ

其中，L

作为进一步优选的，所述聚类损失L

L

L

其中，α＝{α

作为进一步优选的，所述纹理重构损失L

其中：I

作为进一步优选的，所述像素判别损失L

其中，I

作为进一步优选的，所述S4中，根据待检测图像和重构图像得到纹理表面缺陷，具体包括如下步骤：

(1)将待检测图像与对应的重构图像作差得到残差图I

I

其中，I

(2)对残差图进行中值滤波，然后对其进行双阈值处理和形态学闭操作，从而获得包含纹理表面缺陷的二值图像I

其中，i∈(1,…,W),j∈(1,…,H)，W,H分别为图像的宽、高；T

作为进一步优选的，所述阈值T

其中，μ、σ分别是残差图的均值、标准差，ε是分割灵敏度控制系数。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明提供了一种无监督的缺陷检测方法，在离线训练阶段通过采用人工制造的缺陷图与对应的良品图作为成对输入，为模型的训练提供了异常，有利于模型在测试阶段对异常特征进行处理；在线检测时，只需将图像输入到训练好的网络模型中，重构出对应的纹理背景图像，将两图进行作差和后处理，即可检测出缺陷；本发明解决了纹理缺陷检测算法中的不同类型、大尺度变化、低对比度、不规则亮度变化、形状多变和缺乏样本等原因引起的检测精度不高的问题。

2.本发明基于异常特征编辑的对抗网络纹理表面缺陷检测方法，不受纹理类型和缺陷种类的限制，对不同纹理表面上的不同大小、不同对比度的缺陷均有较高的检测精度，适用于多种纹理表面的多种缺陷检测。

3.本发明采用基于中心约束的聚类方法对隐空间的异常特征进行检测，在检测异常特征的同时也使得提取的特征更加具有判别性，并对检测到的异常特征进行编辑，以抑制缺陷的重构，可提高缺陷的检出率。

4.本发明利用多个卷积层来提取图像的特征，通过增加卷积层的通道数和设置卷积操作的步长，来提取更加深层的图像特征；此外，采用像素级判别，可进一步提高纹理背景细节的重构精度，并在提高缺陷检出率的同时降低过检率。

5.本发明为了精确的重构纹理背景图，联合采用了纹理重构损失、聚类损失和像素判别损失，通过多任务损失函数来优化整个模型。

附图说明

图1为本发明实施例基于异常特征编辑的对抗网络模型示意图；

图2为本发明实施例异常特征检测模块示意图；

图3为本发明实施例异常特征编辑模块示意图；

图4为本发明实施例像素级判别模块示意图；

图5为本发明实施例缺陷检测阶段示意图；

图6为本发明实施例不同纹理表面缺陷检测效果示意图，其中，(a)、(c)、(e)、(g)、(i)、(k)为待检测图像，(b)、(d)、(f)、(h)、(j)、(l)为对应的检测结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的一种基于异常特征编辑的对抗网络纹理表面缺陷检测方法，包括离线训练阶段和在线检测阶段：

所述离线训练阶段包括：

S1、人工生成缺陷：

在无缺陷的良品图上I

S2、构建基于异常特征编辑的对抗网络，如图1所示，其包括生成器和判别器。所述生成器包括特征提取模块FEM、异常特征检测模块AFDM、异常特征编辑模块GCFEM、特征解码模块FDM，其中，所述特征提取模块用于提取输入纹理图像的隐空间特征；所述异常特征检测模块采用基于中心约束的聚类方法对异常特征进行检测；所述异常特征编辑模块利用异常特征与正常特征的余弦相似性来进行加权构造一个正常的特征以替换异常特征，从而抑制了缺陷的重构；所述特征解码模块用于重构纹理背景运用几个与特征提取模块相对称的卷积层将隐空间特征重构成纹理图片。所述判别器包括像素级判别模块PDM，用于在每个像素上对良品图和重构图像进行判别，进一步提升纹理背景重构精度。具体来说：

S21、特征提取模块：

利用5个卷积层来获取输入的隐空间特征，其中除了最后一层外，其他所有层的卷积核的大小都是3×3；第一个卷积层的步长和通道数分别是1和C

S22、异常特征检测模块：

通过特征提取模块提取的隐空间特征F可以被看作是一个局部特征的集合，也就是说，F＝f

本发明采用基于中心约束的聚类方法进行异常特征检测，如图2所示，具体包括如下步骤：以C＝{c

R

其中，i∈1,2,…,N；k＝1,2,…,K；N表示图像特征的个数。然后采用距离分数S

其中，α＝{α

对于每个聚类簇的中心边界T

其中，σ

S23、异常特征编辑模块：

对于检测到的异常特征，如何编辑它们以抑制缺陷的重构，这对纹理表面缺陷检测至关重要。异常特征编辑模块利用来自正常背景特征的排序的全局语义信息来替换已换成那个特征。如图3所示，正常的背景特征根据它们与需要编辑的异常特征的相似性来进行排序，然后结合成一个新的特征用来替换异常特征。每一个被检测的异常特征可以被看作是一个1×1的卷积核，通过异常特征与正常的背景特征进行卷积获得匹配分数，然后这个匹配分数被softmax运算而归一化成一个分数图，随后，结合分数图与背景特征来获得相应的正常特征，最后，用得到的正常特征来替换相应的异常特征以达到编辑异常特征的目的。

S24、特征解码模块：

特征解码模块运用几个与特征提取模块相对称的卷积层将隐空间特征F重构成纹理图片。类似的，除了第一层的卷积核大小为1×1，其他所有层的卷积核的大小都是3×3。与U-net结构相似，特征解码模块直接将编码模块中每层的特征通过跳动连接来重构出纹理背景。

如图1所示，模型将纹理图像I

其中，

S25、像素级判别模块：

如图4所示，其由4个卷积层及4个转置卷积层组成，每个卷积层的卷积核为3×3，步长为2，第一层的滤波核数量为32，后面的卷积核按2的倍数依次增加，每个转置卷积层的卷积核为3×3,步长为2，第一层的滤波核数量为256，后面的卷积核按2的倍数依次减少，最后一层的滤波核数量为1。

判别时，将真实良品图I

S3、根据预构建的优化目标，通过图像数据集对基于异常特征编辑的对抗网络进行训练，训练时生成器和判别器进行对抗学习，从而得到重构图像生成模型。

具体的，为了精确的重构纹理背景图，所述优化目标即训练的联合损失L的计算公式如下：

L＝λ

其中，L

(1)聚类损失L

在步骤S22的聚类过程中，主流的深度聚类方法忽略了减少类内差距和增加类间差距，这导致了聚类效果不是很理想。为了解决这个问题，并且精确地检测异常特征，使图2中的原始分布趋于目标分布，提出一个辅助分数L

这个辅助分数的目的使得距离d更加紧凑，从而增加了隐空间特征的判别性，所以，通过计算S

其中，

为了进一步减小类内相似性和增加类间相似性，提出如下的中心约束：

中心约束L

(2)纹理重构损失L

对于纹理重构，有三个损失：L

其中：‖·‖

(3)所述像素判别损失L

所述在线检测阶段包括：

S4、如图5所示，将待检测图像I

具体的，先将待检测图像I

I

然后对残差图进行中值滤波操作以去除其中的噪声，再对残差图进行双阈值处理和形态学闭操作，以此来获得最终检测结果的二值图像I

其中，i∈(1,…,W),j∈(1,…,H)，并且T

其中，μ、σ分别是来自残差图的均值、标准差，ε是分割灵敏度控制系数。待检测图像和检测出的二值图像如图6所示。

本发明所提出的基于异常特征编辑的对抗网络纹理表面缺陷检测方法，采用成对输入的策略，在训练阶段加入异常，利用异常特征检测模块和异常特征编辑模块来对异常进行处理，从而抑制了缺陷的重构，提升了缺陷的检出率；采用像素级判别模块来进行像素级对抗学习的方式，可进一步提高纹理背景重构精度，且可在提升纹理缺陷检出率的同时降低过检率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。