基于特征融合和核化RPCA的工业表面缺陷检测方法

摘要

本发明公开了一种基于特征融合和核化RPCA的工业表面缺陷检测方法，其步骤包括：首先，将待检测图像划分为大小一致的图像块；然后，分别用两种特征描述子提取图像块的特征向量组成两个特征矩阵，并采用典型相关分析方法将两种特征矩阵进行融合；其次，将核方法引入RPCA模型中构造核化RPCA模型，采用交替方向乘子法将融合特征矩阵分解为低秩矩阵和稀疏矩阵；最后，通过阈值分割算法将由稀疏矩阵生成的显著图进行分割，定位出表面缺陷的位置。本发明融合了两种不同特征描述子构建的特征矩阵，提升对工业表面图像中复杂纹理信息的表征能力；采用核化RPCA模型，实现表面疵点和复杂背景的有效分离，有更高的检测精度和更强的泛化能力。

说明书

技术领域

本发明属于工业表面缺陷检测技术领域，特别涉及一种基于特征融合和核化RPCA的工业表面缺陷检测方法。

背景技术

表面缺陷会对工业产品的质量和性能产生不利影响，所以准确地检测出缺陷位置在工业制造中起着至关重要的作用。目前，在大多企业的生产线中，表面缺陷的检测仍然主要由人工进行，这种过程繁琐且需要专业知识，效率低且不可靠。随着人们对高质量自动检测需求的不断增长，基于机器视觉的缺陷检测技术因其客观、稳定的性能而得到广泛研究，已逐步应用于各种工业检测任务中。

当前常用的缺陷检测技术主要包括基于统计的方法、基于频谱的方法和基于模型的方法。基于统计的方法将缺陷定义为与图像背景统计纹理特征不同的图像块，典型的方法包括阈值分割、边缘检测、数学形态学等。基于频谱的方法通过在图像的光谱域计算滤波器响应的能量来判定缺陷位置，主要方法有傅立叶变换、小波变换、Gabor变换等。基于模型的方法通过恰当的模型来建模图像纹理特征，方法包括Elo评分、主动轮廓模型、马尔可夫随机场模型等。然而，对于纹理复杂多变、缺陷形态各异的工业表面图像来说，这些方法只适应于特定场景，且检测效果极依赖于合理的参数选择，缺乏适应性和鲁棒性。

鲁棒主成分分析RPCA，又称低秩矩阵分解模型，可以将一个矩阵分解为低秩矩阵和稀疏矩阵，常用于目标检测和背景恢复。对于工业表面图像，尽管它的纹理复杂多变，但背景一般较为规整，具有低秩性，缺陷形态多样，但一般仅占据整个图像的小部分区域，具有稀疏性。所以，表面缺陷检测问题很好地符合了RPCA模型，被认为是一种高效的表面缺陷检测方法。然而，基于RPCA模型的表面缺陷检测技术仍存在两个问题：1)由于工业环境的限制，采集的黑白图像中可用特征不足，单一特征描述子难以全面地表征工业表面图像中复杂纹理和多样缺陷。2)由于生产环境的干扰，不均衡光照等不利因素会打破图像背景的低秩假设，导致基于RPCA模型的缺陷检测方法性能不高。

发明内容

针对现有工业表面缺陷检测技术鲁棒性和检测精度不高的问题，本发明提出了一种基于特征融合和核化RPCA的工业表面缺陷检测方法，采用典型相关分析融合两种特征描述子来提高图像表征能力，将核方法引入RPCA模型来减弱图像背景的强低秩假设，以提高检测精度和鲁棒性。

本发明的实现了如下所述的技术方案。

一种基于特征融合和核化RPCA的工业表面缺陷检测方法，其步骤如下：

步骤一：图像分块：将待检测表面图像无重叠地分成大小相同的图像块；

步骤二：特征提取及融合：采用两种特征描述子，分别提取每个图像块的特征向量，进行堆叠后组成两个特征矩阵，再采用典型相关分析方法将两个特征矩阵进行融合；

步骤三：模型构造及求解：将核方法引入低秩分解模型中，构造核化RPCA模型，并采用交替方向乘子法(ADMM)交替迭代求解出最优的稀疏矩阵和低秩矩阵；

步骤四：显著图生成及分割：根据步骤三中的最优稀疏矩阵得到缺陷显著图，再进行阈值分割定位出缺陷位置。

所述步骤一中对待检测图像进行无重叠、均匀分块的方法是：将大小为M×M的待测图像无重叠地分为大小为n×n的均匀图像块{P

所述步骤二中两种特征矩阵的提取方法是：对于某一种特征描述子，图像块P

所述步骤二中采用典型相关分析方法将两个特征矩阵进行融合的方法是：通过寻找典型变量U和V，使得两组线性组合

所述步骤三中将核方法引入RPCA模型的方法是：

其中，F是融合特征，L和E分别为融合特征分解后的低秩矩阵和稀释矩阵，Ψ(L)为对低秩矩阵进行非线性变换Ψ，||Ψ(L)||

所述步骤三中采用ADMM求解核化RPCA模型的方法是：核化RPCA模型的增广拉格朗日函数为

其中，Y是拉格朗日乘子，

S1：初始化：L

S2：更新低秩矩阵L：固定其他变量，第k+1次迭代中矩阵L

此时，引入核函数K

S3：更新稀疏矩阵E：固定其他变量，第k+1次迭代中矩阵E

S4：更新拉格朗日乘子项Y,惩罚项μ和迭代次数k：

Y

η

k＝k+1

S5：循环步骤S2-S4，直到满足收敛条件

所述步骤四中由稀疏矩阵得到缺陷显著图的方法是：对于一个表面图像的融合特征矩阵的最优稀疏矩阵E

所述步骤四中对缺陷显著图阈值分割的方法是：利用缺陷显著图中灰度值的均值μ和标准差σ，确定自适应阈值的下限T

其中，p和q是像素点坐标，c是常数，Se是缺陷分割图。

本发明的有益效果：首先对待检测图像进行均匀分块处理，以减少计算量，；然后用两个特征描述子分别提取特征矩阵，并采用典型相关分析将两个特征矩阵进行融合；其次，将核方法引入RPCA模型中，并采用ADMM循环迭代出最优稀疏矩阵；最后，根据空间对应关系，由最优的稀疏矩阵得到对应的缺陷显著图，并对显著图进行阈值分割处理得到最终的缺陷分割图。本发明采用典型相关分析将两种不同特征描述子构建的特征矩阵进行融合，提升对工业表面图像中复杂纹理信息的表征能力；将核方法引入RPCA模型来减弱图像背景的强低秩假设，并采用ADMM方法进行有效地求解，实现对表面缺陷和复杂背景的有效分离，具有更高的检测精度和更强的泛化能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图。

图2分别为本发明实施例中常见的工业表面缺陷图像。

图3分别为图2的缺陷真值图。

图4分别为图2先验知识指导最小二乘回归方法生成的显著图。

图5分别为图2基于小波变换方法生成的显著图。

图6分别为图2基于结构化矩阵分解方法生成的显著图

图7分别为图2基于本发明方法生成的分割图。

具体实施方式

本发明公开了一种基于特征融合和核化RPCA的工业表面缺陷检测方法，其步骤包括：首先，将待检测图像划分为大小一致的图像块；然后，分别用两种特征描述子提取图像块的特征向量组成两个特征矩阵，并采用典型相关分析方法将两种特征矩阵进行融合；其次，将核方法引入RPCA模型中构造核化RPCA模型，采用交替方向乘子法(ADMM)将融合特征矩阵分解为低秩矩阵和稀疏矩阵；最后，通过阈值分割算法将由稀疏矩阵生成的显著图进行分割，从而定位出表面缺陷的位置。本发明采用典型相关分析将两种不同特征描述子构建的特征矩阵进行融合，提升对工业表面图像中复杂纹理信息的表征能力；采用核化RPCA模型，实现对表面疵点和复杂背景的有效分离，具有更高的检测精度和更强的泛化能力。

下面将结合附图和具体实施例，对本发明作进一步描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。相关人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的基于特征融合和核化RPCA的工业表面缺陷检测方法，包括以下步骤：

步骤一：图像分块：将待检测表面图像无重叠地分成大小相同的图像块；

对待检测图像进行无重叠、均匀分块的方法是：将大小为256×256的待测图像无重叠地分为大小为8×8的均匀图像块{P

步骤二：特征提取及融合：采用两种特征描述子，分别提取每个图像块的特征向量，进行堆叠后组成两个特征矩阵，再采用典型相关分析方法将两个特征矩阵进行融合；

首先，两种特征矩阵的提取方法是：对于某一种特征描述子，图像块P

然后，采用典型相关分析方法将两个特征矩阵进行融合的方法是：通过寻找典型变量U和V，使得两组线性组合

步骤三：模型构造及求解：将核方法引入低秩分解模型中，构造核化RPCA模型，并采用交替方向乘子法(ADMM)交替迭代求解出最优的稀疏矩阵和低秩矩阵；

将核方法引入RPCA模型的方法是：

其中，F是融合特征，L和E分别为融合特征分解后的低秩矩阵和稀释矩阵，Ψ(L)为对低秩矩阵进行非线性变换Ψ，||Ψ(L)||

采用ADMM求解核化RPCA模型的方法是：核化RPCA模型的增广拉格朗日函数为

其中，Y是拉格朗日乘子，

S1：初始化：L

S2：更新低秩矩阵L：固定其他变量，第k+1次迭代中矩阵L

此时，引入核函数K

S3：更新稀疏矩阵E：固定其他变量，第k+1次迭代中矩阵E

S4：更新拉格朗日乘子项Y,惩罚项μ和迭代次数k：

Y

η

k＝k+1

S5：循环步骤S2-S4，直到满足收敛条件

步骤四：显著图生成及分割：根据步骤三中的最优稀疏矩阵得到缺陷显著图，再进行阈值分割定位出缺陷位置；

由稀疏矩阵得到缺陷显著图的方法是：对于一个表面图像的融合特征矩阵的最优稀疏矩阵E

对缺陷显著图阈值分割的方法是：利用缺陷显著图中灰度值的均值μ和标准差σ，确定自适应阈值的下限T

其中，p和q是像素点坐标，Se是缺陷分割图，c是常数，取值由待检测工业表面类型而定。

实施例：

在实施例中，从MVTec缺陷图像库，磁瓦图像库和模式织物图像库中随机挑选几类含缺陷的工业表面缺陷图像，如图2所示。两种特征描述子分别为Gabor和HOG，核函数采用径向基核函数。

图3为逐像素标记的缺陷真值图。图4为采用文献[1]([1]Cao J,Zhang J,Wen Z,et al.Fabric defect inspection using prior knowledge guided least squaresregression[J].Multimedia Tools and Applications,2017,76(3):4141-4157.)的方法生成的显著图。由图4可知，文献[1]的方法虽然可以较好地检测出缺陷位置，但存在缺陷形状描述不准确的问题。图5为采用文献[2]([2]Imamoglu N,Lin W,Fang Y.A SaliencyDetection Model Using Low-Level Features Based on Wavelet Transform[J].IEEETransactions on Multimedia,2013,15(1):96-105.)的方法生成的显著图。由图5可知，文献[2]的方法可以大概的凸显出缺陷位置，但检测结果极易受到表面纹理的干扰。图6为采用文献[3]([3]Peng H,Li B,Ling H,et al.Salient Object Detection via StructuredMatrix Decomposition[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2017,39(4):818-832.)的方法生成的显著图。由图6可知，文献[2]的方法极易将背景纹理误检为缺陷，只有当纹理较为简单时才有不错的检测效果。图7为本发明生成的分割图，本发明的方法可以从复杂的背景纹理中很好地检测出多种类型的缺陷，与真值图相比，极少出现漏检或误检的情况。

以上所述仅为本发明的部分实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上面结合附图和具体实施例对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。