基于显著活动轮廓模型的硅钢板表面微小缺陷检测方法

摘要

本发明属于智能检测和机器视觉领域，具体公开了一种基于显著活动轮廓模型的硅钢板表面微小缺陷检测方法，主要实现复杂背景下硅钢板表面微小缺陷的准确检测。本发明方法的实现步骤主要包括：首先采用视觉显著方法对采集的硅钢板表面图像进行检测判断该图像是否为缺陷图像；然后采用显著活动轮廓模型对缺陷图像进行定位检测。实验结果显示，尽管硅钢板表面的背景比较复杂，给微小缺陷的检测带来了较大的挑战，而本发明方法可以准确的检测定位包括点缺陷和凹痕缺陷等所有的表面微小缺陷。

说明书

技术领域

本发明属于智能检测和机器视觉领域，具体涉及一种基于显著活动轮廓模型 的硅钢板表面微小缺陷检测方法。

背景技术

硅钢板是一种重要的软磁性材料，主要用作变压器和各种电机的铁芯。它的 生产工艺复杂，制造技术严格，国外的生产技术都以专利形式加以保护，视为企 业的生命。由于受生产条件的局限，硅钢板的表面不可避免地会存在不同形式、 不同类别的缺陷，且尺寸大小、缺陷数量及其分布的差异很大。表面缺陷的存在， 严重影响硅钢板生产的顺利组织和产品合格率的提高，很大程度上制约了钢铁企 业的发展。在生产过程中如何及时地检测出缺陷，并通过对缺陷信息的分析，找 出缺陷产生的原因，实现对硅钢板表面质量的控制是钢铁企业非常关注的问题。

由于使用硅钢板生产的电机类产品对硅钢板表面质量要求非常严格，微小缺 陷的存在也严重影响产品的性能。为了满足客户的需求，钢铁企业必须保证硅钢 板表面缺陷的完全检出，然而微小缺陷是检测的难点，在检测过程中，提高对微 小缺陷检测精度的同时，表面复杂背景突出，给缺陷检测带来了更大的挑战。

为了能够快速准确的检测钢板表面缺陷，基于机器视觉的钢板表面质量检测 技术已经得到一定程度的应用和推广，并且各种各样的检测方法已经被应用于检 测系统中。尽管一些检测方法在某些单一类型（例如裂纹、孔洞等）的缺陷检测 中已经取得了不错的实验结果，但是目前还没有一个通用的方法能够检测所有类 型的表面缺陷。因此，有必要开发一个适合的检测方法能够实现复杂背景下硅钢 板表面微小缺陷的准确检测。

发明内容

针对复杂背景下硅钢板表面微小缺陷的检测问题，本发明提出一种基于显著 活动轮廓模型的硅钢板表面微小缺陷检测方法，以实现对硅钢板表面微小缺陷检 测的目的。

本发明的技术方案是：

一种基于显著活动轮廓模型的硅钢板表面微小缺陷检测方法，包括如下步骤：

步骤1、采用面阵工业相机采集硅钢板表面图像；

步骤2、采用视觉显著方法对采集的硅钢板表面图像进行检测，判断是否为 缺陷图像，若是，则执行步骤3，否则将图像删除；

步骤3、采用显著活动轮廓模型对缺陷图像进行定位检测。

步骤2所述的采用视觉显著方法对采集的硅钢板表面图像进行检测，具体步 骤如下：

步骤2-1、使用5×5高斯滤波窗口对采集的硅钢板表面图像进行滤波处理；

步骤2-2、将滤波后的硅钢板表面图像和未滤波的硅钢板表面图像进行颜色 空间转换，即从RGB颜色空间转换到Lab颜色空间；

步骤2-3、在Lab颜色空间下，分别计算未滤波的硅钢板表面图像的平均向 量I_μ(x,y)和滤波后的硅钢板表面图像的向量I_f(x,y)；

步骤2-4、将步骤2-3中获得的I_μ(x,y)和I_f(x,y)代入以下公式中计算得到显 著值S(x,y)，进一步根据显著值绘制显著图；

S(x,y)=||I_μ(x,y)-I_f(x,y)||      (1)

步骤2-5、计算显著图中的平均灰度并与初始设置的阈值大小进行比较判断 该图像是否为缺陷图像。

步骤3所述的采用显著活动轮廓模型对缺陷图像进行定位检测，具体步骤如 下：

步骤3-1、构建硅钢板表面缺陷图像的最小化能量函数：

$\underset{C}{\min }E(m_1,m_2,C)=\underset{C}{\int }L(s,C)\mathrm{ds}+\lambda \underset{\mathrm{inside}\left(C\right)}{\int }{|S\left(x\right)-m_1|}^2\mathrm{dx}+\lambda \underset{\mathrm{outside}\left(C\right)}{\int }{|S\left(x\right)-m_2|}^2\mathrm{dx}---\left(2\right)$

其中，E(m₁,m₂,C)表示最小化的能量函数；而L(s,C)是关于曲线长度C的函 数，s为曲线长度C的积分变量；式中的第二项和第三项合称为数据保真项，λ为 权重系数，S(x)表示在图像x位置处的像素数据，m₁和m₂分别表示曲线内、外的 像素灰度均值。

步骤3-2、引入水平集思想和方法，将演化曲线C用水平集函数来代替，同 时使用正则化的海氏函数，将步骤3-1中的最小化能量函数改写成如下形式：

$\underset{\phi }{\min }E(m_1,m_2,\phi )=\int |▿H\left(\phi \right)|+\lambda ·\int {|S\left(x\right)-m_1|}^{2}H\left(\phi \right)\mathrm{dx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-H\left(\phi \right))\mathrm{dx}---\left(3\right)$

其中，φ为水平集函数，H(φ)表示海氏函数；λ为权重系数。

步骤3-3、运用凸优化技术将步骤3-2中的最小化能量函数转为凸优化的泛函 形式：

$\underset{\phi \in \left\{\mathrm{0,1}\right\}}{\min }E(m_1,m_2,\phi )=\int |▿\phi |+\lambda ·{\int |S\left(x\right)-m_1|}^2\mathrm{\phi dx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-\phi )\mathrm{dx}$

步骤3-4、使用处在凸集中的隶属度函数u来代替φ，并限定隶属度函数处在 一个凸集[0,1]中，将步骤3-3中的泛函形式转为如下形式：

$\underset{u\in \left[\mathrm{0,1}\right]}{\min }E(m_1,m_2,\phi )=\int |▿u|+\lambda ·{\int |S\left(x\right)-m_1|}^2\mathrm{udx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-u)\mathrm{dx}$

其中，u为隶属度函数。

步骤3-5、将步骤3-4中的泛函形式进一步改写得到凸优化的最小化能量泛函 模型：

$\underset{u\in \left[\mathrm{0,1}\right]}{\min }E(m_1,m_2,u)=\int |▿u|\mathrm{dx}+\lambda ·\int r·\mathrm{udx}$

其中，是u的全变差，r为数据保真项函数。

步骤3-6、引入新的向量变量将步骤3-5中的泛函模型改写成：

$\underset{u\in \left[\mathrm{0,1}\right],\overrightarrow{d}}{\min }E(m_1,m_2,u)=\int \left|\overrightarrow{d}\right|+\lambda ·r·\mathrm{udx}$

其中，为辅助变量。

步骤3-7、采用Bregman迭代方法，并引入迭代参数得到如下式：

$\left(\begin{array}{c}(u^{k+1},{\overrightarrow{d}}^{k+1})=\underset{u\in \left[\mathrm{0,1}\right],\overrightarrow{d}}{\min }\int \left|\overrightarrow{d}\right|+\lambda ·r·u+\frac{\mu }{2}|\overrightarrow{d}-▿u-{\overrightarrow{b}}^k|\mathrm{dx},k\ge 0\\ {\overrightarrow{b}}^{k+1}={\overrightarrow{b}}^k+{▿u}^{k+1}-{\overrightarrow{d}}^{k+1}\end{array}\right)$

式中，k为迭代次数，为迭代参数，μ为调整项。

步骤3-8、由变分法原理，得到最优解满足如下表达式：

$\mathrm{\mu \Delta u}=\lambda ·r+\mu ·\mathrm{div}({\overrightarrow{d}}^k-{\overrightarrow{b}}^k),u\in \left[\mathrm{0,1}\right]$

步骤3-9、采用Gauss-Seidel迭代方法求解u^k+1：

$\left(\begin{array}{c}{\alpha }_{i,j}={\overrightarrow{d}}_{i-1,j}^{x,k}-{\overrightarrow{d}}_{i,j}^{x,k}-{\overrightarrow{b}}_{i-1,j}^{x,k}+{\overrightarrow{b}}_{i,j}^{x,k}+{\overrightarrow{d}}_{i,j-1}^{y,k}-{\overrightarrow{d}}_{i,j}^{y,k}-{\overrightarrow{b}}_{i,j-1}^{y,k}+{\overrightarrow{b}}_{i,j}^{y,k}\\ {\beta }_{i,j}=\frac{1}{4}(u_{i-1,j}^{k,n}+u_{i+1,j}^{k,n}+u_{i,j-1}^{k,n}+u_{i,j+1}^{k,n}-\frac{\lambda }{\mu }r+{\alpha }_{i,j})\\ u_{i,j}^{k+1,n+1}=\max \left\{\min \right\{{\beta }_{i,j},1\},0\}\end{array}\right)$

其中，α_i,j和β_i,j分别表示在图像位置(i,j)处的调整参数。

步骤3-10、通过软阈值得到的最优解：

${\overrightarrow{d}}^{k+1}=\frac{{▿u}^{k+1}+{\overrightarrow{b}}^k}{|{▿u}^{k+1}+{\overrightarrow{b}}^k|}\max \left(\right|{▿u}^{k+1}+{\overrightarrow{b}}^k|-{\mu }^{-1},0).$

本发明与目前现有的技术相比具有几个明显优点：

1）本发明对采集的硅钢板表面图像检测时引入了视觉显著方法，能够在复杂 背景下有效判断出硅钢板表面图像是否为缺陷图像。

2）本发明运用了凸优化技术将一个非凸的分割模型转变为了凸优化问题，避 免了缺陷定位时容易陷入局部最优的问题，因而能够准确检测出表面微小缺陷。

3）本发明在求解凸优化的最小化能量泛函模型时采用了Bregman迭代方法， 因而处理速度得到了较大地提高。

总之，本发明基于显著活动轮廓模型的硅钢板表面微小缺陷检测方法，首先 采用视觉显著方法对采集的硅钢板表面图像进行检测判断该图像是否为缺陷图 像；然后采用显著活动轮廓模型对缺陷图像进行定位检测，可实现复杂背景下硅 钢板表面微小缺陷的准确检测。

附图说明

图1为本发明一种实施例的基于显著活动轮廓模型的硅钢板表面微小缺陷检 测方法流程图。

图2为本发明一种实施例的视觉显著方法示意图；其中，(a)硅钢表面图像； (b)滤波后的硅钢表面图像；(c)Lab颜色空间下的硅钢表面图像；(d)Lab颜色空 间下的滤波后硅钢表面图像；(e)硅钢表面图像的显著图；(f)显著图的曲面图像。

图3为本发明一种实施例的显著活动轮廓模型的方法定位检测流程图。

图4为本发明一种实施例的点缺陷图像及其实验结果；其中，(a)点缺陷图 像1；(b)点缺陷图像2；(c)本发明方法对点缺陷图像1的实验结果；(d)本发明 方法对点缺陷图像2的实验结果。

图5为本发明一种实施例的凹痕缺陷图像及其实验结果。其中，(a)凹痕缺 陷图像1；(b)凹痕缺陷图像2；(c)本发明方法对凹痕缺陷图像1的实验结果；

(d)本发明方法对凹痕缺陷图像2的实验结果。

图6为图2(f)的放大图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

如图1所示，本发明基于显著活动轮廓模型的硅钢板表面微小缺陷检测方法， 包括如下步骤：

步骤1、采用面阵工业相机采集硅钢板表面图像；

步骤2、采用视觉显著方法对采集的硅钢板表面图像进行检测，判断是否为 缺陷图像；若是，则执行步骤3，否则将图像删除。结合一种实施例的视觉显著 方法示意图，如图2所示，具体实施方式如下：

步骤2-1、使用5×5高斯滤波窗口对采集的硅钢板表面图像进行滤波处理；

步骤2-2、将未滤波的硅钢板表面图像（即图2（a））和滤波后的硅钢板表面 图像（即图2（b））进行颜色空间转换，即从RGB颜色空间转换到Lab颜色空间， 从而分别得到Lab颜色空间下的硅钢板表面图像（即图2（c））和滤波后的硅钢 板表面图像（即图2（d））；

步骤2-3、在Lab颜色空间下，分别计算未滤波的硅钢板表面图像的平均向 量I_μ(x,y)和滤波后的硅钢板表面图像的向量I_f(x,y)；

步骤2-4、将步骤2-3中获得的I_μ(x,y)和I_f(x,y)代入以下公式中计算得到显 著值S(x,y)，进一步根据显著值绘制显著图，如图2（e）所示；

S(x,y)=||I_μ(x,y)-I_f(x,y)||       (1)

步骤2-5、计算显著图中的平均灰度并与初始设置的阈值大小进行比较判断 该图像是否为缺陷图像，图2（f）和图6为显著图的曲面图像，从图中可以清楚 的看出表面微小缺陷的数值明显较高，因此可以判定该图像中含有表面缺陷，在 本发明实施例中初始设置的阈值为200。

步骤3、采用显著活动轮廓模型对缺陷图像进行定位检测。具体步骤如下：

步骤3-1、构建硅钢板表面缺陷图像的最小化能量函数：

$\underset{C}{\min }E(m_1,m_2,C)=\underset{C}{\int }L(s,C)\mathrm{ds}+\lambda \underset{\mathrm{inside}\left(C\right)}{\int }{|S\left(x\right)-m_1|}^2\mathrm{dx}+\lambda \underset{\mathrm{outside}\left(C\right)}{\int }{|S\left(x\right)-m_2|}^2\mathrm{dx}---\left(2\right)$

其中，E(m₁,m₂,C)表示最小化的能量函数；而L(s,C)是关于曲线长度C的函 数，s为曲线长度C的积分变量；式中的第二项和第三项合称为数据保真项，λ为 权重系数，S(x)表示在图像x位置处的像素数据，m₁和m₂分别表示曲线内、外的 像素灰度均值；

步骤3-2、引入水平集思想和方法，将演化曲线C用水平集函数来代替，同 时使用正则化的海氏函数，将步骤3-1中的最小化能量函数改写成如下形式：

$\underset{\phi }{\min }E(m_1,m_2,\phi )=\int |▿H\left(\phi \right)|+\lambda ·\int {|S\left(x\right)-m_1|}^{2}H\left(\phi \right)\mathrm{dx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-H\left(\phi \right))\mathrm{dx}---\left(3\right)$

其中，φ为水平集函数，H(φ)表示海氏函数；λ为权重系数；

步骤3-3、运用凸优化技术将步骤3-2中的最小化能量函数转为凸优化的泛函 形式：

$\underset{\phi \in \left\{\mathrm{0,1}\right\}}{\min }E(m_1,m_2,\phi )=\int |▿\phi |+\lambda ·{\int |S\left(x\right)-m_1|}^2\mathrm{\phi dx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-\phi )\mathrm{dx}$

步骤3-4、使用处在凸集中的隶属度函数u来代替φ，并限定隶属度函数处在 一个凸集[0,1]中，将步骤3-3中的泛函形式转为如下形式：

$\underset{u\in \left[\mathrm{0,1}\right]}{\min }E(m_1,m_2,u)=\int |▿u|+\lambda ·{\int |S\left(x\right)-m_1|}^2\mathrm{udx}+\lambda ·{\int |S\left(x\right)-m_2|}^2(1-u)\mathrm{dx}$

其中，u为隶属度函数；

步骤3-5、将步骤3-4中的泛函形式进一步改写得到凸优化的最小化能量泛函 模型：

$\underset{u\in \left[\mathrm{0,1}\right]}{\min }E(m_1,m_2,u)=\int |▿u|\mathrm{dx}+\lambda ·\int r·\mathrm{udx}$

其中，是u的全变差，r为数据保真项函数；

步骤3-6、引入新的向量变量将步骤3-5中的泛函模型改写成：

$\underset{u\in \left[\mathrm{0,1}\right],\overrightarrow{d}}{\min }E(m_1,m_2,u)=\int \left|\overrightarrow{d}\right|+\lambda ·r·\mathrm{udx}$

其中，为辅助变量；

步骤3-7、采用Bregman迭代方法，并引入迭代参数得到如下式：

$\left(\begin{array}{c}(u^{k+1},{\overrightarrow{d}}^{k+1})=\underset{u\in \left[\mathrm{0,1}\right],\overrightarrow{d}}{\min }\int \left|\overrightarrow{d}\right|+\lambda ·r·u+\frac{\mu }{2}|\overrightarrow{d}-▿u-{\overrightarrow{b}}^k|\mathrm{dx},k\ge 0\\ {\overrightarrow{b}}^{k+1}={\overrightarrow{b}}^k+{▿u}^{k+1}-{\overrightarrow{d}}^{k+1}\end{array}\right)$

式中，k为迭代次数，为迭代参数，μ为调整项；

步骤3-8、由变分法原理，得到最优解满足如下表达式：

$\mathrm{\mu \Delta u}=\lambda ·r+\mu ·\mathrm{div}({\overrightarrow{d}}^k-{\overrightarrow{b}}^k),u\in \left[\mathrm{0,1}\right]$

步骤3-9、采用Gauss-Seidel迭代方法求解u^k+1：

$\left(\begin{array}{c}{\alpha }_{i,j}={\overrightarrow{d}}_{i-1,j}^{x,k}-{\overrightarrow{d}}_{i,j}^{x,k}-{\overrightarrow{b}}_{i-1,j}^{x,k}+{\overrightarrow{b}}_{i,j}^{x,k}+{\overrightarrow{d}}_{i,j-1}^{y,k}-{\overrightarrow{d}}_{i,j}^{y,k}-{\overrightarrow{b}}_{i,j-1}^{y,k}+{\overrightarrow{b}}_{i,j}^{y,k}\\ {\beta }_{i,j}=\frac{1}{4}(u_{i-1,j}^{k,n}+u_{i+1,j}^{k,n}+u_{i,j-1}^{k,n}+u_{i,j+1}^{k,n}-\frac{\lambda }{\mu }r+{\alpha }_{i,j})\\ u_{i,j}^{k+1,n+1}=\max \left\{\min \right\{{\beta }_{i,j},1\},0\}\end{array}\right)$

其中，α_i,j和β_i,j分别表示在图像位置(i,j)处的调整参数；

步骤3-10、通过软阈值得到的最优解：

${\overrightarrow{d}}^{k+1}=\frac{{▿u}^{k+1}+{\overrightarrow{b}}^k}{|{▿u}^{k+1}+{\overrightarrow{b}}^k|}\max \left(\right|{▿u}^{k+1}+{\overrightarrow{b}}^k|-{\mu }^{-1},0).$

如图3所示，结合本发明一种实施例的显著活动轮廓模型的方法定位检测流 程图，具体实施方式如下：

步骤3-1、设定窗口函数W_k(x)，这里使用的窗口为广泛应用的Gaussian窗口， σ取值为3，窗口大小为4σ+1。

步骤3-2、将局部窗口函数W_k(x)带入下式，得到局部灰度均值：曲线内像素 灰度均值m₁和曲线外像素灰度均值m₂的初始值m₁^k和m₂^k，其中φ为水平集函数。

m₁=mean(S∈({x∈Ω|φ(x)<0}∩W_k(x)))

m₂=mean(S∈({x∈Ω|φ(x)>0}∩W_k(x)))

步骤3-3、将m₁^k和m₂^k带入下式中，得到数据保真项函数r的初始值r^k，其 中k为迭代次数，S(x)表示在图像x位置处的像素数据。

r=S(x)-m₁²-S(x)-m₂²

步骤3-4、给定隶属度函数u，辅助变量和迭代参数的初始值分别为u^k， 和并给定权重系数λ和调整项μ的值分别为1000和2×λ，将λ，μ，u^k， r^k，和带入下式求的u^k+1。

$\left(\begin{array}{c}{\alpha }_{i,j}={\overrightarrow{d}}_{i-1,j}^{x,k}-{\overrightarrow{d}}_{i,j}^{x,k}-{\overrightarrow{b}}_{i-1,j}^{x,k}+{\overrightarrow{b}}_{i,j}^{x,k}+{\overrightarrow{d}}_{i,j-1}^{y,k}-{\overrightarrow{d}}_{i,j}^{y,k}-{\overrightarrow{b}}_{i,j-1}^{y,k}+{\overrightarrow{b}}_{i,j}^{y,k}\\ {\beta }_{i,j}=\frac{1}{4}(u_{i-1,j}^{k,n}+u_{i+1,j}^{k,n}+u_{i,j-1}^{k,n}+u_{i,j+1}^{k,n}-\frac{\lambda }{\mu }r+{\alpha }_{i,j})\\ u_{i,j}^{k+1,n+1}=\max \left\{\min \right\{{\beta }_{i,j},1\},0\}\end{array}\right)$

其中，α_i,j和β_i,j分别表示在图像位置(i,j)处的调整参数。

步骤3-5、完成一次迭代后，首先要使用下式及时更新的值为

${\overrightarrow{d}}^{k+1}=\frac{{▿u}^{k+1}+{\overrightarrow{b}}^k}{|{▿u}^{k+1}+{\overrightarrow{b}}^k|}\max \left(\right|{▿u}^{k+1}+{\overrightarrow{b}}^k|-{\mu }^{-1},0)$

步骤3-6、使用下式更新的值为

$\left(\begin{array}{c}(u^{k+1},{\overrightarrow{d}}^{k+1})=\underset{u\in \left[\mathrm{0,1}\right],\overrightarrow{d}}{\min }\int \left|\overrightarrow{d}\right|+\lambda ·r·u+\frac{\mu }{2}|\overrightarrow{d}-▿u-{\overrightarrow{b}}^k|\mathrm{dx},k\ge 0\\ {\overrightarrow{b}}^{k+1}={\overrightarrow{b}}^k+{▿u}^{k+1}-{\overrightarrow{d}}^{k+1}\end{array}\right)$

步骤3-7、利用下式更新局部灰度均值为m₁^k+1和m₂^k+1，直至满足迭代终止条 件。

$m_1^{k+1}=\mathrm{mean}(S\in \left(\right\{x\in \Omega |\phi \left(x\right)<0\}\cap W_k\left(x\right)))$

$m_2^{k+1}=\mathrm{mean}(S\in \left(\right\{x\in \Omega |\phi \left(x\right)>0\}\cap W_k\left(x\right))).$

本发明实施例中的实验条件：

硬件平台：Intel Pentium(R)Duo-Core2.8GHz中央处理器，4G内存。

软件平台：Matlab7.10和Visual C++6.0。

本发明实施例在硅钢表面微小缺陷图像样本库中进行检测定位实验。

实验一：应用本发明对待检测的点缺陷图像1和点缺陷图像2，即图4（a） 和图4（b），分别进行检测定位实验。

实验结果如图4（c）和图4（d）所示，从图4（c）和图4（d）中可以看到， 尽管硅钢板表面的背景比较复杂，给微小缺陷的检测带来了较大的挑战，而本发 明方法可以准确的检测定位所有的点缺陷。

实验二：应用本发明对待检测的凹痕缺陷图像1和凹痕缺陷图像2，即图5 （a）和图5（b），分别进行检测定位实验。

实验结果如图5（c）和图5（d）所示，从图5（c）中可以看到，本发明方 法可以准确的检测定位所有的凹痕缺陷。同样从图5（d）的凹痕缺陷轮廓可以看 出，本发明方法可以准确地将缺陷目标区域检测定位出来，进一步证明了本发明 方法的有效性。

实验结果显示，尽管硅钢板表面的背景比较复杂，给微小缺陷的检测带来了 较大的挑战，而本发明方法可以准确的检测定位包括点缺陷和凹痕缺陷等所有的 表面微小缺陷。