基于空间注意力机制的精品罐表面缺陷检测方法和系统

摘要

本发明公开了一种基于空间注意力机制的精品罐表面缺陷检测方法和系统，利用ResNet101+FPN构成的主干网络对精品罐的表面图像进行特征提取，得到的特征图，利用空间注意力机制加权网络将得到的特征图上的空间信息变换到另一个空间内，进一步提取关键信息，得到新的特征图，将新的特征图送入候选区域生成网络，由候选区域生成网络生成感兴趣区域，选取出新的特征图上与感兴趣区域对应的特征，最后通过分类分割网络对表面缺陷能够识别，提高了精品罐表面缺陷检测的精度。

说明书

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于空间注意力机制的精品罐表面缺陷检测方法和系统。

背景技术

在精品罐生产过程中，精品罐产品表面质量检测环节尤为重要，精品罐产品表面存在瑕疵会直接降低精品罐的商业价值，因此，提高精品罐的表面缺陷检测的准确性，有利于提高精品罐的生产质量和降低残次率。

在精品罐的生产过程中，所产生的缺陷多种多样，比如狭长细小的缺陷：轻微划痕、细小凸点。然而，现有的基于深度学习的目标检测算法无法在精品罐表面纹理复杂的场景下对缺陷进行精准检测。

发明内容

本发明提供了一种基于空间注意力机制的精品罐表面缺陷检测方法和系统，用于提高精品罐表面缺陷检测的精度。

有鉴于此，本发明第一方面提供了一种基于空间注意力机制的精品罐表面缺陷检测方法，包括：

建立精品罐表面缺陷检测模型，精品罐表面缺陷检测模型包括依次连接的由ResNet101+FPN构成的主干网络、空间注意力机制加权网络、候选区域生成网络和分类分割网络；

通过精品罐表面缺陷数据集对精品罐表面缺陷检测模型进行训练，得到训练好的精品罐表面缺陷检测模型；

将获取到的待检测的精品罐的表面图像输入训练好的精品罐表面缺陷检测模型，得到精品罐表面缺陷检测模型输出的缺陷检测结果。

可选地，空间注意力机制加权网络由残差网络和空间注意力网络组成。

可选地，在将精品罐的表面图像输入精品罐表面缺陷检测模型前，还包括：

基于灰度世界算法对精品罐的表面图像进行预处理。

可选地，基于灰度世界算法对精品罐的表面图像进行预处理，包括：

计算精品罐的表面图像的R通道、G通道和B通道的平均值

根据同一灰度值计算R通道、G通道和B通道的增益系数；

根据精品罐的表面图像的每个像素和增益系数调整精品罐的表面图像的R分量、G分量和B分量。

可选地，候选区域生成网络包括ROI Align层。

本发明第二方面提供了一种基于空间注意力机制的精品罐表面缺陷检测系统，包括：

模型建立模块，用于建立精品罐表面缺陷检测模型，精品罐表面缺陷检测模型包括依次连接的由ResNet101+FPN构成的主干网络、空间注意力机制加权网络、候选区域生成网络和分类分割网络；

模型训练模块，用于通过精品罐表面缺陷数据集对精品罐表面缺陷检测模型进行训练，得到训练好的精品罐表面缺陷检测模型；

缺陷检测模块，用于将获取到的待检测的精品罐的表面图像输入训练好的精品罐表面缺陷检测模型，得到精品罐表面缺陷检测模型输出的缺陷检测结果。

可选地，空间注意力机制加权网络由残差网络和空间注意力网络组成。

可选地，还包括图像预处理模块；

图像预处理模块，用于在将精品罐的表面图像输入精品罐表面缺陷检测模型前，基于灰度世界算法对精品罐的表面图像进行预处理。

可选地，图像预处理模块具体用于：

计算精品罐的表面图像的R通道、G通道和B通道的平均值

根据同一灰度值计算R通道、G通道和B通道的增益系数；

根据精品罐的表面图像的每个像素和增益系数调整精品罐的表面图像的R分量、G分量和B分量。

可选地，候选区域生成网络包括ROI Align层。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明中提供了一种基于空间注意力机制的精品罐表面缺陷检测方法，利用ResNet101+FPN构成的主干网络对精品罐的表面图像进行特征提取，得到的特征图，利用空间注意力机制加权网络将得到的特征图上的空间信息变换到另一个空间内，进一步提取关键信息，得到新的特征图，将新的特征图送入候选区域生成网络，由候选区域生成网络生成感兴趣区域，选取出新的特征图上与感兴趣区域对应的特征，最后通过分类分割网络对表面缺陷能够识别，提高了精品罐表面缺陷检测的精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于空间注意力机制的精品罐表面缺陷检测方法的一个流程示意图；

图2为本发明提供的主干网络的结构示意图；

图3为本发明提供的空间注意力机制加权网络结构示意图；

图4为本发明提供的空间注意力加权网络STN结构示意图；

图5为本发明提供的精品罐表面缺陷检测模型结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，请参阅图1，本发明提供了一种基于空间注意力机制的精品罐表面缺陷检测方法的实施例，包括：

步骤101、建立精品罐表面缺陷检测模型，精品罐表面缺陷检测模型包括依次连接的由ResNet101+FPN构成的主干网络、空间注意力机制加权网络、候选区域生成网络和分类分割网络。

本发明建立的精品罐表面缺陷检测模型包括由ResNet101+FPN构成的主干网络、空间注意力机制加权网络、候选区域生成网络和分类分割网络。主干网络的结构如图2所示，将1024×1024的样本图像输入主干网络，设定输入主干网络的图像变量为G，G经过图2中左列ResNet的各组卷积块得到C1、C2、C3、C4和C5，再利用C2、C3、C4和C5参与预测。图2中中间自顶向下的过程通过上采样的方式将顶层的小特征图放大到与上一个阶段的特征图一样的大小。具体为，C5层先经过1×1卷积，改变特征图的通道参数得到M5，再加上C4经过1×1卷积后的特征图，得到M4.使用同样的操作过程再依次得到M3、M2和M1。M层特征图再经过一个3×3的卷积得到即将送入空间注意力机制加权网络的P2、P3、P4和P5层特征。每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征，融合的不同分辨率的特征图用于不同分辨率大小的缺陷检测，从而保证了每一层都有合适的分辨率以及较强的语义特征。

如图3所示，空间注意力机制加权网络(STRN，Spatial Transformer RefinementNetworks)以一个残差网络为基础，嵌入一个空间注意力加权网络(STN)，残差网络的两个卷积层是学习输入和输出之间的残差，由于待检测图片中心位置的热图激活值高，而边缘相对来说低很多，因此网络参数会往边缘调整，最终得到的结果就是边缘部分激活值更高，这样和输入的热图相加，边缘部分的激活值就变高了，起到缺陷边缘锐化作用。空间注意力加权网络(STN)的结构如图4所示，输入的特征图首先通过一个用来回归变换参数的定位网络，即经过一系列全连接层和一个回归层得到输出空间变化参数，然后将变换参数输入网格生成器，网格生成器依据预测的变换参数来构建一个采样网格，最后利用采样器综合原始特征和加权之后的特征完成端到端的空间注意力加权操作。该过程在增加较少计算量的前提下融合低分辨率的语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图，有利于提高检测速度和精度。

空间注意力机制加权网络输出的特征图送入至候选区域生成网络，由RPN层生成待检测框即指定感兴趣区域(RoI)的位置，并且对RoI的候选框进行第一次的修正，随后RoIAlign层根据RPN层的输出，在特征图上选取RoI对应的特征。RPN网络对不同尺度的特征图进行卷积，每个位置生成3个anchor，得到代表背景和前景缺陷的两个类别，再利用3x3的卷积生成类别和坐标数据，即依靠一个在共享特征图上滑动的窗口，为每个位置生成9种预先设置好长宽比与面积的目标框(anchor)，并判断生成的anchor是前景还是背景，若为前景就对其进行坐标修正。之后，根据RPN的输出进行NMS的操作，提取置信度高的目标检测框，而抑制置信度低的误检框。在Mask部分，对每个box做一个分割，求出物体所在的区域，即对于输入的box，回到原来的特征图上再做一次ROI aligin然后算出固定大小的Mask。

最后，通过分类分割网络对精品罐表面缺陷进行检测、分类以及分割。

步骤102、通过精品罐表面缺陷数据集对精品罐表面缺陷检测模型进行训练，得到训练好的精品罐表面缺陷检测模型。

在建立好精品罐表面缺陷检测模型之后，需要对模型进行训练。获取模型训练的数据集，包括训练集和测试集。数据集包括精品罐的各类型的表面缺陷图像并进行图像预处理，使用这些数据集的缺陷图像对模型进行训练，得到训练好的精品罐表面缺陷检测模型。

步骤103、将获取到的待检测的精品罐的表面图像输入训练好的精品罐表面缺陷检测模型，得到精品罐表面缺陷检测模型输出的缺陷检测结果。

将需要进行表面缺陷检测的精品罐放入图像采集区域进行图像采集，得到待检测的精品罐的表面图像，在进行图像预处理之后，输入到训练好的精品罐表面缺陷检测模型，得到精品罐表面缺陷检测模型输出的缺陷检测结果，如图5所示，得到结果为狭长细小的缺陷：scratch1。精品罐表面图像纹理复杂，干扰信息强，缺陷特征不明显，因此需要对待检测的精品罐的表面图像进行图像预处理，以减小背景信息干扰，增强缺陷特征。灰度世界算法是指对于一幅有着大量色彩变化的图像，R分量，G分量合B分量的平均值趋于同一灰度值Gray。从屋里意义上来讲，灰度世界算法假设自然界景物对于光线的平均反射均值在总体上是个定值，这个定值近似地为“灰色”。使用这个算法可以从图像中消除环境光的影响，获得原始场景图像，从而达到弱化精品罐背景与缺陷之间的相似性，将不含缺陷的复杂背景区域淡化，同时将缺陷区域增强，从而减小缺陷分割过程中复杂背景图案对于缺陷的影响。基于灰度世界算法对精品罐的表面图像进行预处理，包括：

计算精品罐的表面图像的R通道、G通道和B通道的平均值

根据同一灰度值计算R通道、G通道和B通道的增益系数：

根据精品罐的表面图像的每个像素和增益系数调整精品罐的表面图像的R分量、G分量和B分量：

在制作数据集时，利用labelme为经过预处理的精品罐表面图像缺陷进行标注，对于狭长细小的缺陷标注为scratch1，缺陷块标注为scratch2。

本发明中提供了一种基于空间注意力机制的精品罐表面缺陷检测方法，利用ResNet101+FPN构成的主干网络对精品罐的表面图像进行特征提取，得到的特征图，利用空间注意力机制加权网络将得到的特征图上的空间信息变换到另一个空间内，进一步提取关键信息，得到新的特征图，将新的特征图送入候选区域生成网络，由候选区域生成网络生成感兴趣区域，选取出新的特征图上与感兴趣区域对应的特征，最后通过分类分割网络对表面缺陷能够识别，提高了精品罐表面缺陷检测的精度。

本发明还提供了一种基于空间注意力机制的精品罐表面缺陷检测系统的实施例，包括：

模型建立模块，用于建立精品罐表面缺陷检测模型，精品罐表面缺陷检测模型包括依次连接的由ResNet101+FPN构成的主干网络、空间注意力机制加权网络、候选区域生成网络和分类分割网络；

模型训练模块，用于通过精品罐表面缺陷数据集对精品罐表面缺陷检测模型进行训练，得到训练好的精品罐表面缺陷检测模型；

缺陷检测模块，用于将获取到的待检测的精品罐的表面图像输入训练好的精品罐表面缺陷检测模型，得到精品罐表面缺陷检测模型输出的缺陷检测结果。

空间注意力机制加权网络由残差网络和空间注意力网络组成。

还包括图像预处理模块；

图像预处理模块，用于在将精品罐的表面图像输入精品罐表面缺陷检测模型前，基于灰度世界算法对精品罐的表面图像进行预处理。

图像预处理模块具体用于：

计算精品罐的表面图像的R通道、G通道和B通道的平均值

根据同一灰度值计算R通道、G通道和B通道的增益系数；

根据精品罐的表面图像的每个像素和增益系数调整精品罐的表面图像的R分量、G分量和B分量。

候选区域生成网络包括ROI Align层。

本发明中提供了一种基于空间注意力机制的精品罐表面缺陷检测系统，利用ResNet101+FPN构成的主干网络对精品罐的表面图像进行特征提取，得到的特征图，利用空间注意力机制加权网络将得到的特征图上的空间信息变换到另一个空间内，进一步提取关键信息，得到新的特征图，将新的特征图送入候选区域生成网络，由候选区域生成网络生成感兴趣区域，选取出新的特征图上与感兴趣区域对应的特征，最后通过分类分割网络对表面缺陷能够识别，提高了精品罐表面缺陷检测的精度。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。