一种热轧钢板表面缺陷检测方法

摘要

本申请涉及热轧钢板表面缺陷检测技术领域，提供一种热轧钢板表面缺陷检测方法，该方法包括采集热轧钢板的缺陷图片，对缺陷图片中缺陷坐标和缺陷类别进行标注，再进行数据扩增和数据增强，然后对预先建立的YOLOSteel模型进行训练，得到训练后的YOLOSteel模型，根据训练后的YOLOSteel模型对存在缺陷的热轧钢板进行缺陷定位和缺陷分类。YOLOSteel模型为基于YOLOv4网络模型的改进模型，采用YOLOSteel模型进行热轧钢板表面缺陷检测，一方面降低了模型的参数量和运算量，提高了检测速度，满足工业生产中热轧钢板缺陷检测的实时性，另一方面提高了对热轧钢板的特征提取能力。

说明书

技术领域

本申请涉及热轧钢板表面缺陷检测技术领域，具体涉及一种热轧钢板表面缺陷检测方法。

背景技术

热轧钢板是钢铁工业的重要产品之一，主要用于航空航天、桥梁建造、汽车制造以及国防装备等领域。热轧是相对于冷轧而言的，冷轧是指金属在再结晶温度以下进行的轧制，而热轧是指金属在再结晶温度以上进行轧制，简单来说，一块钢坯在加热后经过几道轧制，再切边，矫正后成为钢板，钢铁工业上称这种钢板为热轧钢板。

在生产过程中，由于生产工艺的限制，热轧钢板的表面不可避免地会存在不同形式和不同种类的缺陷，例如夹杂物、重皮和纵向裂纹等，这些表面缺陷对热轧钢板产品的抗腐蚀性和疲劳程度等性能影响较大。也正是由于表面缺陷的多样性和复杂性，各国钢铁生产企业对表面质量的检测都十分重视，不惜花费巨资改进检测技术，提高检测水平。

在现有技术中，热轧钢板表面缺陷检测主要有三种方法，第一种方法为人工裸眼检测，这种方法存在劳动强度大、工作效率低和产品成本高等问题，且容易受到检测经验、眼部疲劳和员工素质等因素影响；第二种方法为传统机器视觉检测，该方法采集钢板图片后，需要人工提取特征再对缺陷进行分类，这一方法在检测精度、实时性和稳定性等方面难以满足实际生产需求；第三种方法为基于深度学习的检测，随着深度学习的发展，深度神经网络已逐渐成为钢板表面缺陷检测任务的主要方法，这类方法普遍使用卷积神经网络提取特征，再对缺陷进行定位和分类，相比于人工裸眼检测和传统机器视觉检测，基于深度学习的缺陷检测在保证识别率和准确度的情况下，节省了人力，然而，现有的基于深度学习的缺陷检测方法进行特征提取时网络参数量大，导致运算量大，检测速度较慢，不能满足热轧钢板检测实时性的要求。

发明内容

本申请提供一种热轧钢板表面缺陷检测方法，以解决现有的方法，特征提取网络参数量大，导致计算量大的不足和检测速度较慢的问题。

本申请提供了一种热轧钢板表面缺陷检测方法，包括：

采集热轧钢板的缺陷图片，对所述缺陷图片中缺陷坐标和缺陷类别进行标注，获得标注信息，根据缺陷图片和对应的标注信息，生成第一缺陷集；

对第一缺陷集进行数据扩增，生成新的缺陷图片，以及，获取新的缺陷图片的缺陷坐标和缺陷类别，生成第二缺陷集；

对第一缺陷集和第二缺陷集中的缺陷图片进行数据增强，根据数据增强后的缺陷图片和对应的标注信息，对预先建立的YOLOSteel模型进行训练，得到训练后的YOLOSteel模型；

实时采集生产过程中的热轧钢板图片和热轧钢板图片对应的流水号，根据训练后的YOLOSteel模型实时检测钢板表面是否存在缺陷，以及，对存在缺陷的热轧钢板进行缺陷定位和缺陷分类，同时触发预警系统，输出热轧钢板的流水号和对应的钢板图像；

所述YOLOSteel模型为基于现有YOLOv4网络模型的改进模型，通过以下方法得到：

将现有YOLOv4网络模型的主干网络CSPDarkNet53更换为SteelNet网络，所述SteelNet网络是在现有轻量级网络GhostNet基础上改进得到的，具体为将现有轻量级网络GhostNet中的SENet模块更换为PSA模块；

将现有YOLOv4网络模型的SPP池化层结构更换为5×5、9×9、13×13和17×17四种不同尺度的池化，得到YOLOSteel模型的SPP++网络；

将现有YOLOv4网络模型的PANet结构中标准卷积更换为深度可分离卷积和标准卷积的结合，得到YOLOSteel模型的LWPANet网络。

优选的，所述根据数据增强后的缺陷图片和对应的标注信息，对预先建立的YOLOSteel模型进行训练，包括：

设置YOLOSteel模型的初始参数，所述初始参数包括学习率、批次大小和训练轮数；

按照批次大小，将数据增强后的缺陷图片输入至YOLOSteel模型中，通过YOLOSteel模型将缺陷图片划分为多个不同尺寸的方格，在每个方格中预测多个边界框，确定每个边界框相对于每个缺陷类别的置信度，得到缺陷图片的预测结果；

根据损失函数计算预测结果和缺陷图片对应的标注信息的差距，通过不断迭代缩小差距，直至模型收敛。

优选的，所述通过YOLOSteel模型将缺陷图片划分为多个不同尺寸的方格，在每个方格中预测多个边界框，确定每个边界框相对于每个缺陷类别的置信度，得到缺陷图片的预测结果，包括：

通过SteelNet网络提取缺陷图片的有效特征，得到第一特征图、第二特征图和第三特征图，所述第三特征图为SteelNet网络提取的最后一层特征图；

将第三特征图经过一次标准卷积、一次深度可分离卷积和一次标准卷积后，输入SPP++网络中，分别利用5×5、9×9、13×13和17×17四种不同尺度的最大池化进行处理，将处理后的结果进行拼接和卷积操作，得到池化特征图；

将所述池化特征图、第一特征图和第二特征图输入至LWPANet网络中，利用深度可分离卷积和标准卷积的结合，进行多次卷积上采样和卷积下采样，输出三个尺度的融合特征；

将三个尺度的融合特征输入yolohead分类检测器中，进行分类检测，输出预测结果。

优选的，所述确定每个边界框相对于每个缺陷类别的置信度，包括：

确定每个边界框的置信度得分，所述置信度得分为该边界框包含缺陷的概率以及预测的边界框和输入的矩形方框的重叠率；

对于每一个方格，预测包含某一类缺陷类别的条件概率；

将所述置信度得分与所述条件概率相乘，得到每个边界框相对于每个缺陷类别的置信度。

优选的，所述对第一缺陷集进行数据扩增，包括：

根据第一缺陷集的标注信息，截取缺陷图片中的缺陷区域，生成缺陷小图集；

依次选择第一缺陷集中的缺陷图片作为目标粘贴图片；

从缺陷小图集中随机选取多个缺陷区域，采用泊松融合算法将多个缺陷区域粘贴至所述目标粘贴图片中，生成新的缺陷图片。

优选的，所述对第一缺陷集和第二缺陷集中的缺陷图片进行数据增强，得到训练样本，包括：

获取第一缺陷集和第二缺陷集中的缺陷图片，所述第一缺陷集和第二缺陷集中的缺陷图片包括采集的所有热轧钢板缺陷图片以及数据扩增生成的新的缺陷图片；

通过光度失真对缺陷图片进行数据增强，所述光度失真是指调整图片的亮度、对比度、色相、饱和度和加入噪点；

根据数据增强后的缺陷图片和对应的标注信息，生成训练样本。

优选的，所述对所述缺陷图片中缺陷坐标和缺陷类别进行标注，获得标注信息，包括：

基于图像注释工具，采用矩形方框对缺陷图片的各个缺陷区域进行标注，以及，将矩形方框对角顶点的坐标作为缺陷坐标，将矩形方框内缺陷的类别作为缺陷类别，生成标注信息。

优选的，还包括在对预先建立的YOLOSteel模型进行训练之前，将第一缺陷集和第二缺陷集中数据增强后的缺陷图片进行打乱操作，根据8:1:1比例划分，其中80%为训练集，10%为验证集，10%为测试集，将训练集中的图片组合成若干批次输入至YOLOSteel模型中进行模型训练，将验证集中的图片组合成若干批次输入至YOLOSteel模型中进行模型验证，将测试集中的图片逐个输入至训练后的YOLOSteel模型中进行模型测试。

由以上技术方案可知，本申请提供的一种热轧钢板表面缺陷检测方法，采用YOLOSteel模型进行热轧钢板表面缺陷检测，YOLOSteel模型包括主干网络SteelNet，该网络为将GhostNet网络中的SENet模块更换为PSA模块后得到的，通过SteelNet网络以提高对热轧钢板的特征提取能力；采用5×5、9×9、13×13和17×17四种不同尺度的池化结构的SPP++网络，以增加网络的感受野，加强热轧钢板缺陷图片中大目标缺陷和小目标缺陷的特征提取；采用深度可分离卷积和标准卷积结合的LWPANet网络，以降低参数量，提高运算速度。本申请实施例提供的一种热轧钢板表面缺陷检测方法，一方面降低了模型的参数量和运算量，提高了检测速度，满足工业生产中热轧钢板检测的实时性，另一方面提高了对热轧钢板的特征提取能力。

附图说明

图1为本申请实施例提供的YOLOSteel模型的结构图；

图2中（a）为本申请实施例提供的YOLOSteel模型中步长为1的Ghost结构的结构图，（b）为本申请实施例提供的YOLOSteel模型中步长为2的Ghost结构的结构图；

图3为本申请实施例提供的YOLOSteel模型中Ghost模块的操作示意图；

图4为本申请实施例提供的YOLOSteel模型中PSA模块的操作示意图；

图5为本申请实施例提供的基于YOLOSteel模型的热轧钢板的各类别表面缺陷的检测结果图。

具体实施方式

在采用现有的YOLOv4网络模型进行目标检测时，由于网络参数量大，导致运算量大，检测速度慢，不能满足热轧钢板检测实时性的要求，本申请实施例基于YOLOSteel模型进行热轧钢板表面缺陷的检测，YOLOSteel模型是一个端到端的目标检测模型，为基于现有YOLOv4网络模型的改进模型，通过以下方法得到：

将现有YOLOv4网络模型的主干网络CSPDarkNet53更换为SteelNet网络，所述SteelNet网络是在现有轻量级网络GhostNet基础上改进得到的，具体为将现有轻量级网络GhostNet中的SENet模块更换为PSA模块，通过SteelNet网络以提高对热轧钢板的特征提取能力。

将现有YOLOv4网络模型的SPP池化层结构更换为5×5、9×9、13×13和17×17四种不同尺度的池化，得到YOLOSteel模型的SPP++网络，以增加网络的感受野，加强热轧钢板缺陷图片中大目标缺陷和小目标缺陷的特征提取。

将现有YOLOv4网络模型的PANet结构中标准卷积更换为深度可分离卷积和标准卷积的结合，得到YOLOSteel模型的LWPANet网络，以降低参数量，提高运算速度。

本申请实施例提供一种热轧钢板表面检测方法，所述一种热轧钢板表面检测方法包括步骤S1至步骤S4。

S1、采集热轧钢板的缺陷图片，对所述缺陷图片中缺陷坐标和缺陷类别进行标注，获得标注信息，根据缺陷图片和对应的标注信息，生成第一缺陷集。

采集多张热轧钢板的缺陷图片，使用开源的图形图像注释工具labelImg，根据每张缺陷图片存在的缺陷类别和缺陷坐标进行标注。如果一张热轧钢板图片上只存在一个缺陷，则在该缺陷图片上绘制适当大小的矩形方框圈出该缺陷，标注矩形方框的对角顶点坐标作为缺陷坐标，例如，左上方坐标和右下方坐标位置信息，将左上方坐标、右下方坐标以及缺陷类别保存，生成一个xml文件，获得该缺陷图片对应的标注信息。

同理，如果一张热轧钢板图片中存在两个及两个以上同一类型或不同类型的缺陷，依次对图片中的多个缺陷绘制适当大小的矩形方框，并标注缺陷坐标和对应的缺陷类别，将多个缺陷坐标和对应的缺陷类别保存，生成一个xml文件，一个xml文件包含一张缺陷图片中所有缺陷的缺陷坐标和对应的缺陷类别。

本申请实施例在某生产车间，采集了4类常见的热轧钢板表面缺陷图片，其中，带重皮缺陷的热轧钢板图片400张，带异物压入缺陷的热轧钢板图片400张，带夹杂缺陷的热轧钢板图片400张，带纵向裂纹的热轧钢板图片400张，以1600张缺陷图片以及与该1600张缺陷图片一一对应的1600个xml文件，生成第一缺陷集。

S2、对第一缺陷集进行数据扩增，生成新的缺陷图片，以及，获取新的缺陷图片的缺陷坐标和缺陷类别，生成第二缺陷集。

根据标注信息，将每张缺陷图片的缺陷区域从原图中截取出来，获得缺陷小图集。从缺陷小图集中随机选取若干个缺陷小图，依次选择原有的缺陷图片作为目标粘贴图片，随机选取位置将若干个缺陷小图粘贴到目标粘贴图片中，生成新的缺陷图片，如果缺陷之间存在遮挡，则重新选取位置，直到缺陷之间没有遮挡发生。

例如，将400张带纵向裂纹的热轧钢板图片中的缺陷区域截取出来，由于有的图中存在2个以上的缺陷，得到大于400个的缺陷小图。从缺陷小图中随机选取1个、2个或者3个缺陷小图，粘贴到原有的第一张带纵向裂纹的热轧钢板图片中，再随机选取1个、2个或者3个缺陷小图，粘贴到原有的第二张带纵向裂纹的热轧钢板图片中，依次类推，生成400个新的缺陷图片。

粘贴过程中，使用泊松融合，使两张图片融合的更加自然，并记录每个缺陷小图粘贴到原图上的位置信息，将位置信息和缺陷类别保存到xml文件中，即每生成一个新的缺陷图片就会对应生成一个新的xml文件，不需要再对新的缺陷图片进行标注，根据新的缺陷图片和对应的标注信息，生成第二缺陷集。

S3、对第一缺陷集和第二缺陷集中的缺陷图片进行数据增强，根据数据增强后的缺陷图片和对应的标注信息，对预先建立的YOLOSteel模型进行训练，得到训练后的YOLOSteel模型。

获取第一缺陷集和第二缺陷集中的缺陷图片，对其进行数据增强，例如，基于原有的1600张缺陷图片和数据扩增新生成的1600张缺陷图片，共有3200张缺陷图片进行数据增强，具体的增强方法比如调整图片的亮度、对比度、饱和度、色相以及添加噪声等。

根据数据增强后的缺陷图片和对应的标注信息，对预先建立的YOLOSteel模型进行训练，在训练时，基于YOLOSteel模型的输出，通过迭代算法最小化模型的损失函数值，当达到预先确定的迭代次数或预设的收敛程度后，得到训练完成的YOLOSteel模型。

对YOLOSteel模型进行训练的过程，具体包括：

S301、设置YOLOSteel模型的初始参数，所述初始参数包括学习率、批次大小和训练轮数。

S302、按照批次大小，将不同批次的缺陷图片输入至YOLOSteel模型中，通过YOLOSteel模型将缺陷图片划分为多个不同尺寸的方格，在每个方格中预测多个边界框，确定每个边界框相对于每个缺陷类别的置信度，得到缺陷图片的预测结果。

参见图1，本申请实施例提供的YOLOSteel模型具体包括SteelNet网络、SPP++网络、LWPANet网络，其中，SteelNet网络包括依次连接的Conv2d+BN+ReLU6结构、第一Ghost结构、第二Ghost结构、第三Ghost结构、第四Ghost结构和第五Ghost结构；SPP++网络包括四个并行的最大池化层，最大池化层的池化核大小分别为5×5、9×9、13×13和17×17；LWPANet网络将现有YOLOv4网络模型中PANet结构的conv×5更改为一次标准卷积、一次深度可分离卷积、一次标准卷积、一次深度可分离卷积和一次标准卷积。

将SteelNet作为主干网络提取热轧钢板缺陷图片的有效特征，由于热轧钢板图片背景单一，表面的重皮缺陷呈弯曲状、夹杂缺陷呈条块状、纵向裂纹呈直线型、异物压入呈点状，SteelNet网络继承了GhostNet网络通过线性变换构造后续特征图的优点，且将GhostNet网络中的SENet模块更换为PSA模块，可以有效地获取和利用不同尺度特征图的空间信息，特别适用于对热轧钢板图片进行特征提取，SteelNet网络相比于现有的ResNet、DenseNet和CSPDarkNet等网络参数量更少，能大幅降低计算量。

SteelNet网络中的Ghost结构主要有两个Ghost模块和一个PSA模块堆叠而成，第一个Ghost模块用于增加特征维度，第二个Ghost模块则用于减少特征维度，使其与输入维度一致；PSA模块是一种金字塔拆分注意力机制模块，可以有效地获取和利用不同尺度特征图的空间信息，丰富了特征空间。图2中（a）为本申请实施例提供的YOLOSteel模型中步长为1的Ghost结构的结构图，图2中（b）为本申请实施例提供的YOLOSteel模型中步长为2的Ghost结构的结构图，Ghost结构有步长为1和步长为2这两种形式，对于步长为2时，在两个Ghost模块中间增加一个深度卷积。

参见图3，Ghost模块包含两次卷积，主要用于特征图的构建，假设输出的特征图个数为out_channels×rate，那么第一次卷积生成特征图个数为out_channels，将生成的特征图输入到第二次卷积中，每个特征图通过映射生成rate-1个新的特征图，这样共会生成特征图个数为out_channels×(rate-1)。最后把第一次卷积得到的特征图和第二次卷积得到特征图拼接在一起，得到最终的特征图。

参加图4，PSA接收上一层输入的特征图后，首先，利用SPC模块对通道进行切分，将输入进来的特征图从通道上分成S组，每一组进行不同卷积核大小的卷积，以获取不同尺度的感受野，针对每个通道特征图上的空间信息进行多尺度的特征提取；经过SPC模块后，PSA再将SPC模块的输出输入SEWeight模块，利用SEWeight模块提取不同尺度特征图的通道注意力，得到每个不同尺度上的通道注意力向量；接下来利用Softmax对多尺度通道注意力向量进行特征重新标定，得到新的多尺度通道交互之后的注意力权重；最后，对重新校准的权重和相应的特征图按元素进行点乘操作，输出得到一个多尺度特征信息注意力加权之后的特征图，该特征图多尺度信息表示能力更丰富。

通过SteelNet网络提取特征，第三Ghost结构输出大小为76×76的第一特征图，第四Ghost结构输出大小为38×38的第二特征图，第五Ghost结构输出大小为19×19的第三特征图，其中，第三特征图为SteelNet网络提取的最后一层特征图。

将第三特征图经过一次标准卷积、一次深度可分离卷积和一次标准卷积后，输入SPP++网络中，分别利用5×5、9×9、13×13和17×17四种不同尺度的最大池化进行处理，将处理后的结果进行拼接和卷积操作，得到池化特征图，由于采用这四种不同尺度的池化，极大地增加感受野，加强了热轧钢板缺陷图片中大目标缺陷和小目标缺陷的特征提取，所得的池化特征图为更加丰富的19×19×2560特征图。

将第一特征图经过一次标准卷积，第二特征图经过一次标准卷积，池化特征图经过拼接、一次标准卷积、一次深度可分离卷积和一次标准卷积后，分别输入至LWPANet网络中，利用深度可分离卷积和标准卷积的结合，对输入的特征进行从上到下和从下到上的反复提取，输出三个尺度的融合特征，得到76×76×27、38×38×27和19×19×27三个维度的特征向量，分别表示为将缺陷图片划分为76×76、38×38和19×19的方格。

本申请实施例每个方格点负责一个区域的检测，在每一个小方格中预测3个边界框，首先确定各个边界框的置信度得分，置信度得分表示该边界框包含缺陷的概率以及预测的边界框和输入的矩形方框的重叠率，再对每个小方格，预测包含某一类缺陷的条件概率，将置信度得分和条件概率相乘，得到每一个边界框相对于每一个具体缺陷类别的置信度。上述76×76×27、38×38×27和19×19×27三个特征向量中包含图片中目标的x方向偏移量、y方向偏移量、高度、宽度、置信度以及分类结果。对这三个特征向量进行解码，解码过程就是每个网格点加上它对应的x方向偏移量和y方向偏移量，得到预测框的中心，再结合先验框、高度和宽度计算出预测框的长和宽，最终得到整个预测结果。

S303、根据损失函数计算预测结果和缺陷图片对应的标注信息的差距，通过不断迭代缩小差距，直至模型收敛。

YOLOSteel模型使用了Adam优化器对模型中的参数进行学习，使用CIOU损失函数计算预测结果和标注信息的真实结果之间的差距，一方面降低了模型的参数量和运算量，提高了检测速度；另一方面提高了对热轧钢板的特征提取能力。

S4、实时采集生产过程中的热轧钢板图片和热轧钢板图片对应的流水号，根据训练后的YOLOSteel模型实时检测钢板表面是否存在缺陷，以及，对存在缺陷的热轧钢板进行缺陷定位和缺陷分类，同时触发预警系统，输出热轧钢板的流水号和对应的钢板图像。

本申请实施例在对预先建立的YOLOSteel模型进行训练之前，将第一缺陷集和第二缺陷集中的缺陷图片先进行打乱操作，然后将所有图片根据8:1:1比例划分，其中80%为训练集，10%为验证集，10%为测试集，将训练集中的图片组合成若干批次输入至YOLOSteel模型中进行模型训练，将验证集中的图片组合成若干批次输入至YOLOSteel模型中进行模型验证，将测试集中的图片逐个输入至训练后的YOLOSteel模型中进行模型测试。

参见图5，利用测试集对训练后的YOLOSteel模型中进行模型测试，各个缺陷类别的热轧钢板表面缺陷检测结果如图所示，第一排为待测试的热轧钢板图像，第二排图片中矩形方框为人工使用labelImg标注工具得到的真实标签，第三排图片为YOLOSteel模型输出的结果图片。

通常在目标检测算法模型中使用平均精度均值（Mean Average Precision，mAP）来综合评估算法模型的整体性能，需要用到精确率（Precision）和召回率（Recall）。精确率和召回率的计算公式分别如式（1）和式（2）所示：

式中，TP表示为模型将正样本预测为正的个数，FP表示为模型将负样本预测为正的个数，FN表示模型将正样本预测为负的个数。

平均精度（Average Precision，AP）的计算方法为不同召回率下精确率的平均值，用来评估某一缺陷类别的检测精度，mAP则表示所有缺陷类别检测精度的平均值，用来评估算法模型的整体性能，计算公式如式（3）所示。FPS为算法模型每秒能够检测的图片数量，用来评价算法模型的检测速度，计算公式如式（4）所示。

其中，

根据上述评估方法，本申请实施例在测试集上对YOLOSteel模型和YOLOv4模型进行了对比实验，实验环境为Tesla V100 GPU。在本申请实施例中有重皮、异物压入、夹杂和纵向裂纹4种缺陷，因此

表1 YOLOSteel模型和YOLOv4模型对比结果

由以上技术方案可知，本申请提供的一种热轧钢板表面缺陷检测方法，采用YOLOSteel模型进行热轧钢板表面缺陷检测，YOLOSteel模型包括主干网络SteelNet，该网络将GhostNet网络中的SENet模块更换为PSA模块，以提高SteelNet网络对热轧钢板的特征提取能力；采用5×5、9×9、13×13和17×17四种不同尺度的池化结构的SPP++网络，以增加网络的感受野，加强热轧钢板缺陷图片中大目标缺陷和小目标缺陷的特征提取；采用深度可分离卷积和标准卷积结合的LWPANet网络，以降低参数量，提高运算速度。本申请实施例提供的一种热轧钢板表面缺陷检测方法，一方面降低了模型的参数量和运算量，提高了检测速度，满足工业生产中热轧钢板检测的实时性，另一方面提高了对热轧钢板的特征提取能力。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。