一种基于单阶段钢球表面缺陷检测的方法

摘要

本发明公开了一种基于单阶段钢球表面缺陷检测的方法，相比于传统的人工检测，本检测方法具有更高的检测精度、检测效率及鲁棒性。本单阶段检测方法基于YOLOv4网络结构预训练模型。主要包括以下步骤：采集钢球表面图像数据、图像增广、数据集图像标注、数据集划分、构造预训练模型、训练模型、模型验证。本方法模型能够自动提取钢球表面缺陷的特征，并能准确而快速地检测出钢球表面多种缺陷的位置。本方法使用Python编程语言，基于Keras框架作为前端的功能实现，以Tensorflow作为后端的数据处理，使用GPU(NVIDIA，GTX1080Ti)对模型训练、模型验证和模型测试，获得相应的评价指标以及测试结果。根据实验结果可知，本方法可快速并准确对钢球表面缺陷进行检测。

说明书

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于单阶段钢球表面缺陷检测的方法。

背景技术

由于钢球原材料批次不同、加工机床的精度以及加工过程工艺控制等技术因素的影响，会导致在钢球的加工过程中产生局部细微的表面缺陷。传统的人工检测具有检测精度低、检测效率低以及抗干扰性差的问题。因此，基于深度学习的目标检测方法应运而生，并在工业检测技术中被广泛应用，如Fast RCNN、Faster RCNN、SSD等目标检测模型，但此种检测方法在针对缺陷种类不均衡及小目标缺陷时模型准确率不佳、检测速度慢等问题。

发明内容

本发明目的在于避免钢球表面缺陷检测方法存在准确率不佳、检测速度慢等问题，本文提出了一种基于单阶段钢球表面缺陷检测的方法。根据深度学习可以通过对原始数据进行自动提取特征，将所提取到的特征进行相应的处理。由于不需要人工提取特征，所以该算法可以使输出结果更加客观。单阶段目标检测方法认为图像所有区域均为潜在目标，不需要生成目标候选区域，直接对每个位置进行目标分类与精确定位。因此，单阶段目标检测具有更快的检测效率。本发明主要是解决钢球表面缺陷检测现有技术的稳定性低、检测精度低和效率低等问题，从而有效的提高了产品检测效率和检测精度，最终提高产品质量。为验证本算法的准确性及可靠性，对其进行实验分析，缺陷识别的平均进度(mAP)达到91.37%，交并比(IoU)达到93.25%。

为实现上述目的，本发明采用的技术方案是：一种基于单阶段钢球表面缺陷检测的方法，其具体步骤如下：

步骤一、采集钢球表面图像数据，建立相应的数据集；

步骤二、对步骤一中采集的钢球表面图像数据采用数据增广的方法对其进行适当的扩充；

步骤三、将步骤二中获得的数据集逐一对表面存在缺陷的钢球进行标注；

步骤四、将步骤三得到的数据集划分为训练集、验证集和测试集，其中80%作为训练数据集，10%作为验证数据集，10%作为测试数据集；

步骤五、构造YOLOv4网络结构的预训练模型，主干网络部分是CSPDarknet53网络，特征融合部分是SPP和PAN，预测部分为YOLOv3；

步骤六、训练模型：采用迁移学习的方式，以MS COCO数据集训练完成的YOLOv4预训练模型，对原始模型中的权重进行初始化，对方法中的参数进行微调，先将主干网络中部分卷积层（一般为前三层）进行冻结，再设置动态衰减学习率等参数，训练模型至验证集的损失函数不再下降，最终实现对多种类型钢球表面缺陷的精准定位，同时保存训练后模型最好的权重，获得训练合格的YOLOv4模型；

步骤七、验证模型：利用训练合格的YOLOv4模型对钢球表面图像进行缺陷检测，得到检测结果。

与现有技术相比，本发明的有益效果是：

1、本发明通过该检测方法可以在实际生产中准确而快速地识别出缺陷并定位其位置，缺陷识别的平均进度(mAP)达到91.37%，交并比(IoU)达到93.25%。

2、本方法可应用到其他工业产品的表面质量检测中，提供了一个数字图像技术处理的新办法。

3、本方法可代替人工检测，统一检测标准，减少劳动力，降低生产成本，提高检测效率和准确率。

附图说明

图1为本发明的单阶段检测方法流程图；

图2为本发明的YOLOv4的网络结构图；

图3为本发明的检测装置示意图；

图4为本发明的相机位置示意图；

图5为本发明的相机采集的图像；

图6为本发明的相机采集图片生成的标准图像；

图7为本发明的数据集图像标注；

图8为本发明的检测结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。此处所描述的具体实施例仅用以解释本发明并不用于限定本发明。

如图1所示，通过基于机器视觉的钢球表面图像采集系统采集图像数据，将采集到的图像进行预处理，即先对数据集进行图像增广，然后使用工具LabelImg对数据集进行标注，将标注好的数据集进行划分，得到训练集、验证集和测试集，其中80%作为训练数据集，10%作为验证数据集，10%作为测试数据集，构建预训练模型并对其进行训练与调整，得到训练合格的YOLOv4模型，最后将待检测的钢球表面图像输入到最佳模型中进行缺陷检测，得到检测结果。

本实施例一种基于单阶段钢球表面缺陷检测的方法的处理步骤如下：

步骤一、采集钢球表面图像数据，基于机器视觉方法建立钢球表面缺陷图像采集系统，用双黑白CCD相机采集钢球表面图像数据，建立相应的数据集；

步骤二、对步骤一中采集的钢球表面图像数据采用数据增广的方法对其进行适当的扩充，主要为了防止模型过拟合，同时增强模型的鲁棒性以及泛华性，具体图像增广方法为：水平翻转、垂直翻转等不改变数据性质的方法；

步骤三、将步骤二中获得的数据集使用工具LabelImg逐一对表面存在缺陷的钢球进行标注，标注后得到数据集中每张图像对应的xml格式文件，xml文件中包含对应图像的标注信息；

步骤四、将步骤三得到的数据集划分为训练集、验证集和测试集，其中80%作为训练数据集，10%作为验证数据集，10%作为测试数据集；

步骤五、构造YOLOv4网络结构的预训练模型，主干网络部分是CSPDarknet53网络，特征融合部分是SPP和PAN，预测部分为YOLOv3，CSPDarknet53网络是在Darknet53网络中加入CSP模块，可以有效提高网络的特征提取能力，能够在轻量化的同时保持准确性、降低计算瓶颈、降低内存成本；SPP网络全称为Spatial Pyramid Pooling，即空间金字塔池化，其目的主要为了增加YOLOv4网络的感受野，在网络中对学习到的特征完成最大池化操作，最后将所得到的所有特征图按照维度拼接在一起组成新的特征图；PAN的目的主要是在网络中特征完成上采样的工作后，对特征进一步实行下采样的工作，将采样的特征更加的具体化，最后与其他的特征拼接在一起，用于目标的检测；

步骤六、训练模型：由于采集的数据集中样本数量有限，无法支撑方法的原始训练，所以本方法采用深度迁移学习的思想对方法进行模型训练，在方法的训练过程中，首先使用由MS COCO数据集训练完成的模型，即预训练模型，对原始模型中的权重进行初始化；然后对方法中的参数进行微调，先将主干网络中部分参数（一般为前三层）进行冻结，确保这些层的参数不参与更新，便于提高模型参数更新效率，再设置动态衰减学习率等参数，训练模型至损失函数的曲线平稳不再下降，最终实现对钢球表面多种缺陷的精准定位，同时保存模型的权重，获得训练合格的YOLOv4模型；

步骤七、验证模型：利用训练合格的YOLOv4模型对钢球表面图像进行缺陷检测，得到检测结果。

本发明可自动定位钢球表面缺陷特征，并对钢球表面缺陷检测的检测精度与检测效率均有所提升。