一种面向工业场景的产品表面缺陷自动识别方法

摘要

本发明公开了一种面向工业场景的产品表面缺陷自动识别方法，涉及软件与信息技术领域，本发明为一种面向工业场景的产品表面缺陷自动识别方法。改造深度学习网络结构：基于yolov5深度学习框架，改造网络结构，训练算法模型：基于大量的缺陷样本图像数据和标签数据，进行深度学习模型训练，输出产品表面缺陷检测模型，集成工业相机：将多条生产线上接入多路工业相机，多路工业相机对产品进行拍照。本发明通过改进yolov5网络结构，提高模型的性能和效果，并利用产品表面缺陷检测模型精度测量缺陷区域的大小、位置、方位等信息，提高检测精度，另外单台机器支撑多路工业相机，提高单机的使用效率的同时，可支撑多条生产线上识别工作，满足现代使用需求。

说明书

技术领域

本发明涉及软件与信息技术领域，特别涉及一种面向工业场景的产品表面缺陷自动识别方法。

背景技术

业界有基于图像灰度及形态学的缺陷检测方法，也有基于图像深度学习的缺陷识别方法。而以上基于图像灰度及形态学的缺陷检测方法和基于图像深度学习的缺陷识别方法在识别时往往会存在以下问题：1.基于图像灰度及形态学的缺陷检测方法缺点在于只能捕捉到一些具有明显规则的特征，而无法检测到不规则缺陷，不能发现微小瑕疵，无法产品质量的稳定性和提高企业竞争力，使得该基于图像灰度及形态学的缺陷检测方法精确性不高；2.基于图像深度学习的缺陷识别方法难以应对缺陷种类繁多且快速检测要求的场景，不能支撑工业场景的多条生产线上的产品缺陷测量、定位和识别工作，不满足现代使用需求。本专利提出的方法去除了以上的局限，拓宽了适用场景。

发明内容

本发明的主要目的在于提供一种面向工业场景的产品表面缺陷自动识别方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种面向工业场景的产品表面缺陷自动识别方法，包括以下步骤：

步骤一、改造深度学习网络结构：基于yolov5深度学习框架，改造网络结构；

步骤二、训练算法模型：基于大量的缺陷样本图像数据和标签数据，对改造后的yolov5进行深度学习模型训练，输出产品表面缺陷检测模型；

步骤三、集成工业相机：将多条生产线上接入多路工业相机，并利用多路工业相机对产品进行拍照，采集图像数据；

步骤四、检测产品缺陷：基于步骤二中得到的产品表面缺陷检测模型，检测到产品缺陷，并精确测量缺陷的大小、位置和方位等信息，同时识别缺陷种类；

步骤五、存储和管理产品缺陷信息：对缺陷信息和缺陷图像进行存储，支撑用户后续查询；

步骤六、消息通信：识别到产品缺陷之后，需要将相关信息发送给上位机。

优选的，所述步骤一中yolov5网络结构包括网络深度和卷积核数量。

优选的，所述步骤三中多路工业相机共同接入单台机器，且单台机器采集、分析和识别多路相机视觉图像。

优选的，所述步骤五中缺陷信息存储在SQLite数据库，缺陷图像保存为jpg文件，并用线框框出缺陷。

优选的，所述步骤六中上位机上电性连接有机械臂，且上位机控制机械臂对缺陷产品进行分拣。

优选的，所述步骤五中缺陷信息包括产品缺陷大小、产品缺陷位置、产品缺陷方位和产品缺陷类型。

优选的，所述SQLite数据库和jpg文件均位于用户管理查询平台内部。

与现有技术相比，本发明具有如下有益效果：

1、本发明中，通过yolov5深度学习框架，并改造网络结构，提升深度学习模型的效率和准确性，在应用模型进行缺陷检测的过程中，精度测量缺陷区域的大小、位置、方位等信息，并识别缺陷的类别信息，并将这些信息作为基础数据，支撑上层业务应用，避免只能捕捉到一些具有明显规则的特征，能发现微小瑕疵，保证产品质量的稳定性和提高企业竞争力，提高该识别方法的精确性。

2、本发明中，通过单台机器支撑多路工业相机，并将多路工业相机部署于多条生产线上，采集多路照片，提高单机的使用效率，使得该识别方法可应对缺陷种类繁多且快速检测要求的场景，可支撑工业场景的多条生产线上的产品缺陷测量、定位和识别工作，满足现代使用需求；而SQLite数据库用于保存和管理缺陷数据，便于支撑用户后续对缺陷数据进行查询。

附图说明

图1为本发明一种面向工业场景的产品表面缺陷自动识别方法的流程图；

图2为本发明一种面向工业场景的产品表面缺陷自动识别方法可实现的典型架构图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1-2所示，一种面向工业场景的产品表面缺陷自动识别方法，包括以下步骤：

步骤一、改造深度学习网络结构：基于yolov5深度学习框架，改造网络结构；

步骤二、训练算法模型：基于大量的缺陷样本图像数据和标签数据，对改造后的yolov5进行深度学习模型训练，输出产品表面缺陷检测模型；

步骤三、集成工业相机：将多条生产线上接入多路工业相机，并利用多路工业相机对产品进行拍照，采集图像数据；

步骤四、检测产品缺陷：基于步骤二中得到的产品表面缺陷检测模型，检测到产品缺陷，并精确测量缺陷的大小、位置和方位等信息，同时识别缺陷种类；

步骤五、存储和管理产品缺陷信息：对缺陷信息和缺陷图像进行存储，支撑用户后续查询；

步骤六、消息通信：识别到产品缺陷之后，需要将相关信息发送给上位机。

步骤一中yolov5网络结构包括网络深度和卷积核数量，对yolov5网络结构中的网络深度和卷积核数量进行学习改造；步骤三中多路工业相机共同接入单台机器，且单台机器采集、分析和识别多路相机视觉图像，支撑多条生产线的产品缺陷检测需求，提升了单机的利用率；步骤五中缺陷信息存储在SQLite数据库，缺陷图像保存为jpg文件，并用线框框出缺陷，便于快速对缺陷信息进行查询；步骤六中上位机上电性连接有机械臂，且上位机控制机械臂对缺陷产品进行分拣，及时完成对缺陷产品的分拣操作；步骤五中缺陷信息包括产品缺陷大小、产品缺陷位置、产品缺陷方位和产品缺陷类型，使得该识别方法的精准度提高；SQLite数据库和jpg文件均位于用户管理查询平台内部，用户通过用户管理查询平台内的SQLite数据库和jpg文件对缺陷信息进行查询，便于用户后续的查询。

需要说明的是，本发明为一种面向工业场景的产品表面缺陷自动识别方法，首先基于yolov5深度学习框架，改造网络结构，并基于改进后的yolov5进行模型训练，得到产品表面缺陷检测模型，然后部署产品表面缺陷检测模型和软件系统，并将多条生产线上接入多路工业相机，并利用多路工业相机对产品进行拍照，采集图像数据，而多路工业相机共同接入单台机器，且单台机器采集、分析和识别多路相机视觉图像，提升单台机器的利用率，然后利用得到的产品表面缺陷检测模型，对采集的图像进行分析、处理和识别，输出缺陷的大小、位置、方位和类型信息，并对缺陷信息和缺陷图像进行存储，支撑用户后续的查询，缺陷信息存储在SQLite数据库，缺陷图像保存为jpg文件，并用线框框出缺陷，识别到产品缺陷之后，需要将相关缺陷信息发送给上位机，进而上机位控制机械臂对缺陷产品进行分拣；该方法中视觉图像队列用于缓存来自多路工业相机的照片，产品缺陷检测平台对缺陷图像进行分析和识别，并输出大小、位置、方位和类型等信息，通过消息队列，发送到第三方系统，该第三方系统包括上机位，本识别方法用于批量检测工业产品的表面瑕疵，诸如崩边、划痕、污点等，以服务于工业制造等行业。采用机器视觉代替人眼进行工业产品质量检测，有效解决人眼存在的精确性、客观性及重复性等技术问题；有助于减少人力成本，解决劳动力短缺问题；极大地提高了检测精度，有助于发现微小瑕疵，确保产品质量的稳定性，提高企业竞争力；无需工人呆在生产现场，减少安全事故；通过改造深度学习网络结构，得到一种高效精准的模型，提高了模型训练和缺陷识别的性能，提升了识别的精度，该识别方法精准测量缺陷区域的大小、中心点和方位，并识别缺陷类型，这些信息作为基础数据，支撑上层业务应用，并集成多路工业相机，提升单机的利用率，降低成本，使得该识别方法可应对缺陷种类繁多且快速检测要求的场景，可支撑工业场景的多条生产线上的产品缺陷测量、定位和识别工作，满足现代使用需求。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。