一种基于语义分割的产品表面缺陷检测方法、系统

摘要

本发明公开了一种基于语义分割的产品表面缺陷检测方法，包括：采集包含产品表面的样本图片并分为训练样本图片及待检测图片；将所述待检测图片输入经训练样本图片训练的语义分割模型，输出语义分割图片；将所述语义分割图片输入图片合成模型，输出合成图片；利用判断模型计算待检测图片与合成图片的差异，判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域。本发明的方法引入自监督训练方法，只需要少量有缺陷的样本就能提升缺陷检测精度，结合语义分割算法和生成对抗网络，能准确提取缺陷特征，大大提高产品表面缺陷检测的精度。

说明书

技术领域

本发明涉及工业检测和计算机视觉领技术领域，特别涉及一种基于语义分割的产品表面缺陷检测方法、系统。

背景技术

在传统工业制造业生产场景中，质检是生产流程中的关键环节，比如在冰箱、电视、汽车、印刷线路板、芯片和液晶显示器等领域中，对产品的表面状态进行检测是对产品质量进行控制的一种重要手段，判断产品是否存在瑕疵和缺陷，并根据检测结果对产品做相应的处理。

产品的表面缺陷种类众多，例如划痕、污点，磕碰等等，这些缺陷都是需要检出的。传统的零件生产中的检测环节一般通过人工检测的方式进行，这增加了人力负担，并且很多细微的缺陷通过人工检测很难检测出来。因此，通过计算机视觉系统检测产品表面缺陷，以代替人工检测是目前本领域需要解决的问题。

目前，现有技术的检测方法存在需要大量的训练样本，不适用于缺陷类型多样化且缺陷样本量稀少的问题。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种基于语义分割的产品表面缺陷检测方法、系统，可用于解决现有技术中产品表面缺陷检测训练样本很少且容易出现误判导致检测结果不准确的技术问题。

为了达到上述的技术效果，本发明采取以下技术方案：

一种基于语义分割的产品表面缺陷检测方法，包括：

步骤1.采集包含产品表面的样本图片并分为训练样本图片及待检测图片；

步骤2.将所述待检测图片输入经训练样本图片训练的语义分割模型，输出语义分割图片；

步骤3.将所述语义分割图片输入图片合成模型，输出合成图片；

步骤4.利用判断模型计算待检测图片与合成图片的差异，判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域；

进一步地，所述训练样本图片为不含有缺陷的图片。

进一步地，所述训练样本图片分为标记的训练样本、未标记的训练样本。

本发明的基于语义分割的产品表面缺陷检测方法，实现时，只需将不含缺陷的正常图片作为训练样本，并且只标记部分训练样本，非常适合缺陷样本稀少但正常样本丰富的工业产品表面检测领域，能在缺陷样本不足的情况下大大提高产品表面缺陷检测的精度。

进一步地，所述标记的训练样本为将若干训练样本图片进行语义分割标记后得到的训练样本图片。

进一步地，进入步骤2之前还包括以下操作：

S1.构建一个语义分割模型；

S2.用未标记的训练样本对语义分割模型进行预训练；

S3.用标记的训练样本对经过预训练的语义分割模型进行训练，即得到训练后的语义分割模型。

进一步地，所述预训练的方法包括但不限于自监督训练方法。

进一步地，进入步骤3之前还包括以下操作：

S1.构建一个生成对抗网络模型；

S2.利用标记的训练样本训练生成对抗网络模型，得到所述图片合成模型。

进一步地，所述步骤4具体包括：

步骤4.1.在待检测图片与合成图片的每个像素位置用判断模型计算二者的相似性距离；

步骤4.2.判断所述相似性距离是否超过阈值t，若超过，则待检测图片的该像素位置有缺陷，否则该像素位置没有缺陷；

步骤4.3.判定待检测图片是否所有像素位置都没有缺陷，若是，则该待检测图片对应的产品表面没有缺陷，否则，判定产品表面有缺陷并进入下一步；

步骤4.4.输出缺陷所在的区域。

进一步地，所述判断模型包括但不限于基于马氏距离的相似性度量模型。

同时，本发明还公开了一种基于语义分割的产品表面缺陷检测系统，包括：

图像采集模块，用于采集包含产品表面的样本图片并将样本图片分为训练样本图片及待检测图片；

语义分割模块，用于通过训练样本图片训练一个语义分割模型，所述语义分割模型用于对输入的待检测图片进行语义分割并输出语义分割图片；

图片合成模块，用于训练一个图片合成模型，所述图片合成模型用于对输入的语义分割图片进行图片合成并输出合成图片；

判断模块，用于计算待检测图片与合成图片之间的差异，进而判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域。

进一步地，所述训练样本图片为不含有缺陷的图片。

进一步地，所述训练样本图片分为标记的训练样本、未标记的训练样本。

进一步地，所述标记的训练样本为将若干训练样本图片进行语义分割标记后得到的训练样本图片。

进一步地，所述语义分割模型的训练方法如下：

先用未标记的训练样本对语义分割模型进行预训练；然后用标记的训练样本对经过预训练的语义分割模型进行训练，即得到训练后的语义分割模型。

进一步地，所述预训练的方法包括但不限于自监督训练方法。

进一步地，所述图片合成模型的生成方法如下：

先构建一个生成对抗网络模型；再利用标记的训练样本训练生成对抗网络模型，得到所述图片合成模型。

进一步地，判断模块的工作流程如下：

S1.在待检测图片与合成图片的每个像素位置计算二者的相似性距离；

S2.判断所述相似性距离是否超过阈值t，若超过，则待检测图片的该像素位置有缺陷，否则该像素位置没有缺陷；

S3.判定待检测图片是否所有像素位置都没有缺陷，若是，则该待检测图片对应的产品表面没有缺陷，否则，判定产品表面有缺陷并进入下一步；

S4.输出缺陷所在的区域。

进一步地，所述判断模块由基于马氏距离的相似性度量模型实现。

进一步地，还包括报警与分捡模块，所述报警与分捡模块用于当判断模块检测到产品表面有缺陷时进行报警，同时将有缺陷的产品分捡到残次品区域。

本发明与现有技术相比，具有以下的有益效果：

本发明的基于语义分割的产品表面缺陷检测方法、系统，引入自监督训练方法，只需要少量有缺陷的样本就能提升缺陷检测精度，结合语义分割算法和生成对抗网络，能准确提取缺陷特征，大大提高产品表面缺陷检测的精度，其实现时，只需不含缺陷的正常图片作为训练样本，并且只标记部分训练样本，非常适合缺陷样本稀少但正常样本丰富的工业产品表面检测领域，能在缺陷样本不足的情况下大大提高产品表面缺陷检测的精度，可以有效解决现有技术存在的样本少及检测精度不高的问题。

附图说明

图1是本发明的一个实施例的基于语义分割的产品表面缺陷检测方法流程示意图。

图2是本发明一个实施例的语义分割模型训练流程示意图。

图3是本发明一个实施例的图片合成模型训练流程示意图。

图4是本发明一个实施例的基于语义分割的产品表面缺陷检测示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种基于语义分割的产品表面缺陷检测方法，具体包括以下步骤：

步骤1.采集大量包含产品表面的样本图片并分为训练样本图片及待检测图片。

具体的，本实施例中的训练样本图片为不含有缺陷的图片，且训练样本图片分为标记的训练样本、未标记的训练样本，其中，标记的训练样本为将若干训练样本图片进行语义分割标记后得到的训练样本图片。即通过采集大量不含有缺陷的图片，选择其中一部分进行语义分割标记，即得到标记的训练样本，剩下不含有缺陷的图片不标记，即得到未标记的训练样本。

步骤2.将待检测图片输入经训练样本图片训练的语义分割模型，输出语义分割图片。

其中，语义分割模型是预先生成的，如图2所示，本实施例中，语义分割模型的实现及训练步骤如下：

S1.构建一个语义分割模型RefineNet；

S2.采用自监督训练方法，用未标记的训练样本对语义分割模型RefineNet进行预训练；其中，自监督训练方法仅为一种预训练方法示例，实际中，可根据具体需求选取其他合适的训练方法；

S3.用标记的训练样本对经过预训练的语义分割模型RefineNet进行训练，即得到训练后的语义分割模型作为最终的语义分割模型。

步骤3.将语义分割图片输入图片合成模型，输出合成图片。

其中，图片合成模型是预先生成的，如图3所示，本实施例中，图片合成模型的实现及训练步骤如下：

S1.构建一个生成对抗网络模型cGAN；

S2.利用标记的训练样本训练生成对抗网络模型cGAN，得到图片合成模型。

步骤4.利用判断模型计算待检测图片与合成图片的差异，判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域。

作为优选，本实施例中，步骤4具体包括：

步骤4.1.在待检测图片与合成图片的每个像素位置用判断模型计算二者的相似性距离。

步骤4.2.判断相似性距离是否超过阈值t，若超过，则待检测图片的该像素位置有缺陷，否则该像素位置没有缺陷。

具体的，本实施例中，判断模型由基于马氏距离的相似性度量模型实现，且其具体检测方法为：在待检测图片与合成图片的每个像素位置用马氏距离计算它们的相似性距离，如果相似性距离超过阈值t则该位置有缺陷，否则该位置没有缺陷。具体的，相似性距离计算公式如下：

其中，D(x,y)表示相似性距离，x,y分别表示待检测图片与合成图片在每个像素位置对应的值，Σ表示它们的协方差矩阵。

步骤4.3.判定待检测图片是否所有像素位置都没有缺陷，若是，则该待检测图片对应的产品表面没有缺陷，否则，判定产品表面有缺陷并进入下一步；

步骤4.4.输出缺陷所在的区域。

综上可知，本发明的基于语义分割的产品表面缺陷检测方法中，引入自监督训练方法，只需要少量有缺陷的样本就能提升缺陷检测精度，结合语义分割算法和生成对抗网络，能准确提取缺陷特征，大大提高产品表面缺陷检测的精度。

实施例二

一种基于语义分割的产品表面缺陷检测系统，如图4所示，包括：图像采集模块、语义分割模块、图片合成模块、判断模块、报警与分捡模块，其中，语义分割模块分别与图像采集模块、图片合成模块连接，判断模块分别与图像采集模块、图片合成模块、报警与分捡模块连接。

图像采集模块用于采集包含产品表面的样本图片并将样本图片分为训练样本图片及待检测图片。具体的，训练样本图片为不含有缺陷的图片，且训练样本图片分为标记的训练样本、未标记的训练样本。其中，标记的训练样本为将若干训练样本图片进行语义分割标记后得到的训练样本图片。

本实施例中，其实现具体为：选择合适的相机，镜头，光源，设计一套用于采集包含产品表面缺陷的硬件方案，使采集得到的图片能清晰呈现出表面缺陷。再利用上述硬件方案，采集大量不含有缺陷的图片，选择其中一部分进行语义分割标记，得到标记的训练样本，剩下不含有缺陷的图片不标记，得到未标记的训练样本。在进行缺陷检测时，再具体利用上述硬件方案采集得到待检测图片。

语义分割模块用于通过训练样本图片训练一个语义分割模型，语义分割模型用于对输入的待检测图片进行语义分割并输出语义分割图片。

具体的，语义分割模型的训练方法如下：

先用未标记的训练样本对语义分割模型进行预训练；然后用标记的训练样本对经过预训练的语义分割模型进行训练，即得到训练后的语义分割模型。

其中，预训练的方法包括但不限于自监督训练方法。

本实施例中，语义分割模块工作时采用自监督训练方法，利用未标记的训练样本对语义分割模型RefineNet进行预训练，再用标记的训练样本对经过预训练的RefineNet模型进行训练，得到最终的语义分割模型，从而在进行缺陷检测时，输入待检测图片，输出语义分割图片。

图片合成模块用于训练一个图片合成模型，图片合成模型用于对输入的语义分割图片进行图片合成并输出合成图片。

具体的，图片合成模型的生成方法如下：

先构建一个生成对抗网络模型；再利用标记的训练样本训练生成对抗网络模型，得到图片合成模型。

本实施例中，具体是用标记的语义分割样本训练生成对抗网络cGAN，得到一个图片合成模型，则在进行缺陷检测时，向图片合成模型输入由语义分割模块输出的语义分割图片，即可得到合成图片。

判断模块用于计算待检测图片与合成图片之间的差异，进而判断待检测图片对应的产品表面是否有缺陷，若有，则输出缺陷所在的区域。

具体的，判断模块的工作流程如下：

S1.在待检测图片与合成图片的每个像素位置计算二者的相似性距离；

S2.判断相似性距离是否超过阈值t，若超过，则待检测图片的该像素位置有缺陷，否则该像素位置没有缺陷；

S3.判定待检测图片是否所有像素位置都没有缺陷，若是，则该待检测图片对应的产品表面没有缺陷，否则，判定产品表面有缺陷并进入下一步；

S4.输出缺陷所在的区域。

作为优选，本实施例中，判断模块由基于马氏距离的相似性度量模型实现。

报警与分捡模块用于当判断模块检测到产品表面有缺陷时进行报警，同时将有缺陷的产品分捡到残次品区域。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。