一种基于特征点匹配算法的极反缺陷检测方法及检测装置

摘要

本发明实施例提供一种基于特征点匹配算法的极反缺陷检测方法及检测装置，属于工业视觉检测技术领域。该方法包括：首先获取PCB板的待检测图像、检测模板图像及检测模板图像中的待匹配点坐标；然后将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；最后基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷，该过程操作简单，并且提高了PCB板极反检测的准确性。

说明书

技术领域

本发明涉及工业视觉检测技术领域，具体地涉及一种用于PCB板极反缺陷的判断方法、装置及电子设备。

背景技术

目前，PCB板(Printed Circuit Board，印制电路板)中元器件的极性标志特征较小且多样，对PCB板进行极性检测通常采用传统的图像识别方式，例如在PCB模板图上对极性标志做模板，根据PCB模板图来对PCB板上的元器件图像做对比，进行缺陷判断。因此，现有技术存在需要PCB模板图较多，操作复杂，同时PCB板缺陷检测误报率较高的问题。

发明内容

基于此，本发明第一方面提供一种基于特征点匹配算法的极反缺陷检测方法，提高了PCB板极反缺陷检测的准确性，该方法包括：

获取PCB板的待检测图像、检测模板图像及检测模板图像中的待匹配点坐标；

将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；

基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷。

在本发明实施例中，预设神经网络包括依次连接的特征提取模块、transformer模块和全连接模块；

将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标，包括：

将待检测图像和检测模板图像输入至特征提取模块进行特征提取，得到对应的待检测特征图像和检测模板特征图像；

对待检测特征图像和检测模板特征图像进行处理，得到特征映射信息；

将特征映射信息以及检测模板图像上的待匹配点坐标输入至transformer模块进行处理，得到输出信息；

将输出信息输入至全连接层得到匹配点坐标。

在本发明实施例中，对待检测特征图像和检测模板特征图像进行处理得到特征映射信息，包括：

将待检测特征图像和检测模板特征图像以水平方向拼接，得到拼接特征图像；

在拼接特征图像上添加待匹配点坐标的位置编码，得到特征映射信息，其中，位置编码是根据待匹配点坐标进行编码得到的。

在本发明实施例中，基于transformer模块对特征映射信息以及检测模板图像上的待匹配点坐标进行处理得到输出信息，包括：

将特征映射信息和待匹配点坐标输入至transformer模块的编码器中进行编码，得到编码信息和待匹配点坐标的编码值；

将编码信息和待匹配点坐标的编码值输入至transformer模块的解码器中进行解码，得到解码信息，并将解码信息作为输出信息。

在本发明实施例中，基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷，包括：

获取待检测图像上的第一极性标志点坐标；

计算匹配点坐标与第一极性标志点坐标之间的第一角度；

获取检测模板图像上的第二极性标志点坐标；

计算待匹配点坐标与第二极性标志点坐标之间的第二角度；

判断第一角度和第二角度的角度差值是否在预设角度阈值范围内；

如果是，则PCB板不存在极反缺陷；

如果否，则PCB板存在极反缺陷。

在本发明实施例中，计算匹配点坐标与第一极性标志点坐标之间的第一角度，包括：

计算匹配点坐标的第一重心点坐标；

基于仿射变换将第一重心点坐标和第一极性标志点坐标转换至同一坐标系中；

连接第一重心点坐标和第一极性标志点坐标，计算第一重心点坐标和第一极性标志点坐标的连接线与横坐标轴的第一角度。

在本发明实施例中，计算待匹配点坐标与第二极性标志点坐标之间的第二角度，包括：

计算待匹配点坐标的第二重心点坐标；

基于仿射变换将第二重心点坐标和第二极性标志点坐标转换至同一坐标系中；

连接第二重心点坐标和第二极性标志点坐标，计算第二重心点坐标和第二极性标志点坐标的连接线与横坐标轴的第二角度。

本发明第二方面提供一种基于特征点匹配算法的极反缺陷检测装置，包括：

图像获取模块，获取PCB板的待检测图像、检测模板图像及检测模板图像中的待匹配点坐标；

匹配点坐标确定模块，用于将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；

极反判断模块，用于基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷。

本发明第三方面提供一种电子设备，电子设备包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的基于特征点匹配算法的极反缺陷检测方法。

本发明第四方面提供一种机器可读存储介质，机器可读存储介质上存储有指令，指令在被处理器执行时实现上述的基于特征点匹配算法的极反缺陷检测方法。

通过上述技术方案，首先获取PCB板的待检测图像、检测模板图像及待检测图像中的待匹配点坐标；然后将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；最后基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷，该过程提高了PCB板极反检测的准确性。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例提供的一种基于特征点匹配算法的极反缺陷检测方法的流程示意图；

图2是本发明实施例提供的一种基于特征点匹配算法的极反缺陷检测装置的结构示意图；

图3是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

在工业视觉检测领域，目前较多的是采用传统的图像识别方式对工业PCB板进行检测。而PCB板中元器件的极性标志特征较小且多样。在传统的图像检测方案中，常见为在检测模板图上对极性标志做模板，然后通过图像比对方式来对PCB板上的元器件图像与模板图做对比，进行缺陷检测，因此存在模板图较多，操作复杂，同时误报率较高的问题。

基于此，本申请提供了一种基于特征点匹配算法的极反缺陷检测方法，图1为一种基于特征点匹配算法的极反缺陷检测方法的流程示意图，如图1所示，该方法包括：

步骤S101：获取PCB板的待检测图像、检测模板图像及检测模板图像中的待匹配点坐标。

在实际应用中，PCB板的极反缺陷检测需要获取PCB板的待检测图像和检测模板图像，检测模板图像中包括多个极性标志点，将多个极性标记点的坐标作为待匹配点坐标。

步骤S102：将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标。

在实际应用中，利用预设神经网络，将待检测图像、检测模板图像以及待匹配点坐标作为输入，得到待检测图像上的匹配点坐标。具体地，通过预设神经网络，既可以得到单一匹配点坐标，输出稀疏的匹配结果，也能够计算待检测图像中所有点的匹配点，以获取稠密的匹配映射关系，因此有效提高了PCB板极反缺陷的检测效率。

步骤S103：基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷。

在实际应用中，在得到待检测图像中的匹配点坐标后，利用仿射变换计算匹配点坐标与待检测图像中的第一极性标志点坐标之间的第一角度，计算待匹配点坐标与检测模板图像中第二极性标志点坐标之间的第二角度。根据第一角度的和第二角度的差值确定PCB板是否存在极反缺陷。

通过上述实施例，首先获取PCB板的待检测图像、检测模板图像及待检测图像中的待匹配点坐标；然后将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；最后基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷，该过程提高了PCB板极反检测的准确性。

在一实施例中，预设神经网络包括依次连接的特征提取模块、transformer模块和全连接模块，步骤S102包括：

将待检测图像和检测模板图像输入至特征提取模块进行特征提取，得到对应的待检测特征图像和检测模板特征图像；

对待检测特征图像和检测模板特征图像进行处理，得到特征映射信息；

将特征映射信息以及检测模板图像上的待匹配点坐标输入至transformer模块进行处理，得到输出信息；

将输出信息输入至全连接层得到匹配点坐标。

在实际应用中，预设神经网络包括特征提取模块、transformer模块和全连接模块，其中特征提取模块可以为CNN模块，也可以为RNN模块，本申请不做限制。以CNN模块为例，将PCB板的待检测图像和检测模板图像输入至CNN模块进行特征提取，得到对应的待检测特征图像和检测模板特征图像。根据待匹配点坐标对待检测特征图像和检测模板特征图像进行处理，得到特征映射信息，将特征映射信息输入至transformer模块进行编码和解码，将解码后的输出信息输入至全连接模块得到了匹配点坐标。

在实际应用中，在经过全连接模块之后，匹配点坐标已经进行了特征组合，因此在输入待匹配点坐标进入全连接模块之后，就可以输出匹配点坐标。

通过上述实施例，利用预设神经网络对待检测图像和检测模板图像进行特征提取，进一步处理得到待检测图像中匹配点坐标，提高了获取匹配点坐标的准确性。

在一实施例中，对待检测特征图像和检测模板特征图像进行处理，得到特征映射信息，包括：

将待检测特征图像和检测模板特征图像以水平方向拼接，得到拼接特征图像；

在拼接特征图像上添加待匹配点坐标的位置编码，得到特征映射信息，其中，位置编码是根据待匹配点坐标进行编码得到的。

在实际应用中，获取特征映射信息首先要对待检测特征图像和检测模板特征图像进行水平方向的拼接，即对待检测特征图像和检测模板特征图像进行空间级联，得到拼接特征图像。例如待检测特征图像和检测模板特征图像为16*16*256的特征图像，在进行空间级联后，得到16*32*256的拼接特征图像。

在实际应用中，在拼接特征图像上添加待匹配点坐标的位置编码，得到特征映射信息。具体地，对待匹配点坐标进行编码得到位置编码，将位置编码作为空间信息编码。

在实际应用中，特征映射信息的表达式为：c＝[ε(I),ε(I')]+ρ(Ω)，其中c为特征映射信息，[ε(I),ε(I')]为拼接特征图像，ρ(Ω)为待匹配点坐标的位置编码。

通过上述实施例，利用待匹配点坐标得到待检测特征图像和检测模板特征图像的特征映射信息，方便后续根据待匹配点坐标计算匹配点坐标。

在一实施例中，将特征映射信息以及检测模板图像上的待匹配点坐标输入至transformer模块进行处理，得到输出信息，包括：

将特征映射信息和待匹配点坐标输入至transformer模块的编码器中进行编码，得到编码信息和待匹配点坐标的编码值；

将编码信息和待匹配点坐标的编码值输入至transformer模块的解码器中进行解码，得到解码信息，并将解码信息作为输出信息。

在实际应用中，将特征映射信息输入至transformer模块，基于transformer模块对征映射信息进行编码得到编码信息，将编码信息和检测模板图像上的待匹配点坐标输入至解码器中进行解码，建立待检测图像和检测模板图像之间的对应关系，并通过检测模板图像中的待匹配点坐标确定待检测图像中匹配点坐标。

通过上述实施例，将特征映射信息c输入到transformer模块的编码器T

在一实施例中，基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷，包括：

获取待检测图像上的第一极性标志点坐标；

计算匹配点坐标与第一极性标志点坐标之间的第一角度；

获取检测模板图像上的第二极性标志点坐标；

计算待匹配点坐标与第二极性标志点坐标之间的第二角度；

判断第一角度和第二角度的角度差值是否在预设角度阈值范围内；

如果是，则PCB板不存在极反缺陷；

如果否，则PCB板存在极反缺陷。

在实际应用中，根据待检测图像中的匹配点坐标确定PCB板是否存在极反缺陷，具体地，首先要获取待检测图像中的第一极性标志点坐标，将匹配点坐标与第一极性标志点坐标变换为同一坐标系中，计算匹配点坐标与第一极性标志点坐标之间的第一角度。然后获取检测模板图像中的第二极性标志点坐标，将待匹配点坐标与第二极性标志点坐标变换为同一坐标系中，计算待匹配点坐标与第二极性标志点坐标之间的第二角度。

在实际应用中，计算第一角度和第二角度的角度差值，判断角度差值是否在预设角度阈值范围内，如果角度差值在预设角度阈值范围内，则PCB板元器件不存在极反，如果角度差值没有在预设角度阈值范围内，PCB板元器件存在极反。可以理解的是不同元器件可以设置不同的角度阈值范围。

通过上述实施例，比较待检测图像中匹配点坐标与第一极性标记点坐标的第一角度与检测模板图像中待匹配点坐标与第二极性标记点坐标的第二角度，通过第一角度与第二角度的比较，确定待检测图像是否与检测模板图像中相同，没有出现元器件极反的现象。

在一实施例中，计算匹配点坐标与第一极性标志点坐标之间的第一角度，包括：

计算匹配点坐标的第一重心点坐标；

基于仿射变换将第一重心点坐标和第一极性标志点坐标转换至同一坐标系中；

连接第一重心点坐标和第一极性标志点坐标，计算第一重心点坐标和第一极性标志点坐标的连接线与横坐标轴的第一角度。

在实际应用中，计算待检测图像中的所有匹配点坐标的第一重心坐标，通过仿射变换将第一重心点坐标和第一极性标志点坐标转换至同一坐标系中，连接第一重心点坐标和第一极性标志点坐标，计算第一重心点坐标和第一极性标志点坐标的连接线与横坐标轴的第一角度。

在一实施例中，计算待匹配点坐标与第二极性标志点坐标之间的第二角度，包括：

计算待匹配点坐标的第二重心点坐标；

基于仿射变换将第二重心点坐标和第二极性标志点坐标转换至同一坐标系中；

连接第二重心点坐标和第二极性标志点坐标，计算第二重心点坐标和第二极性标志点坐标的连接线与横坐标轴的第二角度。

通过上述实施例，根据仿射变换将待检测图像的匹配点坐标与第一极性标志点坐标转换至同一坐标系中，计算匹配点坐标与第一极性标志点坐标连接线的第一角度，将检测模板图像的待匹配点坐标与第二极性标志点坐标转换至同一坐标系中，计算待匹配点坐标与第二极性标志点坐标连接线的第二角度。

基于上述基于特征点匹配算法的极反缺陷检测方法，本发明实施例还提供了一种基于特征点匹配算法的极反缺陷检测装置200，图2为一种基于特征点匹配算法的极反缺陷检测装置的结构示意图，该检测装置200包括：

图像获取模块201，获取PCB板的待检测图像、检测模板图像及检测模板图像中的待匹配点坐标；

匹配点坐标确定模块202，用于将待检测图像、检测模板图像及待匹配点坐标输入至预设神经网络，得到待匹配点在检测模板图像中的匹配点坐标；

极反判断模块203，用于基于匹配点坐标与待检测图像中的第一极性标志点坐标角度判断PCB板是否存在极反缺陷。

本申请实施例提供的基于特征点匹配算法的极反缺陷检测装置能够实现方法实施例中基于特征点匹配算法的极反缺陷检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供了一种电子设备，参见图3所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述基于特征点匹配算法的极反缺陷检测方法。

进一步地，图3所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述基于特征点匹配算法的极反缺陷检测方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的一种基于特征点匹配算法的极反缺陷检测方法及检测装置，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。