一种基于图像处理的焊点焊接缺陷检测方法与系统

摘要

本发明公开了一种基于图像处理的焊点焊接缺陷检测方法与系统，涉及电子检测领域，主要包括步骤：获取带有焊点焊接缺陷的电路板的图像样本集并预处理；通过卷积神经网络选择并提取图像样本集中的焊接缺陷特征，并生成检测模型；获取电路板的完整图像，并调用检测模型获得完整图像的焊接缺陷边界框；根据焊接缺陷边界框生成标注图片并输出。本发明通过利用CascadeR‑CNN算法对样本集进行卷积神经网络训练，利用该算法使得提取的特征更加符合实际焊点缺陷的特征，同时还能够对更多类型的贴片元件焊接缺陷进行检测。

说明书

技术领域

本发明涉及电子检测领域，具体涉及一种基于图像处理的焊点焊接缺陷检测方法与系统。

背景技术

目前市场上推出的电路板元件质量光学自动检测步骤复杂，主要以基于参考的缺陷检测方法为主，每次对新的产品型号进行检测，都需要重新进行统计建模，还要通过对人工目检为合格的样本进行统计学习以建立模板，再进行自动检测。同时，相关的软体设计还不够完整(例如：自动检测无法明确区别出电极针痕、刮痧和污染)。目前来说自动检测只是用来减少目检的工作量，还不能够完全取代人工目检。因此，开发一套低成本、高精度的自动化电路板焊点检测方法，是实现电子制造工业自动化的一个重要环节，具有很大的市场价值和社会价值。

发明内容

为解决上述问题，提高电路板焊点检测的通用性，减少人力成本，本发明提出了一种基于图像处理的焊点焊接缺陷检测方法，包括步骤：

S1：获取带有焊点焊接缺陷的电路板的图像样本集并预处理；

S2：通过卷积神经网络选择并提取图像样本集中的焊接缺陷特征，并生成检测模型；

S3：获取电路板的完整图像，并调用检测模型获得完整图像的焊接缺陷边界框；

S4：根据焊接缺陷边界框生成标注图片并输出。

进一步地，所述步骤S1中，预处理包括：调整图像样本尺寸至预设尺寸、随机翻转和归一化处理。

进一步地，所述步骤S2中，卷积神经网络选用Cascade R-CNN算法对图像样本集进行训练，具体步骤为：

获取图像样本每一层R-CNN网络中疑似焊接缺陷特征的输出结果，将输出结果作为下一级R-CNN网络的输入，并最终获得元件焊接特征的边界框，所述各级R-CNN网络间基于各自的IoU阀值级联。

进一步地，所述步骤S3中，检测模型是通过Cascade R-CNN算法对焊接缺陷进行两个阶段的判断，具体阶段为：

根据焊接缺陷特征利用Cascade R-CNN算法获取完整图像中缺陷初步判定区域；

将缺陷初步判定区域再次带入Cascade R-CNN算法，根据焊接缺陷特征对缺陷初步判定区域进行二次判定，获得焊接缺陷边界框。

进一步地，所述步骤3中，完整图像的获取具体包括步骤：

获取电路板上各部分预设尺寸大小的局部图像，并根据各部分在电路板上的顺序将局部图像拼接为完整图像。

本发明还提出了一种基于图像处理的焊点焊接缺陷检测系统，包括：

预处理单元，用于获取带有焊点焊接缺陷的电路板的图像样本集并预处理；

模型构建单元，用于通过卷积神经网络选择并提取图像样本集中的焊接缺陷特征，并生成检测模型；

缺陷判断单元，用于调用检测模型提取完整图像中的焊接缺陷边界框；

输出单元，用于根据焊接缺陷边界框生成标注图片并输出。

进一步地，所述预处理单元，预处理包括：调整图像样本尺寸至预设尺寸、随机翻转和归一化处理。

进一步地，所述模型构建单元中，卷积神经网络选用Cascade R-CNN算法对图像样本集进行训练，具体方式为：

获取图像样本每一层R-CNN网络中疑似焊接缺陷特征的输出结果，将输出结果作为下一级R-CNN网络的输入，并最终获得元件焊接特征的边界框，所述各级R-CNN网络间基于各自的IoU阀值级联。

进一步地，所述缺陷判断单元，检测模型是通过Cascade R-CNN算法对焊接缺陷进行两个阶段的判断，具体阶段为：

根据焊接缺陷特征利用Cascade R-CNN算法获取完整图像中缺陷初步判定区域；

将缺陷初步判定区域再次带入Cascade R-CNN算法，根据焊接缺陷特征对缺陷初步判定区域进行二次判定，获得焊接缺陷边界框。

进一步地，还包括图像获取单元，用于获取电路板上各部分预设尺寸大小的局部图像，并根据各部分在电路板上的顺序将局部图像拼接为完整图像。

与现有技术相比，本发明至少含有以下有益效果：

(1)本发明所述的一种基于图像处理的焊点焊接缺陷检测方法与系统，其通过利用Cascade R-CNN算法对样本集进行卷积神经网络训练，利用该算法使得提取的特征更加符合实际焊点缺陷的特征，同时还能够对更多类型的贴片元件焊接缺陷进行检测；

(2)在缺陷边界框提取过程中再次利用Cascade R-CNN算法获取缺陷初步判定区域，并进行二次判定缩小区域，使得最终获得的缺陷边界框的位置更加准确，范围更小，从而帮助用户精确判定故障发生点；

(3)通过图像拼接的方式获取完整的电路板图像，从而无需人工手动坐标标定，同时，通过图像预处理对原始的数据集进行扩充，从而使得卷积神经网络训练时获得的缺陷特征更加充分。

附图说明

图1为一种基于图像处理的焊点焊接缺陷检测方法与系统的方法步骤图；

图2为一种基于图像处理的焊点焊接缺陷检测方法与系统的系统结构图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

为提高电路板焊点检测的通用性，减少人力成本，同时更好的对焊接点缺陷进行识别，区别出电极针痕、刮痧和污染，降低对人为判断的依赖，如图1所示，本发明提出了一种基于图像处理的焊点焊接缺陷检测方法，主要包括步骤：

S1：获取带有焊点焊接缺陷的电路板的图像样本集并预处理；

S2：通过卷积神经网络选择并提取图像样本集中的焊接缺陷特征，并生成检测模型；

S3：获取电路板的完整图像，并调用检测模型获得完整图像的焊接缺陷边界框；

S4：根据焊接缺陷边界框生成标注图片并输出。

在对电路板进行检测前，需要建立模型，并通过训练使得模型的准确率达到标准，本发明中，选用卷积神经网络这一较为成熟的方法对数据集进行训练，而卷积神经网络中具体应用的算法，则选用了Cascade R-CNN算法。需要说明的是，Cascade R-CNN是在Faster-RCNN基础上，将多个R-CNN的网络基于不同的IoU阀值进行级联，从而达到不断优化检测结果。与普通级联不同的是，前一个R-CNN网络的输出结果可以作为后一个R-CNN网络的输入，越往后的检测模型，其界定正负样本的IoU阀值更高，其优点在于可以产生更高质量的边界框，同时还可以避免样本不足情况下的过度拟合问题。这一特点在本发明中的具体表现为：

获取图像样本每一层R-CNN网络中疑似焊接缺陷特征的输出结果，将输出结果作为下一级R-CNN网络的输入，并最终获得元件焊接特征的边界框，所述各级R-CNN网络间基于各自的IoU阀值级联。

除了通过Cascade R-CNN算法降低对样本数量的需求外，本发明还通过预处理的手段，通过调整图像样本尺寸至预设尺寸(自行设定的)、随机翻转和归一化处理，对样本量进行合理扩充，从而使得训练后的模型能够适应更多类型的特征提取。

在模型建立完成之后，还需要对其验证，考虑到传统方法中是通过人工标定坐标的形式来获取各部分的图像，并逐一对各部分的图像进行判定，为了提高判定速度，在这里，本发明选择对整张图像进行焊接缺陷判定，而为了实现这一点，本发明获取完整图像的具体步骤为：

获取电路板上各部分预设尺寸大小的局部图像，并根据各部分在电路板上的顺序将局部图像拼接为完整图像。

这样，就可以在一次焊接缺陷判定过程中，对整个电路板的图像进行处理，大大提高了判定效率。

而接下来利用检测模型对图像的处理则利用到了Cascade R-CNN算法的特性：两阶段体系的训练结构。对于一张原始图像，第一阶段是作用于整张影像的候选区域(可能为缺陷焊点的区域)提取子网络(H0)，以生成初始的检测假设，称为目标提议。在第二阶段，这些假设对感兴趣区域检测子网络(H1)的输入(也即是将子网络带入到下一阶段中)，最终分类数(Cls)和边界框(B)分配给每个目标提议。这一点在本发明中的表现为：

根据焊接缺陷特征利用Cascade R-CNN算法获取完整图像中缺陷初步判定区域；

将缺陷初步判定区域再次带入Cascade R-CNN算法，根据焊接缺陷特征对缺陷初步判定区域进行二次判定，获得焊接缺陷边界框。

在一个具体实施例中，本发明部署在树莓派4B上的Opencv4.1.0，并在Qt5环境下设计UI界面，从而对电路板进行缺陷检测。采用500万像素全彩色高速数字CCD相机作为取像机，通过多次扫描电路板的局部图像，并根据各部分在电路板上的顺序将局部图像拼接获得完整图像。将多次检测结果与人工标定结果相比对，其实际应用准确率可达95％以上。

实施例二

为了更好的对本发明的技术内容进行解释，本实施例通过系统结构的形式来对本发明进行阐述，如图2所示，一种基于图像处理的焊点焊接缺陷检测系统，包括：

预处理单元，用于获取带有焊点焊接缺陷的电路板的图像样本集并预处理；

模型构建单元，用于通过卷积神经网络选择并提取图像样本集中的焊接缺陷特征，并生成检测模型；

缺陷判断单元，用于调用检测模型提取完整图像中的焊接缺陷边界框；

输出单元，用于根据焊接缺陷边界框生成标注图片并输出。

进一步地，所述预处理单元，预处理包括：调整图像样本尺寸至预设尺寸、随机翻转和归一化处理。

进一步地，所述模型构建单元中，卷积神经网络选用Cascade R-CNN算法对图像样本集进行训练，具体方式为：

获取图像样本每一层R-CNN网络中疑似焊接缺陷特征的输出结果，将输出结果作为下一级R-CNN网络的输入，并最终获得元件焊接特征的边界框，所述各级R-CNN网络间基于各自的IoU阀值级联。

进一步地，所述缺陷判断单元，检测模型是通过Cascade R-CNN算法对焊接缺陷进行两个阶段的判断，具体阶段为：

根据焊接缺陷特征利用Cascade R-CNN算法获取完整图像中缺陷初步判定区域；

将缺陷初步判定区域再次带入Cascade R-CNN算法，根据焊接缺陷特征对缺陷初步判定区域进行二次判定，获得焊接缺陷边界框。

进一步地，还包括图像获取单元，用于获取电路板上各部分预设尺寸大小的局部图像，并根据各部分在电路板上的顺序将局部图像拼接为完整图像。

综上所述，本发明所述的一种基于图像处理的焊点焊接缺陷检测方法与系统，其通过利用Cascade R-CNN算法对样本集进行卷积神经网络训练，利用该算法使得提取的特征更加符合实际焊点缺陷的特征，同时还能够对更多类型的贴片元件焊接缺陷进行检测。

在缺陷边界框提取过程中再次利用Cascade R-CNN算法获取缺陷初步判定区域，并进行二次判定缩小区域，使得最终获得的缺陷边界框的位置更加准确，范围更小，从而帮助用户精确判定故障发生点。

通过图像拼接的方式获取完整的电路板图像，从而无需人工手动坐标标定，同时，通过图像预处理对原始的数据集进行扩充，从而使得卷积神经网络训练时获得的缺陷特征更加充分。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。