基于改进的YOLO网络的晶圆表面缺陷检测方法及系统

摘要

本发明提供了一种基于改进的YOLO网络的晶圆表面缺陷检测方法及系统，包括如下步骤：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；对训练集进行聚类分析，确定目标anchor值；改进YOLO网络模型中的主干特征提取网络Darknet‑53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。本发明提供能够用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。

说明书

技术领域

本发明涉及计算机视觉，具体地，涉及一种基于改进的YOLO网络的晶圆表面缺陷检测方法及系统。

背景技术

近几十年来，半导体制造业飞速发展，半导体领域中的芯片技术占着举足轻重的位置，人工智能、大数据、云计算等等，这些技术的浪潮的基础都离不开芯片的支持，芯片技术已经成为了现代信息技术的基础和核心竞争力之一。因此，晶圆作为芯片制造的原材料也是非常重要，晶圆的制作过程非常繁杂，这就使得它在生产过程中会出现各种缺陷问题，例如划痕、缺失、污染等缺陷，这些缺陷会导致晶圆封装成芯片后性能不达标，如果不能及时检测出来，制作成下游产品会影响其质量。针对晶圆出现的各种缺陷，众多研究院或者公司都开始研究晶圆缺陷检测的方法。

晶圆缺陷检测在早期主要是以人工检测为主，这种人工目检的方式效率低且检测速度慢，劳动强度大，检测准确性和实时性比较差。近几十年来，随着机器视觉领域的发展，利用机器学习算法很好的克服了人工目测的缺点，机器视觉的无损检测技术得到了越来越多人的青睐，例如一些研究者将模板匹配算法应用在晶圆缺陷检测，将待检测的晶圆图像与标准模板库进行匹配，从而识别出相应的晶圆缺陷类型，这种方法提高了晶圆缺陷检测的准确性。

随着机器学习的发展，各种用于晶圆缺陷识别的算法也相继被提出，特别是近几年来深度学习的崛起，卷积神经网络在图像识别方向取得了很大的成功，由其衍生的目标检测算法广泛应用于缺陷检测领域，例如YOLO系列算法以及以Faster-RCNN为代表的检测算法，使缺陷检测的实时性和准确性得到进一步的提高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于改进的YOLO网络的晶圆表面缺陷检测方法及系统。

根据本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测方法，包括如下步骤：

S1：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；

S2：对训练集进行聚类分析，确定目标anchor值；

S3：改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；

S4：将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。

优选地，在步骤S1中将CCD工业相机安装在显微镜上，以进行晶圆图像的采集。

优选地，在步骤S1中，将采集到的晶圆图像以VOC格式进行命名，保存入文件夹中，通过标注工具对晶圆图像中的缺陷的位置和类别进行标注生成数据集，其中训练集和测试集的选取比例为2：1。

优选地，在步骤S2中，将训练集利用k-mean++算法进行聚类分析，根据初始聚类中心尽可能远的原则选取12个初始聚类中心，计算IOU和度量值d，生成12个目标Anchor值。

优选地，所述步骤S3中，对YOLO网络模型网络改进主要分为两部分：

-在YOLO模型的Darknet-53主干提取网络尾端加入SPP空间金字塔网络结构；该网络结构包括四个并列的池化层，所述池化分别为：1×1，5×5，9×9，13×13；

-将多尺度特征融合网络FPN，增加一个104×104的特征尺度。

优选地，在步骤S4中，将训练集输入到优化后的YOLO网络模型中进行训练时，包括如下步骤：

步骤S401：将训练集中晶圆图像归一化到416×416，输入到优化后的YOLO网络模型中；

步骤S402：首先将晶圆图像输入到主干特征提取网络Darknet-53中进行下采样，经过卷积和残差块的堆叠进行特征提取，对最后一层的特征层进行四种不同尺度的最大池化处理，极大增加感受野，分离出上下文特征，再对深层信息进行上采样，通过concat函数将深层信息与较浅层信息不断堆叠和拼接实现特征融合；

步骤S403：在特征融合过后得到四个尺度的特征图，分别为13×13，26×26，52×52，104×104；

步骤S404：根据四个尺度的特征图可以得到预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测框，得到置信度比较高的预测框。

优选地，所述预测框的位置信息通过以下公式确定，即：

b

b

其中，(b

优选地，所述预测框的置信度C可以利用逻辑回归的方法进行计算，计算公式为：

C＝Pr×IOU (5)

其中，Pr为预测框内存在晶圆缺陷对象的概率，IOU为预测框与真实框的交并比。

优选地，所述步骤S4中，将测试集输入到已改进的YOLO目标检测模型中，对检测模型进行评估，最终得到最优的晶圆缺陷检测模型，主要评估参数为精确率、召回率和检测速度。

根据本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测系统，包括如下模块：

数据采集模块，用于采集晶圆图像，将所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；

聚类分析模块，用于对训练集进行聚类分析，确定合适的anchor值；

模型改进模块，用于改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；

模型训练模块，用于将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于改进YOLO网络的晶圆表面缺陷检测方法，用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测方法的步骤流程图；

图2为本发明实施例中改进的YOLO网络结构图；

图3为本发明实施例中图像采集路径；

图4为本发明实施例中新增结构SPP池化层；

图5为本发明实施例中k-mean++聚类结果和原始结果的对比；

图6为本发明实施例中IOU计算示意图；

图7为本发明实施例中预测框的坐标计算示意图。

图8为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测系统的模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测方法的步骤流程图，如图1所示，本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测方法，包括如下步骤：

S1：采集晶圆图像，对所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；

在步骤S1中将CCD工业相机安装在显微镜上制成晶圆图像采集装，进行晶圆图像的采集；显微镜物镜倍数为20倍，调整焦距以及相机的各种参数，使工业相机能清晰地捕捉到晶圆图像信息，此外，由于晶圆缺陷检测的精度要求比较高，在借助显微镜的情况下，视野变小，因此需要利用XY位移平台对晶圆进行移动，通过控制软件使XY水平位移平台进行S型移动。

在步骤S1中，将采集到的晶圆图像以VOC格式进行命名，保存入文件夹中，通过标注工具对晶圆图像中的缺陷的位置和类别进行标注生成数据集，其中训练集和测试集的选取比例为2∶1。所述标注工具采用labelImg软件工具。

S2：对训练集进行聚类分析，确定目标anchor值；

在步骤S2中，将训练集利用k-mean++算法进行聚类分析，根据初始聚类中心尽可能远的原则选取12个初始聚类中心，计算IOU和度量值d，以平均IOU作为此次聚类分析的量度，从而得到12个更好的Anchor值。

主要步骤分为：

步骤S201：获得初始标记框的宽和高，并将其进行归一化操作；

步骤S202：随机选择一个方框的宽和高作为初始聚类中心点，计算每个方框数据与已有聚类中心的最近距离，该距离越大，被选作聚类中心的概率就越大。重复该操作直到选择到12个聚类中心；

步骤S203：遍历所有方框数据，所有方框数据都分类到离其最近的聚类中心点中，计算新的聚类中心点，迭代足够多次后，直到这12个聚类中心点不再变化，此时这12个聚类中心就是合适的Anchor值；

步骤S204：对此次聚类分析做度量，标准为：

d(box，centroid)＝1-IOU

其中，

S3：改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；

所述步骤S3中，对YOLO网络模型网络改进主要分为两部分：

-在YOLO模型的Darknet-53主干提取网络尾端加入SPP空间金字塔网络结构，解决图像部分信息丢失和尺寸的问题；该网络结构包括四个并列的池化层，所述池化分别为：1×1，5×5，9×9，13×13；

-将多尺度特征融合网络FPN，增加一个104×104的特征尺度，增加对小物体的检测精度。

S4：将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。

在步骤S4中，将训练集输入到优化后的YOLO网络模型中进行训练时，包括如下步骤：

步骤S401：将训练集中晶圆图像归一化到416×416，输入到优化后的YOLO网络模型中；

步骤S402：首先将晶圆图像输入到主干特征提取网络Darknet-53中进行下采样，经过卷积和残差块的堆叠进行特征提取，对最后一层的特征层进行四种不同尺度的最大池化处理，极大增加感受野，显著分离出上下文特征，再对深层信息进行上采样，通过concat函数将深层信息与较浅层信息不断堆叠和拼接实现特征融合；

步骤S403：在特征融合过后得到四个尺度的特征图，分别为13×13，26×26，52×52，104×104；

步骤S404：根据四个尺度的特征图可以得到预测框位置信息以及其对应的类别概率、置信度，剔除掉置信度小于设定阈值对应的预测框，得到置信度比较高的预测框。

在本发明实施例中，所述设定阈值为0.6。

所述预测框的位置信息通过以下公式确定，即：

b

b

其中，(b

所述预测框的置信度C可以利用逻辑回归的方法进行计算，计算公式为：

C＝Pr×IOU (5)

其中，Pr为预测框内存在晶圆缺陷对象的概率，IOU为预测框与真实框的交并比。

所述步骤S4中，将测试集输入到已改进的YOLO目标检测模型中，对检测模型进行评估，最终得到最优的晶圆缺陷检测模型，主要评估参数为精确率、召回率和检测速度。

精准率计算公式为：

其中TP为晶圆缺陷目标被预测为晶圆缺陷目标，FN为预测为其他缺陷，FP为将其他缺陷预测为缺陷目标。

图8为本发明实施例中基于改进的YOLO网络的晶圆表面缺陷检测系统的模块示意图，如图8所示，本发明提供的基于改进的YOLO网络的晶圆表面缺陷检测系统，包括如下模块：

数据采集模块，用于采集晶圆图像，将所述晶圆图像表面缺陷进行位置和缺陷类型的标注生成数据集，将所述数据集分为训练集和测试集；

聚类分析模块，用于对训练集进行聚类分析，确定合适的anchor值；

模型改进模块，用于改进YOLO网络模型中的主干特征提取网络Darknet-53和多尺度特征融合网络FPN，生成优化后的YOLO目标检测模型；

模型训练模块，用于将聚类分析后的训练集输入到优化后的YOLO网络模型中进行训练生成晶圆表面缺陷模型，并通过所述测试集对所述晶圆表面缺陷模型进行测试。

本发明实施例中提供的基于改进YOLO网络的晶圆表面缺陷检测方法，用于实现晶圆成品表面缺陷的检测，检测的缺陷包括划痕、污染、残缺等等，通过对YOLO网络模型的改进，能够较以往传统的检测方法，准确性和实时性得到进一步提高。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。