芯片封装缺陷检测方法和检测装置

摘要

本发明公开一种芯片封装缺陷检测方法和检测装置。芯片封装缺陷检测方法包括：获取待检测的芯片图像；利用基于深度学习的目标检测网络模型，从待检测的芯片图像中获得目标位置信息；根据目标位置信息，判断待检测的芯片的缺陷。本发明的技术方案利用基于深度学习的目标检测网络模型，快速地获得了准确的目标位置信息，从而提高了芯片缺陷检测的效率和精度。

说明书

技术领域

本发明涉及芯片检测技术领域，尤其涉及一种芯片封装缺陷检测方法和检测装置。

背景技术

当今芯片的封装迅速向微型化、片式化、高性能方向发展，对芯片封装的缺陷检测的要求逐渐提高。芯片引脚的缺陷检测是进行正确封装的必要前提，其他外观缺陷检测如芯片的型号、生产日期等也是封装元件的质量保证。目前很多的芯片封装生产线上仍然采用传统的人工目测的方式对芯片封装缺陷进行检测。还有一部分芯片封装生产线采用传统的机器视觉算法进行缺陷检测。

对于人工检测方式，虽然人工目检方便直接，但存在重要问题。首先，人工目检方式中，工人工作强度大，易造成视觉疲劳，从而导致误检，直接降低产品检测的可靠性。其次，人工目检方式的人力资源成本高，需要持续投资。另外，人工目检的质量判断标准不易量化，从而导致检测结果稳定性较差。最后，由于芯片尺寸较小，受限于人眼的识别能力，人工目检的检测速度和精度较低。

对于采用传统的机器视觉算法的检测方式，其采用缺陷目标分割提取、人工缺陷特征选取、人工特征描述计算、统计方法或者是浅层的网络识别(如BP神经网络，SVM支持向量机等)的方式。由于芯片图像背景复杂而不均匀、整体灰度起伏大、缺陷目标类型多样并且对比度低，因此芯片图像缺陷的准确分割、人工特征的有效描述和人工特征的准确选取都是非常困难的，需要启发式方法和专业知识，并依赖个人经验、依赖准确分割的统计模型或浅层网络模型。因此采用传统的机器视觉算法的检测方式的检测精度仍然较低，不能达到令人满意的效果。

因此，存在改善现有芯片封装缺陷检测方法的精度和效率的需求。

发明内容

有鉴于此，本发明提出了一种芯片封装缺陷检测方法及装置，其能够改善芯片封装缺陷检测的精度和效率。

根据本发明的第一方面，提供了一种芯片封装缺陷检测方法，包括：

获取待检测的芯片图像；

利用基于深度学习的目标检测网络模型，从所述待检测的芯片图像中获得目标位置信息；

根据所述目标位置信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述目标位置信息包括芯片引脚位置信息，根据所述目标位置信息，判断所述待检测的芯片的缺陷包括：

根据所述芯片引脚位置信息，确定引脚数量和引脚间距，

根据引脚数量和引脚间距，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述目标位置信息还包括引脚标记位置信息，所述根据所述目标位置信息，判断所述待检测的芯片的缺陷包括：根据所述引脚标记位置信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述方法还包括：

利用基于深度学习的光学字符识别网络模型，从所述芯片图像获得芯片的文字信息；

根据所述文字信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述基于深度学习的目标检测网络模型包括MobileNet模块和普通卷积模块。

根据本发明一优选实施例，所述基于深度学习的目标检测网络模型是通过以下步骤训练得到的：

将经人工标记的训练图像输入到基于深度学习的目标检测网络，获得向前传播的结果；

将向前传播的结果与人工标记的类别信息以及待检测的目标坐标进行比较，获得误差信息；

通过将所述误差信息进行反向传播，优化基于深度学习的目标检测网络，获得基于深度学习的目标检测网络模型。

根据本发明一优选实施例，所述基于深度学习的光学字符识别网络模型是通过以下步骤训练得到的：

将经人工标记的训练图像输入到基于深度学习的光学字符识别网络，获得向前传播的结果；

将向前传播的结果与人工标记的类别信息进行比较，获得误差信息；

通过将所述误差信息进行反向传播，优化基于深度学习的光学字符识别网络，获得基于深度学习的光学字符识别网络模型。

根据本发明一优选实施例，所述训练图像包括有缺陷的芯片图像和无缺陷的芯片图像。

根据本发明的第二方面，提供了一种芯片封装缺陷检测装置，该装置包括：

获取单元，用于获取待检测的芯片图像；

检测单元，用于利用基于深度学习的目标检测网络模型，从所述待检测的芯片图像中获得目标位置信息；

第一判断单元，用于根据所述目标位置信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述目标位置信息包括芯片引脚位置信息，所述第一判断单元被配置为：

根据所述芯片引脚位置信息，确定引脚数量和引脚间距，

根据引脚数量和引脚间距，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述目标位置信息还包括引脚标记位置信息，所述第一判断单元进一步被配置为：根据所述引脚标记位置信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述装置还包括：

识别单元，用于利用基于深度学习的光学字符识别网络模型，从所述芯片图像获得芯片的文字信息；

第二判断单元，用于根据所述文字信息，判断所述待检测的芯片的缺陷。

根据本发明一优选实施例，所述基于深度学习的目标检测网络模型包括MobileNet模块和普通卷积模块。

根据本发明一优选实施例，所述装置还包括第一训练单元，用于通过训练得到基于深度学习的目标检测网络模型，所述第一训练单元被配置为：

将经人工标记的训练图像输入到基于深度学习的目标检测网络，获得向前传播的结果；

将向前传播的结果与人工标记的类别信息以及待检测的目标坐标进行比较，获得误差信息；

通过将所述误差信息进行反向传播，优化基于深度学习的目标检测网络，获得基于深度学习的目标检测网络模型。

根据本发明一优选实施例，所述装置还包括第二训练单元，用于通过训练得到基于深度学习的光学字符识别网络模型，所述第二训练单元被配置为：

将经人工标记的训练图像输入到基于深度学习的光学字符识别网络，获得向前传播的结果；

将向前传播的结果与人工标记的类别信息进行比较，获得误差信息；

通过将所述误差信息进行反向传播，优化基于深度学习的光学字符识别网络，获得基于深度学习的光学字符识别网络模型。

根据本发明一优选实施例，所述训练图像包括有缺陷的芯片图像和无缺陷的芯片图像。

由以上技术方案可以看出，本发明的技术方案利用基于深度学习的目标检测网络模型和光学字符识别网络模型，快速地获得了准确的目标位置信息以及芯片文字信息，从而提高了芯片缺陷检测的效率和精度。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是，这些附图仅仅用于举例说明本发明的技术方案，而并非意在对本发明的保护范围构成限定。图中：

图1为根据本发明的实施例的芯片封装缺陷检测方法的流程图；

图2为根据本发明的实施例的基于深度学习的目标检测网络的结构图；

图3为图2的目标检测网络中的可分离卷积模块的结构图；

图4为图2中的普通卷积模块的结构图；

图5为根据本发明的实施例的芯片封装缺陷检测装置的结构图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

下面详细介绍本发明提供的芯片封装缺陷检测方法。

图1为根据本发明的实施例的芯片封装缺陷检测方法的流程图。根据本实施例的，芯片封装缺陷检测方法包括以下步骤：

步骤101：获取待检测的芯片图像；

步骤102：利用基于深度学习的目标检测网络模型，从待检测的芯片图像中获得目标位置信息；

步骤103：根据所述目标位置信息，判断所述待检测的芯片的缺陷。

在步骤101中，待检测的芯片图像可以是通过检测装置的相机拍摄的待测芯片图像。该图像一般是从待测芯片正上方拍摄的，图像内容包括芯片的上表面上喷印的文字信息、用于指示第一个引脚位置的引脚标记、以及芯片四周的引脚。引脚标记通常为芯片表面上的圆形或半圆形的凹陷。拍摄的芯片图像的尺寸优选地为500*500像素。

在获得芯片图像之后，可以对芯片图像进行图像处理，以便适应基于深度学习的目标检测网络模型和光学字符识别网络模型对图像分别率的要求。例如，可以采用双线性插值法改变图像的尺寸，或者对图像进行图像增强处理。图像增强处理例如可以包括裁剪、平移、水平翻转、垂直翻转以及改变光照变化等。

在步骤102中，将芯片图像输入基于深度学习的目标检测网络模型，目标检测网络检测到目标位置信息并输出。目标检测即找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。目标检测网络模型可以检测到图像中预定的目标。在本发明中，目标类别可以是芯片引脚、引脚标记和/或芯片文字区域等。目标位置信息可以包括芯片引脚位置信息、引脚标记位置信息和/或文字区域位置信息等。引脚位置信息指示芯片图像中每个引脚的位置。引脚标记位置信息标识指示芯片第一个引脚的位置。文字区域位置信息指示芯片表面上文字区域的位置。

在步骤103中，根据步骤102中获得的目标位置信息，判断待检测的芯片的缺陷。如结合步骤102所描述的，目标位置信息可以包括芯片引脚位置信息、引脚标记位置信息和/或文字区域位置信息等。根据引脚位置信息，可以得出引脚的数量以及引脚间的距离。如果引脚的数量与预设的正常引脚数量不同，则可以判断芯片的引脚数量存在缺陷，例如引脚缺失。合格芯片的引脚间距离是已知的并且可以预先设定。如果从引脚位置信息得出的引脚间距离与预设的引脚间距离不同，则可以判断相应的引脚位置存在缺陷，例如引脚弯曲或破损。引脚标记用于指示第一个引脚的位置，相同型号的芯片的引脚标记位置是固定的。如果某个芯片的引脚标记位置与该型号芯片的引脚标记位置不同，则可以判断该芯片的引脚标记存在缺陷。另外，当芯片以包装在卷带中的形式进行测试时，卷带中的芯片的位置应当是相同的，每个芯片的引脚标记位置也应当是相同的。如果某个芯片的引脚标记位置与其他芯片的引脚标记位置相反(或者与预设的引脚标记位置不同)，则该芯片的在卷带中的放置方向存在缺陷。

根据本发明的优选实施例，以上芯片封装缺陷检测方法还可以包括以下步骤：

步骤104：利用基于深度学习的光学字符识别网络模型，从芯片图像获得芯片的文字信息；

步骤105：根据文字信息，判断待检测的芯片的缺陷。

在步骤104中，将芯片图像输入基于深度学习的光学字符识别(OCR)网络模型，光学字符识别网络模型识别芯片图像中的文字信息并输出。根据优选的实施例，可以首先使用以上讨论的基于深度学习的目标检测网络模型检测到芯片图像中文字区域的位置，然后将文字区域的图像输入光学字符识别网络模型，得到芯片图像中的文字信息。芯片文字信息一般包括芯片厂商名称、芯片型号、生产批次、工厂代号等信息。

在步骤105中，将获得的芯片文字信息与预设的芯片文字信息进行比较，如果存在差异，则判断所检测的芯片存在缺陷。例如，芯片的文字信息存在印刷错误等缺陷。

根据本发明的芯片封装缺陷检测方法，利用基于深度学习的目标检测网络模型实现了对芯片图像中目标区域位置信息的快速且准确的检测。进一步地，还可以利用基于深度学习的光学字符识别网络模型快速且准确地识别芯片图像中的文字信息。通过检测到的目标位置信息和识别出的文字信息，可以判断芯片是否存在缺陷。

本发明的方法特别适合于检测经卷带机处理后的芯片的缺陷。经卷带机处理的芯片上具有一层PVC材料膜，这会降低采集的芯片图像的质量，从而对后续图像检测的准确性有更高的要求。本发明所采用的基于深度学习的目标检测网络模型和光学字符识别网络模型可以快速且准确地实现对芯片缺陷的检测。

下面介绍本发明的基于深度学习的目标检测网络和光学字符识别网络。

图2为根据本发明实施例的基于深度学习的目标检测网络的结构图。根据该实施例，基于深度学习的目标检测网络包括MobileNet模块和普通卷积模块组。MobileNet模块由一层普通卷积和13个可分离卷积模块组成。

图3为图2中的普通卷积模块的结构图。在图3中，可分离卷积的卷积核尺寸为3*3，普通卷积的卷积核的尺寸为1*1。Relu为线性整流函数。

图4为图2中的普通卷积模块的结构图。在图4中，1*1和3*3表示卷积核的尺寸。对于MobileNet模块，其中第一普通卷积层的卷积核的尺寸为3*3。13个可分离卷积模块中卷积核的尺寸为3*3。

根据本发明的实施例，基于深度学习的光学字符识别网络结构如下所示：

第一卷积层——第一归一化层——第一激活层——第二卷积层——第二归一化层——第二激活层——第一池化层——第三卷积层——第三归一化层——第三激活层——第四卷积层——第四归一化层——第四激活层——第二池化层——第五卷积层——第五归一化层——第五激活层——第六卷积层——第六归一化层——第六激活层——第七卷积层——第七归一化层——第七激活层——第一长短期记忆(lstm)层——第二长短期记忆(lstm)层——全连接层——Softmax分类层

上述网络中的激活层的激活函数均为线性整流函数(relu)。池化层均采用最大值池化方式。所有卷积层中的卷积核的尺寸均为3*3。

本发明中的基于深度学习的目标检测网络模型和光学字符识别网络模型是通过训练得到的。

在训练网络模型之前，需要首选采集芯片图像。具体地，可以通过摄像头拍摄一定数量的无缺陷的芯片图像和有缺陷的芯片图像。图像的总数量一般在1万至2万张，以便满足训练和测试的要求。每幅图像的尺寸大约在500*500像素左右。采集的芯片图像需要进行人工标记，需要标记的信息包括目标类型信息和目标位置信息，以及图像中文字部分的文字信息。

将拍图像中60％的图像作为训练图像，剩余40％的图像作为测试图像。根据本发明的优选实施例，可以对以上训练图像进行图像增强处理，增强方式可以为平移、水平翻转、垂直翻转、改变光照变化、添加噪声等。

为了适应基于深度学习的目标检测网络，可以将训练图像采用双线性插值法统一调整到尺寸为300*300像素，得到目标检测网络的训练图像。

目标检测网络的训练包括以下步骤：训练图像输入到基于深度学习的目标检测网络，获得向前传播的结果；将向前传播的结果与人工标记的类别信息以及待检测的目标坐标进行比较，获得误差信息；通过将所述误差信息进行反向传播，优化基于深度学习的目标检测网络，获得基于深度学习的目标检测网络模型。向前传播的结果包括目标类别信息和位置信息(坐标)。

为了适应基于深度学习的光学字符识别网络，可以对训练图像进行裁剪，得到芯片文字信息所在的位置的图像，进而采用双线性插值法将裁剪后图像的尺寸统一调整为32*128像素，其中高度为32像素，宽度为128像素，作为光学字符识别网络的训练图像。

光学字符识别网络模型的训练包括以下步骤：将经人工标记的训练图像输入到基于深度学习的光学字符识别网络，获得向前传播的结果；将向前传播的结果与人工标记的字符类别信息进行比较，获得误差信息；通过将所述误差信息进行反向传播，优化基于深度学习的光学字符识别网，获得基于深度学习的光学字符识别网络模型。

本发明还提供了芯片封装缺陷检测装置。

图5为根据本发明的实施例的芯片封装缺陷检测装置的结构图。该装置用于执行上述芯片封装缺陷检测方法。如图5所示，芯片封装缺陷检测装置5包括：

-获取单元51，用于获取待检测的芯片图像；

-检测单元521，用于利用基于深度学习的目标检测网络模型，从待检测的芯片图像中获得目标位置信息；

-第一判断单元531，用于根据目标位置信息，判断待检测的芯片的缺陷。

获取单元51负责获取待检测的芯片图像。待检测的芯片图像可以是通过检测装置的相机拍摄的待测芯片图像。该图像一般是从待测芯片正上方拍摄的，图像内容包括芯片的上表面上喷印的文字信息、用于指示第一个引脚位置的引脚标记、以及芯片四周的引脚。引脚标记通常为芯片表面上的圆形或半圆形的凹陷。拍摄的芯片图像的尺寸优选地为500*500像素。

在获得芯片图像之后，获取单元51可以对芯片图像进行图像处理，以便适应基于深度学习的目标检测网络模型和光学字符识别网络模型的要求。例如，可以采用双线性插值法改变图像的尺寸，或者对图像进行图像增强处理。图像增强处理例如可以包括裁剪、平移、水平翻转、垂直翻转以及改变光照变化等。

检测单元521负责将芯片图像输入基于深度学习的目标检测网络模型，目标检测网络检测到目标位置信息并输出。目标检测即找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。目标检测网络模型可以检测到图像中预定的目标。在本发明中，目标类别可以是芯片引脚、引脚标记和/或芯片文字区域等。目标位置信息可以包括芯片引脚位置信息、引脚标记位置信息和/或文字区域位置信息等。引脚位置信息指示芯片图像中每个引脚的位置。引脚标记位置信息标识指示芯片第一个引脚的位置。文字区域位置信息指示芯片面上上文字区域的位置。

第一判断单元531负责根据检测单元521获得的目标位置信息，判断待检测的芯片的缺陷。如结合检测单元521所描述的，目标位置信息可以包括芯片引脚位置信息、引脚标记位置信息和/或文字区域位置信息等。根据引脚位置信息，可以得出引脚的数量以及引脚间的距离。如果引脚的数量与预设的正常引脚数量不同，则可以判断芯片的引脚数量存在缺陷，例如引脚缺失。合格芯片的引脚间距离是已知的并且可以预先设定的。如果从引脚位置信息得出的引脚间距离与预设的引脚间距离不同，则可以判断相应的引脚位置存在缺陷，例如引脚弯曲或破损。引脚标记位置信息指示第一个引脚的位置，相同型号的芯片的引脚标记位置是固定的。如果某个芯片的引脚标记位置与该型号芯片的引脚标记位置不同，则可以判断该芯片的引脚标记存在缺陷。另外，当芯片以包装在卷带中的形式进行测试时，卷带中的芯片的位置应当是相同的，每个芯片的引脚标记位置也应当是相同的。如果某个芯片的引脚标记位置与其他芯片的引脚标记位置相反(或者与预设的引脚标记位置不同)，则该芯片的在卷带中的放置方向存在缺陷。

根据本发明的优选实施例，以上芯片封装缺陷检测装置5还可以包括以下单元：

识别单元522：利用基于深度学习的光学字符识别网络模型，从芯片图像获得芯片的文字信息；

第二判断单元532：根据文字信息，判断待检测的芯片的缺陷。

识别单元522负责将芯片图像输入基于深度学习的光学字符识别网络模型，光学字符识别网络模型识别芯片图像中的文字信息并输出。根据本发明的优选实施例，第二判断单元532可以首先使用以上讨论的检测单元521检测到芯片图像中文字区域的位置，然后将文字区域的图像输入光学字符识别网络模型，得到芯片图像中的文字信息。芯片文字信息一般包括芯片厂商名称、芯片型号、生产批次、工厂代号等信息。

第二判断单元532负责将获得的芯片文字信息与预设的芯片文字信息进行比较，如果存在差异，则判断所检测的芯片存在缺陷。例如，芯片的文字信息存在印刷错误等缺陷。

根据本发明的优选实施例，以上芯片封装缺陷检测装置还包括第一训练单元501和第二训练单元502。第一训练单元501负责根据以上描述的训练步骤，训练基于深度学习的目标检测网络，得到基于深度学习的目标检测网络模型。第二训练单元502负责根据以上描述的训练步骤，训练基于深度学习的目标检测网络，得到基于深度学习的目标检测网络模型。

以上描述的装置实施例仅是示意性的。各单元的划分可以是基于逻辑功能的划分，在实际实现时可以采用其他的划分方式。例如多个单元可以结合或者可以集成到另一个单元或系统中。上述各个单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述各个单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案可以采用软件产品的形式体现，该计算机软件产品存储在一个存储介质中，包括若干指令用以使计算机设备的处理器执行本发明各个实施例的方法的全部或部分步骤。存储介质包括但不限于闪存盘、只读存储器(ROM)、随机存取存储器(RAM)、移动硬盘、磁盘或者光盘等可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。