一种分层并行计算的芯片管脚在线视觉检测系统及其方法

摘要

本发明公开了一种分层并行计算的芯片管脚在线视觉检测系统及其方法，该系统分为底层处理平台和上层处理平台，底层处理平台主要负责芯片图像的读入、预处理，对存在明显缺陷的芯片进行剔除，上层处理平台主要负责对芯片管脚图像进行更复杂的缺陷计算。本发明的检测方法是将芯片视觉信号的计算内容按先后顺序及复杂程度分为不同计算层次，并分摊到对应的并行计算平台，底层处理平台则保证在较快速度下判断是否有明显缺陷，而对于需进一步计算判断的，则通过上层处理平台并行进行处理，最终保证了处理速度的实时响应。本发明实现了多管脚芯片的在线检测，具有良好的扩展能力，适应了当前对处理速度及精度要求不断提高的芯片制造业在线检测需求。

说明书

技术领域

本发明芯片封装检测技术领域，具体涉及一种分层并行计算的芯片管脚在线视觉检测系统及其方法。

背景技术

目前现有的芯片管脚尺寸的视觉检测线，其装置往往采用单一的计算平台，完成从图像预处理，到缺陷检测，再到分选动作实现等的工作。但随着集成电路制造的飞速发展，封装式样不断增加，管脚数目也随需要在提高，这导致一般的视觉检测线难以应付当前及今后的发展需要。因此，如何解决当前芯片管脚尺寸检测线所面临的计算内容日益复杂、计算量不断增加、实时性难以保证，计算精度也因此受到影响等问题，以及如何提高处理的在线能力及扩展性，成为急需解决的问题。

发明内容

本发明的目的提供一种分层并行计算的芯片管脚在线视觉检测系统及其方法，以实现多管脚芯片的在线检测，具有良好的扩展能力，能够适应当前对处理速度及精度要求不断提高的芯片制造业在线检测需求。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种分层并行计算的芯片管脚在线视觉检测系统，根据所需要计算的内容分为底层处理平台和上层处理平台两个部分（按需求还可以扩展）；

所述底层处理平台由FPGA实现，其完全采用硬件并行计算，由于开发不像高级语言那么容易编程调试，因此只适合负责芯片图像数据的读入，芯片图像的预处理，对存在明显缺陷的芯片进行剔除，以及将定位好的芯片管脚图像传输给所述上层处理平台；

所述的芯片图像的预处理的具体内容为：

首先对芯片图像进行中值滤波，以平滑掉各种奇异突变，达到对图像边缘保持较好非线性的图像增强的效果（与最小均方滤波、平均值滤波相比，中值滤波可以克服图像滤波后细节模糊的缺陷，考虑到实际处理速度、处理速度和器件资源要求，采用3×3邻域窗口的计算方式）；

然后利用边缘沿检测算法对芯片管脚边缘进行提取（在此采用Sobel算法，该算法在FPGA硬件上容易实现，且能够平滑一定的噪声，边沿检测效果较好，画面每秒传输帧数能达到500fps），在芯片管脚定位出来以后，如果发现不是均匀分布，则说明该芯片存在缺陷，需要剔除；如果发现是均匀分布的，则说明该芯片没有存在明显缺陷，可将定位好的芯片管脚图像传输给所述上层处理平台，进行更复杂的缺陷计算；

所述上层处理平台由CPU+GPU的架构实现，其中，GPU采用GPU的并行计算体系，该计算体系完美支持opencv等计算平台，同时其主频、内存等可以更快更大，因此适合负责对提取的芯片管脚图像进行更复杂的缺陷计算，而且还不影响处理速度；CPU负责芯片图像及其数据的传输，芯片缺陷计算的控制以及芯片管脚检测结果的存储；

所述的缺陷计算的具体内容为：

为了保证检测实用性，采用亚像素定位算法，首先测算芯片管脚边缘中心点的位置，并根据这些中心点的位置计算出包括管脚宽度、管脚间距、管脚共面度、长度偏差在内的所需的计算结果，然后利用侧视图得到栈高，由此计算栈高分布状态，表征共面度的特性。

所述的缺陷计算的计算过程包括如下几方面：每个管脚连通域的搜索确定，基于一维灰度矩的亚像素边缘定位，以及利用该精确定位值的封装管脚参数计算；

由于本系统在检测过程中采用了分层策略，这导致所述上层处理平台在计算前需要一定的传输延时，为了保证检测结果与工件的一一对应，本系统设计了相应的自动对应系统；在检测到不良芯片后，本系统可根据所述自动对应系统提供的光电信号计数获得不良芯片的位置并加以排除，保证了分层计算后本系统的正常工作。

本发明考虑了计算的实时性以保证在线检测的能力，因此采用GPU的并行能力为系统加速。由于所述上层处理平台与所述下层处理平台的计算过程也是并行进行的，因此减轻了计算的复杂程度。同时GPU作为当前发展最快的图像处理平台，也保证了计算的时效性及计算的精度。

一种分层并行计算的芯片管脚在线视觉检测方法，包括以下步骤：

步骤1）采用CCD相机对位于传送带上的芯片进行逐一拍照，并将拍摄到的芯片图像传输给由FPGA实现的底层处理平台；

步骤2）所述底层处理平台在读入芯片图像后，对芯片图像进行预处理，包括通过滤波以平滑掉芯片图像中各种奇异突变，达到对图像边缘保持较好非线性的图像增强的效果，以及利用边缘沿检测算法对芯片管脚边缘进行提取；

步骤3）在芯片管脚定位出来后，若发现不是均匀分布，则说明该芯片存在缺陷，所述底层处理平台立即将其剔除；若发现是均匀分布的，则说明该芯片没有存在明显缺陷，所述底层处理平台将定位好的芯片管脚图像通过CPU传输给由CPU+GPU的架构实现的上层处理平台，进行更复杂的缺陷计算；

步骤4）在收到提取到的芯片管脚图像后，所述上层处理平台中的GPU采用亚像素定位算法，首先测算芯片管脚边缘中心点的位置，并根据这些中心点的位置计算出包括管脚宽度、管脚间距、管脚共面度、长度偏差在内的所需的计算结果，利用侧视图得到栈高，由此计算栈高分布状态，表征共面度的特性，得出最终计算结果；

步骤5）所述上层处理平台通过CPU输出最终计算结果，并保存至硬盘；

步骤6）在检测到不良芯片后，本系统可根据自动对应系统提供的光电信号计数获得不良芯片的位置并加以排除，保证了分层计算后本系统的正常工作。

进一步的，步骤2）中，所述滤波的方法采用中值滤波，与最小均方滤波、平均值滤波相比，中值滤波可以克服图像滤波后细节模糊的缺陷，同时考虑到实际处理速度、处理速度和器件资源要求，采用3×3邻域窗口的计算方式。

进一步的，步骤2）中，所述边缘沿检测算法采用Sobel算法，该算法在FPGA硬件上容易实现，且能够平滑一定的噪声，边沿检测效果较好，画面每秒传输帧数能达到500fps。

本发明的有益效果是：

本发明利用多种并行计算平台的综合应用，将芯片视觉信号的计算内容按先后顺序及复杂程度分为不同计算层次，使得不同层次的计算内容分摊到不同的并行计算平台，底层处理平台则保证在较快速度下判断是否有缺脚等明显缺陷，而对于需进一步计算判断的，则通过上层处理平台并行进行处理，最终保证了处理速度的实时响应。这种分层并行处理方案实现了多管脚芯片的在线检测，具有良好的扩展能力，适应了当前对处理速度及精度要求不断提高的芯片制造业在线检测需求。

本发明的检测系统将使得当前芯片封装视觉检测的处理速度大大加强，底层的FPGA采用硬件并行算法进行sobel边缘检测提取芯片管脚信息，在图像640*480条件下一秒钟可以处理500帧图像，而上层GPU在主频速度、内部寄存器、共享内存等方面具有更明显的优势，因此整个系统每小时可达到10,000件。同时，由于各计算平台基于并行计算实现，因此易于扩展，当性能需要进一步提升时，容易通过重新划分并行计算内容，添加同样的并行计算硬件即可获得。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的系统架构及检测方法示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

参见图1所示，一种分层并行计算的芯片管脚在线视觉检测系统，根据所需要计算的内容分为底层处理平台和上层处理平台两个部分（按需求还可以扩展）；

所述底层处理平台由FPGA实现，其完全采用硬件并行计算，由于开发不像高级语言那么容易编程调试，因此只适合负责芯片图像数据的读入，芯片图像的预处理，对存在明显缺陷的芯片进行剔除，以及将定位好的芯片管脚图像传输给所述上层处理平台；

所述的芯片图像的预处理的具体内容为：

首先对芯片图像进行中值滤波，以平滑掉各种奇异突变，达到对图像边缘保持较好非线性的图像增强的效果（与最小均方滤波、平均值滤波相比，中值滤波可以克服图像滤波后细节模糊的缺陷，考虑到实际处理速度、处理速度和器件资源要求，采用3×3邻域窗口的计算方式）；

然后利用边缘沿检测算法对芯片管脚边缘进行提取（在此采用Sobel算法，该算法在FPGA硬件上容易实现，且能够平滑一定的噪声，边沿检测效果较好，画面每秒传输帧数能达到500fps），在芯片管脚定位出来以后，如果发现不是均匀分布，则说明该芯片存在缺陷，需要剔除；如果发现是均匀分布的，则说明该芯片没有存在明显缺陷，可将定位好的芯片管脚图像传输给所述上层处理平台，进行更复杂的缺陷计算；

所述上层处理平台由CPU+GPU的架构实现，其中，GPU采用GPU的并行计算体系，该计算体系完美支持opencv等计算平台，同时其主频、内存等可以更快更大，因此适合负责对提取的芯片管脚图像进行更复杂的缺陷计算，而且还不影响处理速度；CPU负责芯片图像及其数据的传输，芯片缺陷计算的控制以及芯片管脚检测结果的存储；

所述的缺陷计算的具体内容为：

为了保证检测实用性，采用亚像素定位算法，首先测算芯片管脚边缘中心点的位置，并根据这些中心点的位置计算出包括管脚宽度、管脚间距、管脚共面度、长度偏差在内的所需的计算结果，然后利用侧视图得到栈高，由此计算栈高分布状态，表征共面度的特性。

所述的缺陷计算的计算过程包括如下几方面：每个管脚连通域的搜索确定，基于一维灰度矩的亚像素边缘定位，以及利用该精确定位值的封装管脚参数计算；

由于本系统在检测过程中采用了分层策略，这导致所述上层处理平台在计算前需要一定的传输延时，为了保证检测结果与工件的一一对应，本系统设计了相应的自动对应系统；在检测到不良芯片后，本系统可根据所述自动对应系统提供的光电信号计数获得不良芯片的位置并加以排除，保证了分层计算后本系统的正常工作。

本发明考虑了计算的实时性以保证在线检测的能力，因此采用GPU的并行能力为系统加速。由于所述上层处理平台与所述下层处理平台的计算过程也是并行进行的，因此减轻了计算的复杂程度。同时GPU作为当前发展最快的图像处理平台，也保证了计算的时效性及计算的精度。

参见图1所示，一种分层并行计算的芯片管脚在线视觉检测方法，包括以下步骤：

步骤1）采用CCD相机对位于传送带上的芯片进行逐一拍照，并将拍摄到的芯片图像传输给由FPGA实现的底层处理平台；

步骤2）所述底层处理平台在读入芯片图像后，对芯片图像进行预处理，包括通过滤波以平滑掉芯片图像中各种奇异突变，达到对图像边缘保持较好非线性的图像增强的效果，以及利用边缘沿检测算法对芯片管脚边缘进行提取；其中，

所述滤波的方法采用中值滤波，与最小均方滤波、平均值滤波相比，中值滤波可以克服图像滤波后细节模糊的缺陷，同时考虑到实际处理速度、处理速度和器件资源要求，采用3×3邻域窗口的计算方式；

所述边缘沿检测算法采用Sobel算法，该算法在FPGA硬件上容易实现，且能够平滑一定的噪声，边沿检测效果较好，画面每秒传输帧数能达到500fps；

步骤3）在芯片管脚定位出来后，若发现不是均匀分布，则说明该芯片存在缺陷，所述底层处理平台立即将其剔除；若发现是均匀分布的，则说明该芯片没有存在明显缺陷，所述底层处理平台将定位好的芯片管脚图像通过CPU传输给由CPU+GPU的架构实现的上层处理平台，进行更复杂的缺陷计算；

步骤4）在收到提取到的芯片管脚图像后，所述上层处理平台中的GPU采用亚像素定位算法，首先测算芯片管脚边缘中心点的位置，并根据这些中心点的位置计算出包括管脚宽度、管脚间距、管脚共面度、长度偏差在内的所需的计算结果，利用侧视图得到栈高，由此计算栈高分布状态，表征共面度的特性，得出最终计算结果；

步骤5）所述上层处理平台通过CPU输出最终计算结果，并保存至硬盘；

步骤6）在检测到不良芯片后，本系统可根据自动对应系统提供的光电信号计数获得不良芯片的位置并加以排除，保证了分层计算后本系统的正常工作。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。