技术领域
本发明涉及点云处理、图像处理技术领域；具体涉及一种基于深度图像处理的BGA锡球三维缺陷检测方法。
背景技术
随着国内外企业在中国不断开拓芯片产业链，芯片封装检测技术得到了快速发展。球栅阵列封装(Ball Grid Array,BGA)芯片是诸多集成芯片的一种，植球工艺的封装质量直接影响芯片的性能与可靠性。锡球直径小、检测指标精度高的特点，使得普通的接触式测量技术无法满足要求。目前应用于BGA芯片的检测技术主要有：基于X射线的锡球检测、基于平面图像处理技术的锡球检测、基于机器学习的锡球表面缺陷检测等。基于X射线的检测技术，虽是无损检测，但检测效率不高且依赖于检测人员的主观判定；基于平面图像处理的检测技术，主要是针对锡球的表面缺陷，如锡球半径、间距、偏移等，而无法测量到锡球的三维指标，且锡球表面光滑易反光，所以拍摄时对打光系统的要求极为严格；基于机器学习的检测技术，同上也是主要针对锡球的表面缺陷，如空焊、过焊、缺焊以及锡球粘连等。也有学者采用CCD对BGA锡球的三维尺寸进行测量，但该方法建模复杂，对硬件设施的要求极高。因此，目前还未有发现从芯片点云入手进行检测的公开文献报道。虽点云具有高精度的特点，但因其处理方法的高耗时不能满足工业的实时检测要求。
发明内容
本发明的目的是提供一种鲁棒性好且高精度高速度的BGA芯片锡球三维检测方法。该方法的原理是将获取的BGA芯片点云转成深度图像，并引入Blob分析等图像处理技术进行测试，可快速得到芯片各锡球的高度及共面度。算法运行速度也可达到实时检测要求。
为实现上述发明目的，本发明的技术方案具体如下：
一种基于深度图像处理的BGA锡球三维缺陷检测方法，首先将采集的芯片点云转换为深度图像，拟合芯片的底座平面并利用Blob分析技术标记各锡球区域，然后提取锡球区域的二维中心点与其8邻域像素对应的三维坐标点并求平均赋值给锡球顶部三维点。为提高算法的鲁棒性，在标记锡球区域时结合形态学方法将锡球逼近圆形化。最后计算顶点到平面的距离得到锡球高度及共面度。具体步骤如下：
Step1：获取BGA芯片点云数据。根据具体检测环境的情况，调节双目线扫相机的光强、曝光时间等参数，获取到完整的3D点云数据。
Step2：对采集到的芯片点云进行深度图转换。根据点云的各点间距，预先设置好投影图像的大小和像素间距，使用沿Z方向投影并在XY方向归一化的方法可将3D点云数据转换为深度图像(也称距离图像)，即深度图像中的各像素都一一对应点云中的各三维点，深度图的位深度为16位，各像素的灰度值代表距离大小。
Step3：提取深度图像中的芯片底座区域并利用对其进行平面拟合。针对深度图像，通过预设的BGA芯片点云底座的相对高度、面积、形状特征信息，首先提取BGA的底座位置和包络的3D点数据，利用最小二乘法或Ransac采样一致性算法对芯片底座平面进行拟合并得到平面方程。
Step4：提取深度图像中的芯片锡球区域。通过预设的锡球区域相对于底座的高度、面积、形状特征信息，利用改进的Blob分析方法，提取并标记各锡球的位置和包络的3D点数据，求取各区域的二维中心坐标，即
改进的Blob分析算法主要包括：
(1)区域二值化。二值化操作在机器视觉中是一种普遍使用的分割方法，关键在于阈值的选取，主要方法分为基于边缘灰度、基于直方图聚类以及定值选取的方法。本发明针对深度图像，通过设定锡球区域相对于底座Z方向的高度定值作为阈值T来进行二值化操作。输入16位图像g(x,y)，得到8位的二值图像g
(2)形态学处理。通过设定的高度阈值进行二值化操作后，目标难免会被分割成不连续的区域，为减少计算错误，去除各区域间的噪声点并填充各区域空洞，使各锡球区域逼近圆形化，形态学处理十分重要。首先运用圆形结构元素M
然后对图像G
其中·为闭运算操作；
(3)Blob分析。通过二值化与形态学处理将图像分成了背景与目标区域，对于二值图，Blob分析实际是采用4或8邻域的方法对像素值相同或相似的像素进行聚类，可得到各类中所有像素的坐标值以及像素总数。计算出各锡球区域在图像中的二维中心点及其8邻域像素坐标后，提取该9点对应的三维坐标点共同求平均，赋值给锡球顶部三维点，以减小因中心点选取不精确带来的误差，提高算法的鲁棒性。
Step5：根据各锡球区域中心横纵坐标的最大与最小值，将各锡球依次排序。利用锡球顶部三维坐标点计算点到底座平面的距离，即得到锡球的高度；求取各锡球高度的平均值，利用作差法可得各锡球的位置偏差，求得共面度。设各锡球顶部坐标点为p(x
上式中h
与现有技术相比，本发明的有益效果：
本发明的一种基于深度图像处理的BGA锡球三维检测方法，利用机器视觉技术，在利用点云与图像处理技术对采集到的芯片点云进行深度图转换后，能快速并且高效率得到锡球三维检测指标，精度也符合检测要求。
附图说明
图1BGA芯片锡球三维检测指标示意图；
图2本发明整体方案流程图；
图3点云及转换后的深度图；
图4二值化处理；
图5形态学处理；
图6锡球中点特写；
图7检测结果。
具体实施方式
BGA芯片的3D尺寸检测指标主要分为锡球高度(height)、锡球共面度(coplanarity)、芯片弯曲度(warpage)以及芯片底座高度(package height)。本发明主要针对锡球，实现高度及共面度的检测。检测指标参见图1，图中高度为锡球顶部到芯片底座平面的距离，共面度以锡球高度偏移量作为衡量指标。
随着芯片行业的不断发展，以及芯片检测产业链的不断完善，传统的人工检测效率低下，激光检测方法代价又过于昂贵，为了克服现有技术的低效率，无针对性，检测系统搭建难度大的缺点，同时能保证达到检测的高效率、检测指标的高精度，并且使算法能同时满足图1中BGA芯片锡球三维指标的检测要求，本发明利用机器视觉技术，提出一种基于深度图像处理的BGA锡球三维检测方法。在利用点云与图像处理技术对采集到的芯片点云进行深度图转换后，该方法能高效率得到图1中的锡球三维检测指标，并且精度符合检测要求。下面结合实施例对本发明的技术方案做进一步详细说明。
实施例1
如图2所示，一种基于深度图像处理的BGA锡球三维缺陷检测方法，首先将采集的芯片点云转换为深度图像，拟合芯片的底座平面并利用Blob分析技术标记各锡球区域，然后提取锡球区域的二维中心点与其8邻域像素对应的三维坐标点并求平均赋值给锡球顶部三维点。为提高算法的鲁棒性，在标记锡球区域时结合形态学方法将锡球逼近圆形化。最后计算顶点到平面的距离得到锡球高度及共面度。
本实施例通过型号为Chromasens-3DPIXA的双目3D线扫相机获取BGA芯片点云数据，利用CloudCompare软件平台显示，点云数量为2273758个。BGA芯片一个；相机固定支架一个；电脑硬件配置的CPU型号为Intel(R)Core(TM)i7-8700，GPU所用型号为NVIDIAGeForce GTX 1660显卡，内存大小为16.0GB。算法利用Visual Studio 2017+opencv库等开发。在速度方面，基于深度图和并行处理机制，在CPU上使用OpenMP和多线程技术，在GPU上使用高性能的CUDA编程技术，可同时处理多个BGA芯片点云。
具体步骤如下：
Step1：获取BGA芯片点云数据。根据具体检测环境的情况，调节双目线扫相机的光强、曝光时间等参数，获取到完整的3D点云数据。
Step2：对采集到的芯片点云进行深度图转换。根据点云的各点间距，预先设置好投影图像的大小和像素间距，使用沿Z方向投影并在XY方向归一化的方法可将3D点云数据转换为深度图像(也称距离图像)，即深度图像中的各像素都一一对应点云中的各三维点，深度图的位深度为16位，各像素的灰度值代表距离大小。
Step3：提取深度图像中的芯片底座区域并利用对其进行平面拟合。针对深度图像，通过预设的BGA芯片点云底座的相对高度、面积、形状特征信息，首先提取BGA的底座位置和包络的3D点数据，利用最小二乘法或Ransac采样一致性算法对芯片底座平面进行拟合并得到平面方程。
Step4：提取深度图像中的芯片锡球区域。通过预设的锡球区域相对于底座的高度、面积、形状特征信息，利用改进的Blob分析方法，提取并标记各锡球的位置和包络的3D点数据，求取各区域的二维中心坐标，即
改进的Blob分析算法主要包括：
(1)区域二值化。二值化操作在机器视觉中是一种普遍使用的分割方法，关键在于阈值的选取，主要方法分为基于边缘灰度、基于直方图聚类以及定值选取的方法。本发明针对深度图像，通过设定锡球区域相对于底座Z方向的高度定值作为阈值T来进行二值化操作。输入16位图像g(x,y)，得到8位的二值图像g
(2)形态学处理。通过设定的高度阈值进行二值化操作后，目标难免会被分割成不连续的区域，为减少计算错误，去除各区域间的噪声点并填充各区域空洞，使各锡球区域逼近圆形化，形态学处理十分重要。首先运用圆形结构元素M
然后对图像G
其中·为闭运算操作；
(3)Blob分析。通过二值化与形态学处理将图像分成了背景与目标区域，对于二值图，Blob分析实际是采用4或8邻域的方法对像素值相同或相似的像素进行聚类，可得到各类中所有像素的坐标值以及像素总数。计算出各锡球区域在图像中的二维中心点及其8邻域像素坐标后，提取该9点对应的三维坐标点共同求平均，赋值给锡球顶部三维点，以减小因中心点选取不精确带来的误差，提高算法的鲁棒性。
Step5：根据各锡球区域中心横纵坐标的最大与最小值，将各锡球依次排序。利用锡球顶部三维坐标点计算点到底座平面的距离，即得到锡球的高度；求取各锡球高度的平均值，利用作差法可得各锡球的位置偏差，求得共面度。设各锡球顶部坐标点为p(x
上式中h
图3为采集到的点云及转换后的深度图像，左图为芯片3D点云，右图为深度图像。图4是经过二值化处理后的结果，右图是左图的特写，可明显看出，各锡球的二值化区域存在不连贯性。图5是利用形态学处理技术对二值图进行处理的结果，左图是形态学处理，右图是部分区域特写，可明显看出各锡球区域较为完整，更加逼近圆形化，且区间不存在孤立的噪声点。通过Blob分析后，利用各锡球区域中心坐标及其8邻域像素，提取对应的三维坐标并求取锡球顶部三维坐标，在深度图像中标记。图6为深度图像中部分锡球区域的中心点标记特写图。
计算得到锡球顶部的三维点后，利用上述公式可求取各锡球的高度及共面度，将结果绘制成图7，图中横坐标为芯片中的552个锡球，纵坐标为计算结果。从运行时间上来看，本发明针对该芯片的检测算法共计耗时986.34ms。本发明直接对获取的芯片3D点云进行处理，基于PCL(Point Cloud Library)算法库去除底座点云并利用欧式聚类分割算法将各锡球单独分割出来计算，算法耗时约14.392s。可见，本发明的算法的耗时远远小于对点云做直接处理的耗时，表明本发明的三维检测方法，可有效的用于BGA芯片锡球的实时三维检测。
利用本发明的方法对同一芯片在相同环境下做五次实验，每次实验采集五组点云数据，并利用更加精密的设备(测量精度为±2μm)获取该芯片各锡球的高度数据作为真值。求取每组测量的锡球高度与该芯片锡球高度真值的绝对误差的平均值E，并将每次实验中E的最大值作为每次实验的测量精度，计算如下
其中h
表1每次实验中E的最大值(mm)
机译： 检测基于三维图像的BGA芯片的球结缺陷的方法
机译： 基于深度学习和图像处理的螺栓松动检测方法
机译： 基于深度学习和图像处理的螺栓松动检测方法
