公开/公告号CN112833821A
专利类型发明专利
公开/公告日2021-05-25
原文格式PDF
申请/专利权人 华南理工大学;广州现代产业技术研究院;
申请/专利号CN202011641357.X
申请日2020-12-31
分类号G01B11/25(20060101);
代理机构44245 广州市华学知识产权代理有限公司;
代理人李斌
地址 511458 广东省广州市南沙区环市大道南路25号华工大广州产研院
入库时间 2023-06-19 11:05:16
技术领域
本发明涉及高密度IC焊点的微视觉三维表面信息分析技术领域,具体涉及一种高密度IC焊点的微分几何立体微视觉检测系统及方法。
背景技术
三维数据到目标物体的几何特征是对目标表面描述和目标匹配分类的重要方法。随着计算机技术的发展和数据融合技术的成熟,双目立体视觉的应用越发普遍。高密度印制电路板广泛应用在计算机、汽车和医疗等行业,随着电子产品持续向微型化和便携化发展,对印制电路板焊点质量检测提出了更高的分辨率要求。现仅有的CT微米级三维表面信息获取设备,因价格昂贵阻碍其普遍推广应用。因此,设计一种新的微视焊点立体视觉系统,在高密度印制电路板质量控制领域具有重要的应用价值。此外,针对焊点表面离散点云数据量庞大,且焊点在回流后总呈现凸或峰的特点,基于微分几何特征参数分析方法提取表征焊点形状信息的脊线,以脊线的微分量作为定量分析指标来分类焊点缺陷类型,既减轻了计算机的负担且提高了检测效率和准确性。
焊点检测在印制电路板表面芯片封装过程中具有重要作用,其检测速度影响产品的生产效率;其检测准确性影响质量控制过程中的合格率。国外高密度焊点传统检测方法是通过手工或间接电性测试来进行,这些方法不完全可靠,即使很小的缺陷率将会导致制造商每年数百万美元的损失。而我国对高密度印制电路板缺陷检测的研究较少,尚处于一个初始阶段。
发明内容
为了克服现有技术存在的缺陷与不足,为解决高密度印制电路板质量控制过程中的焊点表面点云获取和焊点缺陷类型快速分类难题,提供一种高密度IC 焊点的微分几何立体微视觉检测系统及方法。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种高密度IC焊点的微分几何立体微视觉检测系统,包括:稠密焊点离散点云获取系统、焊点微分几何特征参数计算模块、焊点分类决策模块;
所述稠密焊点离散点云获取系统包括双目立体微视觉系统和3彩色半球形 LED阵列照明系统;
所述焊点分类决策模块采用以空间离散点法向量为依据的主方向和主曲率估计方法,用于对焊点的重构表面脊点提取和脊线跟踪;
所述焊点分类决策模块基于右手Frenet正交活动标架的焊点类型模型匹配规则,对高密度IC焊点实现快速准确的检测分类。
作为优选的技术方案,所述双目立体微视觉系统由两台带有金相显微镜的彩色CCD数字相机构成。
一种高密度IC焊点的微分几何立体微视觉检测方法,包括下述步骤:
通过带有金相显微镜的双目成像系统对高密度IC焊点进行表面重构,并执行空间滤波以去除噪声和进一步网格化处理;
对离散点云的法向量B进行估计,计算得到各点云的主曲率k
构建右手Frenet正交活动标架并依附在脊线上,通过焊点类型模型匹配规则决定被检测焊点所属的缺陷等级。
作为优选的技术方案,所述空间滤波采用双边滤波器,表示为:
其中,
作为优选的技术方案,所述对离散点云的法向量B进行估计,具体表示为:
其中,
作为优选的技术方案,所述离散点的主曲率k
作为优选的技术方案,Weingarten映射关系表示为:
其中,
作为优选的技术方案,所述利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点,焊点的重构表面脊点提取规则为:
其中,
作为优选的技术方案,空间任意两等价Frenet活动标架经过一个刚体运动彼此重合。
作为优选的技术方案,焊点类型模型匹配规则为:
当且仅当上式满足:
其中,P
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明采用了金相显微镜和数字相机组成的双目微视系统,为微米级三维物体表面重构提供了一种新途径,较现有以CT扫描的微米级物体表面三维信息获取方法,本系统具有硬件简单、重构速度快的优点。
(2)本发明采用了微分几何理论实现焊点重构表面的特征提取,并利用基于微分几何特征的脊线分析方法对焊点缺陷类型进行分类,极大减轻了计算量且提高了识别检测的准确性和稳定性。
附图说明
图1为本发明微纳米级AOI三维点云获取系统简图;
图2为本发明离散点空间相对位置关系以及离散曲率估计示意图;
图3为本发明脊点的离散估计示意图;
图4为本发明在脊线上的各脊点及其邻域点建立Frenet标架示意图。
其中,1-彩色CCD数字相机,2-光源散热器,3-光圈,4-物镜,5-金相显微镜,6-滤光片,7-LED结构光源。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供一种高密度IC焊点的微分几何立体微视觉检测系统,包括:
稠密焊点离散点云获取系统:由两台带有金相显微镜的彩色CCD数字相机1 构成的双目立体视觉系统,以及3彩色(红、绿、蓝)半球形LED阵列照明系统。
结合图1所示,焊点离散点云获取系统采用两台相同参数的彩色CCD数字相机1与大功率金相显微镜5,按平行式布置方式构成立体视觉系统,其中金相显微镜替代相机镜头,安装在CCD感光芯片前端合适位置,显微镜的物镜4可针对不同分辨率选择不同的倍率。滤光片6、光圈3和LED结构光源7的调节可提高获取的图像质量。
焊点微分几何特征参数计算模块:包括以空间离散点法向量为依据的主方向和主曲率估计方法,用于对焊点的重构表面脊点提取和脊线跟踪。
焊点分类决策模块:包括基于右手Frenet正交活动标架的焊点类型模型匹配规则,实现对高密度IC焊点快速准确分类。
实施例2
一种高密度IC焊点的微分几何立体微视觉检测方法,包括下述步骤:
S1:通过带有金相显微镜的双目成像系统对高密度IC焊点进行表面重构,并执行空间滤波以去除噪声和进一步网格化处理;
S11:高密度柔性IC焊点经金相显微镜放大,放大的焊点图像在CCD感光芯片上被转换成高分辨率的数字图像。
S12:通过双目成像系统左右相机高分辨率图像对应点匹配获得焊点表面离散点云,然后执行空间滤波操作以去除孤立噪点,最后对焊点表面离散点云进行网格化处理。
进一步地,步骤S12选用的空间滤波器为双边滤波器:
其中,
S2:对离散点云的法向量B进行估计,计算得到各点云的主曲率k
所述步骤S2具体包括:
S21:对焊点表面离散点云的法向量进行估计,并构建右手Frenet正交活动标架。
进一步地,如图2所示,为离散点云空间相对位置关系,所述步骤S21焊点表面离散点云法向量B估计有:
其中,
S22:通过各点云局部邻域内的点在右手Frenet正交活动标架上的投影,以“化曲为直”的方法得到各点云局部邻域内点的微分近似值,如图2所示,为各点云局部邻域内的点在右手Frenet正交活动标架上的投影与其相应的微分近似值
S23:通过局部邻域点的微分近似值求解Weingarten映射矩阵W,并通过矩阵QR分解得到W的两个实特征值和其相应的特征方向。他们分别对应于点云的两个主曲率k
所述步骤S23中的Weingarten映射关系表示为
其中,
所述步骤(2.3)将相应微分近似值代入Weingarten映射关系有:
其中,PP
进一步地,如图3所示,步骤S24焊点的重构表面脊点提取规则为:
其中,
S24:利用离散点云δ邻域点的主曲率相对关系提取焊点表面脊点。
S25:将提取的脊点利用“区域生长”法则跟踪生成焊点表面脊线。
步骤S25基于“区域生长”法则的焊点表面脊线生成伪代码为:
S3:构建右手Frenet正交活动标架并依附在脊线上,利用焊点类型模型匹配规则决定被检测焊点所属的缺陷等级;
所述步骤S3具体包括:
S31:如图4所示,分别在脊线R的各脊点R
S32:通过焊点类型模型匹配规则求取相关系数
焊点类型模型匹配规则为:
当且仅当上式满足:
其中,P
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
机译: 视觉跟踪录音带和录象带上的音轨到一系列相邻的cromaticamente和//或具有几何相关性发展的数字微分形式,这些形式适合定义大的空间来书写双倍音阶
机译: 工件几何变化确定系统,具有用于评估微分几何值的评估单元,用于确定工件几何值与参考几何值之间的差异
机译: 包含表皮微分对比度(EDIC)显微镜和表皮微荧光(EF)的过程和装置,用于检测或鉴定表面上的生物材料