法律状态公告日
法律状态信息
法律状态
2017-06-23
授权
授权
2015-12-16
实质审查的生效 IPC(主分类):G06T7/00 申请日:20150716
实质审查的生效
2015-11-18
公开
公开
技术领域
本发明属于工业产品质量检测方法技术领域,具体涉及一种基于目标特 征显著图构建的工业产品表面缺陷检测方法。
背景技术
制造过程中的工业产品表面缺陷监测是质量在线检测的重要一部分,能 够及时发现制造过程中的质量问题,从而为及时改进生产工艺,降低生产成 本提供了一种可能性。然而,工业产品表面缺陷检测通常是属于大背景条件 下小目标检测问题,传统的人工检测很容易在生理和心理产生疲劳,从而造 成漏检和误检,因此不能满足在线检测的需要。
为了解决人工检测不能满足在线检测的要求,基于机器视觉的检测算法 已逐渐应用到工业产品表面质量检测中(参考文献[1]:XuK.,XuJ.,ChenY.: On-linesurfacedefectinspectionsystemforcoldrolledstrips[J].BeijingUniver. Sci.Technol.,2002,24(3):329-332.参考文献[2]:LiG.,SuZ.,XiaX.:Algorithm forimspectionofwhiteforeignfibersincottobymachinevisionwithirregular imagingfunction[J].Trans.Chin.Soc.Agric.2010,43(5):164-167.)。然而,基 于高斯随机场模型、脉冲耦合神经网络、字典学习等检测算法依赖于参数众 多、计算量大计算复杂、对噪声敏感,不适合在线检测的需要(参考文献[3]: CohenFS,FanZ,Attalis.AutomatedInspectionofTextileFabricUsingTextile Models[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 1991,13(8):803-808.参考文献[4]:祝双武,郝重阳.一种基于改进型PCNN的 织物疵点图像自适应分割方法[J].电子学报,2012,40(3):611-616.参考文献 [5]:JianZhouandJunWang.Fabricdefectdetectionusingadaptive dictionaries[J].2013,83(17):1846-1859.)。基于小波变换的检测算法虽然适合 表面缺陷检测,但小波的选取、分解层数仍然依赖人工检验;另外,小波变 换对于特性与背景接近的缺陷的检测也表现的无能为力(参考文献[6]:管声 启,石秀华.基于小波提升格式的织物疵点检测[J].计算机工程与应用,2008, 44(25):219-221.)。基于空间域显著图构建的检测算法能够提高缺陷与背景对 比度,但其图像分块大小依赖人工经验,并且计算量大,难易摆脱空间域传 统算法的固有缺陷(参考文献[7]:GuohuiLi,JingfangShi,HongsenLuo, MiangangTang.Acomputationalmodelofvisionattentionforinspectionof surfacequalityinproductionline[J].MachineVisionandApplications,2013, 24(11):835-844.参考文献[8]:刘洲峰,赵全军,李春雷等.基于局部统计与整体 显著性的缺陷检测算法[J].纺织学报,2014,35(11):62-67.)。基于小波域显著 图构建的缺陷检测算法,虽然增大缺陷的显著度,但当有视觉搜索任务时, 搜索效率往往不高(文献[9]:ShengqiGuanandZhaoyuanGao.Fabricdefect imagesegmentationbasedonthevisualattentionmechanismofthewavelet domain[J].TextileResearchJournal,2014,84(10):1018-1033.)。
通过上面分析可知,现有的工业产品表面缺陷在线检测算法都是从图像 本身数据特点出发,没有考虑检测目标的特点。因此,在广宽的背景中检测 小缺陷必然会导致检测准确率不高,分割不准确,适应性不强,抗噪性差, 不能满足实际动态检测需要。
发明内容
本发明的目的是提供一种基于目标特征显著图构建的工业产品表面缺 陷检测方法,解决了现有技术对工业表面缺陷的检测准确率不高的问题。
本发明所采用的技术方案是,基于目标特征显著图构建的工业产品表面 缺陷检测方法,具体按照以下步骤实施:
步骤1、将采集到的彩色图像转换为灰度图像f(x,y);
步骤2、根据步骤1得到的灰度图像f(x,y)的表面缺陷面积特征和数目 特征分别构建前景目标面积特征显著图f1(x,y)和数目特征显著图f2(x,y);
步骤3、在步骤2得到的面积特征显著图f1(x,y)和数目特征显著图f2(x,y) 上,分别确定阈值,然后根据所确定的阈值分别对面积特征显著图和数目特 征显著图进行分割分别获得面积特征二值图[f1(x,y)]和数目特征二值图 [f2(x,y)];
步骤4、将步骤3得到的面积特征二值图[f1(x,y)]和数目特征二值图 [f2(x,y)]融合成为整体二值图F(x,y);
步骤5、在步骤4获得的整体二值图F(x,y)中,根据前景目标面积,确 定滤波阈值,滤除小于滤波阈值的噪声和伪目标,大于滤波阈值的即为工业 产品表面缺陷。
本发明的特点还在于:
步骤1具体为:
将彩色图像转换为灰度图像,采用各颜色通道分量加权平均进行灰度 化,转换过程如公式(1)所示;
f(x,y)=0.03R(x,y)+0.59G(x,y)+0.11B(x,y)(1)
其中,R(x,y)为彩色图像在(x,y)处红色分量,G(x,y)为彩色图像在(x,y)处 绿色分量,B(x,y)为彩色图像在(x,y)处蓝色分量,f(x,y)为灰度图像在(x,y)处 灰度值。
步骤2中构建前景目标面积特征显著图具体为:首先根据灰度图像的表 面缺陷面积特征构建前景目标面积权重函数,然后根据面积权重函数曲线提 高前景目标区域的显著度;
具体按照以下步骤实施:
前景目标面积权重函数构建
a)构建图像灰度密度函数:
设采集图像的尺寸为M×N,i表示图像灰度级,那么图像的灰度密度 函数p(i)构建如公式(2)所示:
其中,i∈[0,255],m(i)表示在第i个灰度级所有的像素个数;
b)构建图像灰度密度函数梯度:
图像的灰度密度函数一阶梯度构建如公式(3)所示;
其中,t∈[1,255];
c)前景目标面积特征函数:
设图像f(x,y)在(x,y)处的灰度值为t,t1、t2分别为灰度密度函数一阶梯 度为极大和极小时所对应的灰度值,则前景目标面积特征函数分别如公 式(4)、(5)和(6)所示:
其中,当t∈[1,t1]时,r1(x,y)值越大,f(x,y)为缺陷的可能性越高;当t∈(t1,t2) 时,r2(x,y)值越小,f(x,y)为背景的可能性越高;当t∈[t2,255]时,r3(x,y)值越 大,f(x,y)为缺陷的可能性越高;
d)前景目标面积特征权重函数:
图像f(x,y)前景目标面积特征函数分别如公式(7)、(8)和(9)所示:
其中,当t∈[1,t1]时,rr1(x,y)值越小,f(x,y)为缺陷的可能性越高;当 t∈(t1,t2)时,rr2(x,y)值越小,f(x,y)为背景的可能性越高;当t∈[t2,255]时, rr3(x,y)值越大,f(x,y)为缺陷的可能性越高;
前景目标面积特征的前景目标区域显著度提高:
前景目标区域显著度被提高过程,采用公式(10)所示:
根据公式(10),当1≤t≤t1且0≤rr1(x,y)≤1,f1(x,y)属于缺陷可能性较大, 因此f1(x,y)的特征值被提高;当t1<t<t2且0≤rr2(x,y)≤1,f1(x,y)属于背景可能 性较大,因此f1(x,y)的特征值被降低;当t2≤t≤255且1≤rr3(x,y)≤2,f1(x,y)属 于缺陷可能性较大,因此f1(x,y)的特征值被提高。
步骤2中构建前景目标数目特征显著图具体为:首先根据灰度图像的表 面缺陷数目特征构建前景目标数目权重函数,然后根据数目权重函数曲线提 高前景目标区域的显著度;
具体按照以下步骤实施:
前景目标数目权重函数构建
a)构建前景目标数目函数n(l):
前景目标数目n(l)用欧拉数表示,那么前景目标数目函数构建如公式 (11)所示:
其中,n(l)是以灰度级l作为阈值,分割所获得的前景目标数目;
b)构建前景目标数目函数梯度:
前景目标数目函数一阶梯度构建如公式(12)所示:
c)前景目标数目特征函数:
设p和q分别为前景目标数目函数一阶梯度的两个极大值所对应的灰度 值,则前景目标数目特征函数分别如公式(13)、(14)和(15)所示:
其中,当1≤l≤p时,s1(x,y)值越大,f(x,y)为缺陷的可能性越高;当p<l<q 时,s2(x,y)值越小,f(x,y)为背景的可能性越高;当q≤l≤255时,s3(x,y)值越 大,f(x,y)为缺陷的可能性越高;
d)前景目标数目特征权重函数:
图像f(x,y)前景目标数目特征函数分别如公式(16)、(17)和(18)所 示:
其中,当1≤l≤p时,ss1(x,y)值越小,f(x,y)为缺陷的可能性越高;当p<l<q 时,ss2(x,y)值越小,f(x,y)为背景的可能性越高;当q≤l≤255时,ss3(x,y)值 越大,f(x,y)为缺陷的可能性越高;
前景目标数目特征的前景目标区域显著度提高:
前景目标区域显著度被提高过程,采用公式(19)所示:
根据公式(18),当1≤l≤p且0≤ss1(x,y)≤1,f2(x,y)属于缺陷可能性较大, 因此f2(x,y)的特征值被提高;当p<l<q且0≤ss2(x,y)≤1,f2(x,y)属于背景可 能性较大,因此f2(x,y)的特征值被降低;当q≤l≤255且1≤ss3(x,y)≤2,f2(x,y) 属于缺陷可能性较大,因此f2(x,y)的特征值被提高。
步骤3中获得面积特征二值图,具体为:
将步骤2得到的面积特征显著图f1(x,y),采用大律法分割获得面积特征二 值图[f1(x,y)],分割过程如公式(20)所示:
其中,δoust1为大律法确定的面积特征分割阈值。
步骤3中获得数目特征二值图,具体为:
将步骤2得到的面积特征显著图f2(x,y),采用大律法分割获得数目特征 二值图[f2(x,y)],分割过程如公式(21)所示:
其中,δoust2为大律法确定的数目特征分割阈值。
步骤4具体为:
将步骤3得到的面积特征二值图[f1(x,y)]和数目特征二值图[f2(x,y)]采用 相加融合获得整体二值图F(x,y),如公式(22)所示:
其中,表示相加。
步骤5具体为:
将步骤5中获得的整体二值图F(x,y)统计前景各个目标的面积,然后采 用大律法确定阈值进行滤波,滤波过程如公式(23)所示:
其中,soust为由大律法确定的分割阈值面积。
本发明的有益效果是:本发明基于目标特征显著图构建的工业产品表面 缺陷检测方法,能够有效提高目标区域的显著度和抑制背景区域的信息,具 有较强的抗干扰能力,能够完整分割出工业产品表面缺陷信息,为工业产品 表面质量在线检测提供一种的检测方法。
附图说明
图1是本发明检测方法的流程图;
图2是本发明检测方法中构建前景目标面积特征显著图的流程图;
图3是本发明检测方法中构建前景目标数目特征显著图的流程图;
图4是本发明检测方法中基于阈值的工业产品表面缺陷分割的流程图;
图5是本发明检测方法中工业产品表面缺陷信息融合的流程图;
图6是本发明检测方法中生产工业产品表面缺陷的流程图;
图7是本发明检测方法在不同噪声条件下进行工业产品表面缺陷检测的 准确率图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
基于目标特征显著图构建的工业产品表面缺陷检测方法,流程图如图1 所示,具体按照以下步骤实施:
步骤1、将采集到的彩色图像转换为灰度图像f(x,y),具体为:
将彩色图像转换为灰度图像,采用各颜色通道分量加权平均进行灰度 化,转换过程如公式(1)所示;
f(x,y)=0.03R(x,y)+0.59G(x,y)+0.11B(x,y)(1)
其中,R(x,y)为彩色图像在(x,y)处红色分量,G(x,y)为彩色图像在(x,y)处 绿色分量,B(x,y)为彩色图像在(x,y)处蓝色分量,f(x,y)为灰度图像在(x,y)处 灰度值。
步骤2、根据步骤1得到的灰度图像f(x,y)的表面缺陷面积特征构建前 景目标面积特征显著图f1(x,y)具体为,如图2所示:首先根据灰度图像的表 面缺陷面积特征构建前景目标面积权重函数,然后根据面积权重函数曲线提 高前景目标区域的显著度;
具体按照以下步骤实施:
前景目标面积权重函数构建
a)构建图像灰度密度函数:
设采集图像的尺寸为M×N,i表示图像灰度级,那么图像的灰度密度 函数p(i)构建如公式(2)所示:
其中,i∈[0,255],m(i)表示在第i个灰度级所有的像素个数;
b)构建图像灰度密度函数梯度:
图像的灰度密度函数一阶梯度构建如公式(3)所示;
其中,t∈[1,255];
c)前景目标面积特征函数:
设图像f(x,y)在(x,y)处的灰度值为t,t1、t2分别为灰度密度函数一阶梯 度为极大和极小时所对应的灰度值,则前景目标面积特征函数分别如公 式(4)、(5)和(6)所示:
其中,当t∈[1,t1]时,r1(x,y)值越大,f(x,y)为缺陷的可能性越高;当t∈(t1,t2) 时,r2(x,y)值越小,f(x,y)为背景的可能性越高;当t∈[t2,255]时,r3(x,y)值越 大,f(x,y)为缺陷的可能性越高;
d)前景目标面积特征权重函数:
图像f(x,y)在(x,y)处的前景目标面积特征函数分别如公式(7)、(8)和 (9)所示:
其中,当t∈[1,t1]时,rr1(x,y)值越小,f(x,y)为缺陷的可能性越高;当 t∈(t1,t2)时,rr2(x,y)值越小,f(x,y)为背景的可能性越高;当t∈[t2,255]时, rr3(x,y)值越大,f(x,y)为缺陷的可能性越高;
前景目标面积特征的前景目标区域显著度提高:
前景目标区域显著度被提高过程,采用公式(10)所示:
根据公式(10),当1≤t≤t1且0≤rr1(x,y)≤1,f1(x,y)属于缺陷可能性较大, 因此f1(x,y)的特征值被提高;当t1<t<t2且0≤rr2(x,y)≤1,f1(x,y)属于背景可能 性较大,因此f1(x,y)的特征值被降低;当t2≤t≤255且1≤rr3(x,y)≤2,f1(x,y)属 于缺陷可能性较大,因此f1(x,y)的特征值被提高。
根据步骤1得到的灰度图像f(x,y)的表面缺陷数目特征构建前景目标数 目特征显著图f2(x,y)具体为,如图3所示:
首先根据灰度图像的表面缺陷数目特征构建前景目标数目权重函数,然 后根据数目权重函数曲线提高前景目标区域的显著度;
具体按照以下步骤实施:
前景目标数目权重函数构建
a)构建前景目标数目函数n(l):
前景目标数目n(l)用欧拉数表示,那么前景目标数目函数构建如公式 (11)所示:
其中,n(l)是以灰度级l作为阈值,分割所获得的前景目标数目;
b)构建前景目标数目函数梯度:
前景目标数目函数一阶梯度构建如公式(12)所示:
c)前景目标数目特征函数:
设p和q分别为前景目标数目函数一阶梯度的两个极大值所对应的灰度 值,则前景目标数目特征函数分别如公式(13)、(14)和(15)所示:
其中,当1≤l≤p时,s1(x,y)值越大,f(x,y)为缺陷的可能性越高;当p<l<q 时,s2(x,y)值越小,f(x,y)为背景的可能性越高;当q≤l≤255时,s3(x,y)值越 大,f(x,y)为缺陷的可能性越高;
d)前景目标数目特征权重函数:
图像f(x,y)前景目标数目特征函数分别如公式(16)、(17)和(18)所 示:
其中,当1≤l≤p时,ss1(x,y)值越小,f(x,y)为缺陷的可能性越高;当p<l<q 时,ss2(x,y)值越小,f(x,y)为背景的可能性越高;当q≤l≤255时,ss3(x,y)值 越大,f(x,y)为缺陷的可能性越高;
前景目标数目特征的前景目标区域显著度提高:
前景目标区域显著度被提高过程,采用公式(19)所示:
根据公式(18),当1≤l≤p且0≤ss1(x,y)≤1,f2(x,y)属于缺陷可能性较大, 因此f2(x,y)的特征值被提高;当p<l<q且0≤ss2(x,y)≤1,f2(x,y)属于背景可 能性较大,因此f2(x,y)的特征值被降低;当q≤l≤255且1≤ss3(x,y)≤2,f2(x,y) 属于缺陷可能性较大,因此f2(x,y)的特征值被提高。
步骤3、如图4所示,在步骤2得到的面积特征显著图f1(x,y)和数目特 征显著图f2(x,y)上,分别确定阈值,然后根据所确定的阈值分别对面积特征 显著图和数目特征显著图进行分割分别获得面积特征二值图[f1(x,y)]和数目 特征二值图[f2(x,y)];
获得面积特征二值图,具体为:
将步骤2得到的面积特征显著图f1(x,y),采用大律法分割获得面积特征 二值图[f1(x,y)],分割过程如公式(20)所示:
其中,δoust1为大律法确定的面积特征分割阈值。
获得数目特征二值图,具体为:
将步骤2得到的面积特征显著图f2(x,y),采用大律法分割获得数目特征 二值图[f2(x,y)],分割过程如公式(21)所示:
其中,δoust2为大律法确定的数目特征分割阈值。
步骤4、如图5所示,将步骤3得到的面积特征二值图[f1(x,y)]和数目特 征二值图[f2(x,y)]采用相加融合获得整体二值图F(x,y),如公式(22)所示:
其中,表示相加。
步骤5、如图6所示,在步骤4获得的整体二值图F(x,y)中,统计前景 各个目标的面积,然后采用大律法确定阈值进行滤波,滤波过程如公式(23) 所示:
其中,soust为由大律法确定的分割阈值面积。
滤除小于滤波阈值的噪声和伪目标,大于滤波阈值的即为工业产品表面 缺陷。
在工业现场采集织物疵点图像、带钢缺陷图像、刀具磨损图像和齿轮裂 纹图像,然后在图像中添加均值μ为0,强度σ分别为0、2、4、8、10及20 的高斯噪声,采用本发明检测方法进行检测,检测结果如图7所示;当噪声 强度σ为0时,本发明检测方法的各类工业产品缺陷检测准确率在 95%—100%之间变化,变化范围小,说明该检测方法准确率高,对工业产品 表面各类疵点检测具有普适性;当噪声强度σ分别为2、4、8、10时,本发 明检测方法的各类工业产品缺陷检测准确率随着噪声略有下降,但检测准确 率都大于93%,说明该检测方法具有较强的抗噪性能,表明适合工业现场在 线检测的需要;仅当噪声强度σ大于等于20时,本发明检测方法的检测准 确率随着噪声下降较快,在实际检测中强噪声发生概率较小,因此并不影响 工业现场在线检测的需要。本发明检测方法之所以能适应工业现场大背景小 目标的缺陷检测,主要在于本发明检测方法是根据目标特征,提高目标区域 的权重系数,从而构建特征显著图以及根据目标面积进行滤波的缘故,从而 提高了检测准确率和抗噪性能。
本发明基于目标特征显著图构建的工业产品表面缺陷检测方法,通过分 析所采集图像前景目标面积特征,构建图像灰度密度函数及其梯度函数、前 景目标面积特征函数及其权重函数,形成面积特征显著图;通过分析所采集 图像前景目标数目特征,构建前景目标数目函数及其梯度函数、前景目标数 目特征函数及其权重函数,形成数目特征显著图;然后,对面积特征显著图 和数目特征显著图采用大律法进行分割和二值特征图的融合,并通过滤波消 除噪声等干扰,最终完成缺陷检测。
本发明的原理为:工业产品表面缺陷检测属于大背景条件下弱小目标的 检测,如果能利用目标特性提高前景目标区域的显著度,就能解决弱小目标 难以检测的问题。因此,我们通过分析缺陷区域的特征,构建前景目标面积 特征和数目特征显著图,提高目标与背景的对比度,实现了缺陷的准确检测 和检测适应性;同时采用前景目标面积特征作为选择滤波阈值条件,有效提 高了抗噪性能。
本发明的优点在于:
(1)通过工业产品表面缺陷图像面积特征和数目特征分析,然后分别 构建前景目标面积特征权重函数和前景目标数目特征权重函数,形成面积特 征显著图和数目特征显著图,增大了前景与背景的对比度,避免了小目标检 测准确率低的问题;
(2)在工业产品表面缺陷图像滤波时,根据整体二值图中前景目标面 积特征选择滤波阈值,有效避免了噪声及伪目标的干扰。
机译: 用于汽车应用的驾驶员辅助雷达系统中基于雷达的路边结构检测方法,包括在满足预设特征条件时将第一目标对象与第二目标对象相关联
机译: 基于点云加权通道特征的三维目标检测方法及系统
机译: 基于特征融合和密集连接的红外平面目标检测方法