一种降低显示屏外观AOI缺陷误检率的方法及系统

摘要

本申请提供一种降低显示屏外观AOI缺陷误检率的方法及系统，所述方法包括：获取待检测显示屏外观的第一图像，根据第一图像提取疑似缺陷图像和位置信息；擦拭所述待检测显示屏，获取擦拭后所述待检测显示屏外观的第二图像；根据疑似缺陷图像的位置信息提取第二图像对应位置的图像，得到复判图像；通过深度度量相似性判断模型判断疑似缺陷图像和复判图像的相似性；如果疑似缺陷图像和复判图像的相似性结果为1，则判断为缺陷，并输出疑似缺陷图像的位置信息。本申请提的方法及系统，可以有效区分显示屏表面干扰与显示屏表面缺陷，降低显示屏外观AOI系统的缺陷误检率，提高显示屏外观AOI系统缺陷检测的准确性和效率。

说明书

技术领域

本发明属于显示屏外观AOI检测技术领域，具体涉及一种降低显示屏外观AOI缺陷误检率的方法及系统。

背景技术

显示屏外观AOI(Automated Optical Inspection自动光学检测，以下简称AOI)系统是基于光学原理来对显示屏的外观缺陷进行检测。显示屏在生产的过程中，受到加工工艺和生产车间环境的影响，显示屏表面极易沾染灰尘、指纹、油污等干扰。AOI系统难以将这些干扰与真实缺陷识别清楚，检测过程中容易将灰尘、油污等表面干扰判断为缺陷，从而出现过杀、过检、误判等误检的情况。

为了降低灰尘、油污等表面干扰，通常可采用“直拍+斜拍”组合的方式采集检测图像。如图1所示，即一个相机正对屏，另一个相机与屏成一定角度，各采集一张图像，此方法可将灰尘，表面脏污与贴合类缺陷所处于显示屏的位置信息输出到图像上，再利用简单的图像处理手段比较两张图像待判断对象位置信息差异进行区分。

但是，上述方法只能区分显示屏表面干扰与显示屏内部缺陷，并不能区分显示屏表面干扰与显示屏表面缺陷，比如划伤、表面凹凸等缺陷。并且，显示屏CG玻璃越来越薄，缺陷与干扰的高度差异信息已越来越细微，使得利用图像位置信息进行区分的难度越来越大，准确性越来越低，显示屏外观AOI系统的缺陷误检率仍然较高。

发明内容

本申请提供了一种降低显示屏外观AOI缺陷误检率的方法及系统。以解决现有的显示屏外观AOI检测系统难以区分显示屏表面干扰与显示屏表面缺陷，导致显示屏外观AOI系统的缺陷误检率较高的问题。

一方面，本申请提供一种降低显示屏外观AOI缺陷误检率的方法，包括：

获取待检测显示屏外观的第一图像，根据所述第一图像提取疑似缺陷图像和位置信息；

擦拭所述待检测显示屏；

获取擦拭后所述待检测显示屏外观的第二图像，根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像；

通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性；

如果所述疑似缺陷图像和所述复判图像的相似性结果为1，则判断为缺陷，并输出所述疑似缺陷图像的位置信息。

可选的，所述通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性的步骤包括：

通过DeepSiamese网络构建深度度量学习模型；

根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型；

将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果。

可选的，所述深度度量学习模型主干网络包括4层卷积层、2层池化层和2层全连接层，所述深度度量学习模型的数据输入层包括两张三通道图像合成的六通道数据对，其中三个通道输入所述疑似缺陷图像，其他三个通道输入所述复判图像。

可选的，所述正样本集包括{缺陷样本图像，疑似缺陷样本图像}数据对，所述负样本集包括{干扰样本图像，疑似缺陷样本图像}数据对，所述干扰图像为显示屏外观有灰尘和/或指纹和/或油污的图像。

可选的，所述根据正样本集和负样本集对所述深度度量学习模型进行训练的步骤还包括：对所述正样本集和所述负样本集进行数据增广，分别获取样本图像的原始图像、所述样本图像的亮度变化图像和所述样本图像的对比度变化图像。

可选的，所述根据所述第一图像提取疑似缺陷图像和位置信息的方法采用动态阈值分割法。

另一方面，本申请还提供一种降低显示屏外观AOI缺陷误检率的系统，用于执行以上所述的方法，其特征在于，包括:图像采集装置、擦拭装置以及与所述图像采集装置和所述擦拭装置连接的处理器；

其中，所述图像采集装置用于获取待检测显示屏外观的第一图像和擦拭后所述待检测显示屏外观的第二图像；

所述擦拭装置用于擦拭所述待检测显示屏；

所述处理器用于根据所述第一图像提取疑似缺陷图像和位置信息；根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像；通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性；输出所述疑似缺陷图像的位置信息。

可选的，所述处理器包括离线模块和在线模块；

其中，所述离线模块用于：通过DeepSiamese网络构建深度度量学习模型；根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型；

所述在线模块用于：将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果。

可选的，所述擦拭装置包括：湿擦弹性压头和干擦弹性压头，其中，所述湿擦弹性压头设置有浸润酒精的无尘布，所述干擦弹性压头设置有干的无尘布。

可选的，所述图像采集装置包括：高分辨率工业相机，多角度光源或者三维效果光源。

可选的，所述处理器包括离线模块和在线模块；其中，所述离线模块用于：通过DeepSiamese网络构建深度度量学习模型；根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型；所述在线模块用于：将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果；

所述擦拭装置包括：湿擦弹性压头和干擦弹性压头，其中，所述湿擦弹性压头设置有浸润酒精的无尘布，所述干擦弹性压头设置有干的无尘布；

所述图像采集装置包括：高分辨率工业相机，多角度光源或者三维效果光源。

由以上技术方案可知，本申请提供一种降低显示屏外观AOI缺陷误检率的方法及系统，所述方法包括：获取待检测显示屏外观的第一图像，根据所述第一图像提取疑似缺陷图像和位置信息；擦拭所述待检测显示屏，获取擦拭后所述待检测显示屏外观的第二图像；根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像；通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性；如果所述疑似缺陷图像和所述复判图像的相似性结果为1，则判断为缺陷，并输出所述疑似缺陷图像的位置信息。

本申请采用初筛-擦拭-复判的方法。首先，通过初筛提取疑似缺陷图像，然后，模拟人工进行擦拭显示屏；最后，获取擦拭后的复判图像，与所述疑似缺陷图像进行相似性判断，是否为真实缺陷，所述相似性判断的模型通过深度度量学习法基于DeepSiamese网络进行构建。本申请提供的降低显示屏外观AOI缺陷误检率的方法及系统，可以有效区分显示屏表面干扰与显示屏表面缺陷，降低显示屏外观AOI系统的缺陷误检率，提高显示屏外观AOI系统缺陷检测的准确性和效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的显示屏外观AOI缺陷检测装置的结构示意图；

图2为本申请提供的降低显示屏外观AOI缺陷误检率方法的一个实施例的流程图；

图3为本申请提供的降低显示屏外观AOI缺陷误检率方法中通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性步骤的一个实施例的流程图；

图4为本申请提供的降低显示屏外观AOI缺陷误检率方法中深度度量学习模型的DeepSiamese网络的一个实施例的结构示意图；

图5为本申请提供的降低显示屏外观AOI缺陷误检率系统的一个实施例的结构示意图。

具体实施方式

下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。

请参阅图2，图2为本申请提供的降低显示屏外观AOI缺陷误检率方法的一个实施例的流程图。一方面，本申请提供一种降低显示屏外观AOI缺陷误检率的方法，包括：

S1：获取待检测显示屏外观的第一图像，根据所述第一图像提取疑似缺陷图像和位置信息。首先对待检测显示屏的缺陷进行初步筛选，根据图像处理算法对第一图像提取疑似缺陷图像，所述疑似缺陷图像中包括真实缺陷或灰尘、指纹、油污等干扰，需要进一步进行分析判断。

所述位置信息便于提取复判图像，以及当疑似缺陷确定为真实缺陷时，可以快速定位，找到真实缺陷位置进行更换或维修处理。所述位置信息的定位方法包括但不限于：获取疑似缺陷图像左上角的坐标值作为位置信息，获取疑似缺陷图像中心点的坐标值作为位置信息等，本申请对位置信息的定位方法不做具体限定。

S2：擦拭所述待检测显示屏。在本实施例中，模拟人工擦拭显示屏的方式，在待测显示屏初步筛选提取疑似缺陷图像后，擦拭所述待检测显示屏。擦拭方法包括：首先用无尘布浸润高纯度酒精对显示屏进行擦拭清洁，确保将脏污和灰尘擦掉或溶解脱离显示屏。然后再用干净的无尘布擦拭，干无尘布将溶解杂质的酒精擦除，使屏幕上无残留酒精。通过擦拭可以有效去除显示屏的干扰，清洁屏幕。

S3：获取擦拭后所述待检测显示屏外观的第二图像，根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像。所述复判图像为所述疑似缺陷图像的对应位置经过擦拭后的图像，与所述疑似缺陷图像进行对比，判断疑似缺陷是否为真实缺陷。

S4：通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性。

请参阅图3，图3为本申请提供的降低显示屏外观AOI缺陷误检率方法中通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性步骤的一个实施例的流程图。可选的，在一些实施例中，具体包括：

S41：通过DeepSiamese网络构建深度度量学习模型。DeepSiamese网络是由一组共享权值的孪生结构组成的卷积网络结构。DeepSiamese网络可以用于衡量两个输入的相似程度。孪生神经网络有两个输入，将两个输入进入两个神经网络，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。通过计算，评价两个输入的相似度。

请参阅图4，图4为本申请提供的降低显示屏外观AOI缺陷误检率方法中深度度量学习模型的DeepSiamese网络的一个实施例的结构示意图。

可选的，所述深度度量学习模型通过DeepSiamese网络构建，所述DeepSiamese网络构建主干网络包括4层卷积层Convol1_1、Convol1_2、Convol2_1、Convol2_2；2层池化层Pool1、Pool2；2层全连接层FC6、FC7，所述深度度量学习模型的DeepSiamese网络的数据输入层包括两张三通道图像合成的六通道数据对，其中三个通道输入所述疑似缺陷图像，其他三个通道输入所述复判图像。损失函数采用对比损失。

S42：根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型。

可选的，所述正样本集包括{缺陷样本图像，疑似缺陷样本图像}数据对，所述负样本集包括{干扰样本图像，疑似缺陷样本图像}数据对，所述干扰图像为显示屏外观有灰尘和/或指纹和/或油污的图像。在本实施例中，为提高深度度量学习模型训练的准确性，所述正样本集和所述负样本集均包括一万组以上的数据对。

可选的，所述根据正样本集和负样本集对所述深度度量学习模型进行训练的步骤还包括：对所述正样本集和所述负样本集进行数据增广，分别获取样本图像的原始图像、所述样本图像的亮度变化图像和所述样本图像的对比度变化图像。

在本实施例中，由于工业场景中存在光学系统退化以及不稳定因素，容易发生擦拭前后图像亮度差异大，对比度差异大的情况，因此本申请将亮度变化、对比度变化因素作为数据增广方式直接显示施加在训练的正样本集和负样本集上，给所述深度度量学习模型的DeepSiamese网络更多先验知识，便于快速收敛。

具体的，所述正样本集输入所述深度度量学习模型六个通道的图像分别为：缺陷样本图像的原始图像，所述缺陷样本图像的亮度变化图像，所述缺陷样本图像的对比度变化图像，疑似缺陷样本图像的原始图像，所述疑似缺陷样本图像的亮度变化图像和所述疑似缺陷样本图像的对比度变化图像。

所述负样本集输入所述深度度量学习模型六个通道的图像分别为：干扰样本图像的原始图像，所述干扰样本图像的亮度变化图像，所述干扰样本图像的对比度变化图像，疑似缺陷样本图像的原始图像，所述疑似缺陷样本图像的亮度变化图像和所述疑似缺陷样本图像的对比度变化图像。

S43：将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果。

S5：如果所述疑似缺陷图像和所述复判图像的相似性结果为1，则判断为缺陷，并输出所述疑似缺陷图像的位置信息。相似性结果为0，则判断为干扰。

可选的，所述根据所述第一图像提取疑似缺陷图像和位置信息的方法采用动态阈值分割法。动态阈值分割法，根据图像当前像素点与局部邻域点的差异从背景中分割出对象，因此动态阈值分割法最小可检测出1个像素大小，对比度为1个灰度值的缺陷。在本实施例中，采用动态阈值分割法提取出64*64像素大小的包含有疑似缺陷的疑似缺陷图像。

请参阅图5，图5为本申请提供的降低显示屏外观AOI缺陷误检率系统的一个实施例的结构示意图。

另一方面，本申请还提供一种降低显示屏外观AOI缺陷误检率的系统，用于执行以上所述的方法，其特征在于，包括:图像采集装置1、擦拭装置2以及与所述图像采集装置1和所述擦拭装置2连接的处理器3；

其中，所述图像采集装置1用于获取待检测显示屏外观的第一图像和擦拭后所述待检测显示屏外观的第二图像；

所述擦拭装置2用于擦拭所述待检测显示屏；

所述处理器3用于根据所述第一图像提取疑似缺陷图像和位置信息；根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像；通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性；输出所述疑似缺陷图像的位置信息。

可选的，所述处理器3包括离线模块和在线模块。

其中，所述离线模块用于：通过DeepSiamese网络构建深度度量学习模型；根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型；

所述在线模块用于：将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果。

在本实施例中，离线模块主要用于深度度量学习模型训练，为在线模块实时的处理分析提供模型以及更新模型，以提高模型泛化性能，提高识别率。在线模块是利用已训练好的模型对采集的图像进行实时分析处理，输出相似性分析结果。

可选的，所述擦拭装置2包括：湿擦弹性压头和干擦弹性压头，其中，所述湿擦弹性压头设置有浸润酒精的无尘布，所述干擦弹性压头设置有干的无尘布。首先使用湿擦弹性压头对显示屏进行擦拭清洁，确保将脏污和灰尘擦掉或溶解脱离显示屏。然后再用干擦弹性压头擦拭显示屏，干无尘布将溶解杂质的酒精擦除，使屏幕上无残留酒精。

在本实施例中，所述湿擦弹性压头和所述干擦弹性压头采用柔软并有一定的耐酒精腐蚀的发泡硅胶材质，确保在弹性压头压力下无尘布可以擦到显示屏2.5D弧边的绝大部分，提高显示屏有效擦拭的面积。

可选的，所述图像采集装置1包括：高分辨率工业相机，多角度光源或者三维效果光源。在本实施例中，高分辨率工业相机可采用16K黑白相机以获得高分辨率的图像，提高疑似缺陷图像和复判图像相似判断的精度。多角度光源和三维效果光源可以为显示屏提供多角度多方位的光线，使显示屏的成像更加清晰和真实，进一步提高相似判断的准确性。

可选的，所述MoCA设备还可以包括以上实施例中：所述处理器包括离线模块和在线模块；其中，所述离线模块用于：通过DeepSiamese网络构建深度度量学习模型；根据正样本集和负样本集对所述深度度量学习模型进行训练，得到所述深度度量相似性判断模型；所述在线模块用于：将所述疑似缺陷图像和所述复判图像输入所述深度度量相似性判断模型，所述深度度量相似性判断模型计算得出相似性结果；

所述擦拭装置包括：湿擦弹性压头和干擦弹性压头，其中，所述湿擦弹性压头设置有浸润酒精的无尘布，所述干擦弹性压头设置有干的无尘布；

所述图像采集装置包括：高分辨率工业相机，多角度光源或者三维效果光源。

由以上技术方案可知，本申请提供一种降低显示屏外观AOI缺陷误检率的方法及系统，所述方法包括：获取待检测显示屏外观的第一图像，根据所述第一图像提取疑似缺陷图像和位置信息；擦拭所述待检测显示屏，获取擦拭后所述待检测显示屏外观的第二图像；根据所述疑似缺陷图像的位置信息提取所述第二图像对应位置的图像，得到复判图像；通过深度度量相似性判断模型判断所述疑似缺陷图像和所述复判图像的相似性；如果所述疑似缺陷图像和所述复判图像的相似性结果为1，则判断为缺陷，并输出所述疑似缺陷图像的位置信息。

本申请采用初筛-擦拭-复判的方法。首先，通过初筛提取疑似缺陷图像，然后，模拟人工进行擦拭显示屏；最后，获取擦拭后的复判图像，与所述疑似缺陷图像进行相似性判断，是否为真实缺陷，所述相似性判断的模型通过深度度量学习法基于DeepSiamese网络进行构建。本申请提供的降低显示屏外观AOI缺陷误检率的方法及系统，可以有效区分显示屏表面干扰与显示屏表面缺陷，降低显示屏外观AOI系统的缺陷误检率，提高显示屏外观AOI系统缺陷检测的准确性和效率。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。