一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法

摘要

本发明公开了一种基于缺陷区域预判和水平集的TFT‑LCD Mura缺陷检测算法。该算法提出了一种缺陷区域预判法先找到缺陷区域，然后将缺陷区域的像素剔除，用余下的像素拟合得到背景图像；用原图像减去背景图像来消除背景不均匀性对缺陷分割的影响，求差后得到残差图像，然后用一种基于阈值的水平集方法对残差图像进行分割来检测得到缺陷。该算法可以获得精度较高的背景图像，对于光照影响有较好的鲁棒性，能够获得准确的分割结果以及较低的误检率。

说明书

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法。

背景技术

薄膜晶体管液晶显示器(thin film transistor-liquid crystal display)简称TFT-LCD，它对于像素点的控制精度高，反应速度快，具有高彩色保真度，高亮度，高对比度同时所需功耗低，在低温和高温条件下都能使用；正是由于TFT-LCD具有上述诸多优点，使得其被广泛应用到我们日常生活中，如手机，液晶电视，笔记本电脑等。

根据有关统计显示，我国TFT-LCD的产量远低于市场需求，其中一个主要原因是在TFT-LCD生产过程中有些工序还没有实现自动化，比如对于屏幕的检测工作，现在许多大型的液晶屏生产商还是选用人工来进行检测，随着人力成本的不断提高，大量使用人工进行检测不仅限制了产量而且使得生产成本提高，降低了产品市场的竞争力。所以市场急需一种能够检测缺陷的设备来实现缺陷检测的自动化。

基于图像的检测技术可以代替人眼完成缺陷的检测工作，对于TFT-LCD屏幕其中Mura缺陷最难检测，主要由于Mura缺陷与背景对比度低，没有明显的边界以至于很难和背景分割开，如图1所示，这也是基于视觉技术实现TFT-LCD屏幕检测的难点。

由于图像会受到光照等影响，背景也会不均匀，这使得Mura缺陷更难被分割出来，所以视觉检测算法需要解决在这些环境干扰下Mura分割问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法，其目的在于获得精度较高的背景图像，对于光照影响有较好的鲁棒性，能够获得准确的分割结果以及较低的误检率。

为实现上述目的，按照本发明的一个方面，提供了一种一种基于缺陷区域预判和水平集的TFT-LCD Mura缺陷检测算法，其特征在于，该算法包括如下步骤：

(1)缺陷区域预判

(1-1)缺陷区域预处理

对采集的图像每行每列数据L，L为一维数组，长度为M，首先对L进行中值滤波消除噪声的影响，滤波后得到L_s，对L_s进行一维三次曲线拟合，得到初步的拟合背景图像，拟合公式如下：

y＝α₀+α₁x+α₂x²+α₃x³

用矩阵表达如下：

上述矩阵可以简化为XA＝Y，其中A是未知的，X矩阵包含的是像素点的位置坐标，Y矩阵包含的对应坐标位置的像素点的值，A＝(X^TX)^-1X^TY。获得参数矩阵后，可以得到初步的拟合背景曲线L_f＝XA；

获得拟合的背景曲线L_f后，L_f与L_s之间形成交点{P₁,P₂,P₂,...,P_N}，这些交点会将曲线分成N+1块，交点将所述背景曲线分为分块的曲线；并将标记出的缺陷区域用三角形取代；

(1-2)基于SEMU的缺陷区域预判

按照修正的SEMU的计算公式如下计算：

其中|C_x|是Mura缺陷的平均对比度，是Mura缺陷区域的像素的均值，是背景区域像素的均值，C_jnd是Mura缺陷的JND(Just>

计算|C_x|，其计算公式如下：

其中h为缺陷区域最大值和实际背景之间的差值，L_B为两交点的连线，l是两交点之间连线的长度，是假设背景的均值，l₁+l₂＝l，h/2l₁是三角形左侧边的斜率，h/2l₂为三角形右侧边的斜率。

基于实际背景计算的|C_x|值，根据建立的三角模型，可以推导出其公式如下：

其中|C_actual|为基于实际背景计算得到的|C_x|值，为实际背景的均值；综上可以得到所述基于实际背景和假设背景之间的关系：

由于|C_assume|可以基于已知的交点得到，根据两者之间的关系，可以通过|C_assume|得到基于实际背景的|C_x|值；

对于上述SEMU公式中S的大小用(2l)²替代，缺陷区域的SEMU的计算公式进一步计算为：

对于没有缺陷的区域，其计算公式如下：

如果每块的最大值或者最小值和两个端点的差值的绝对值大于2，则 用公式(1)计算该块的SEMU的值，否则选用公式(2)计算SEMU的值；

每一块的SEMU的值就算完毕后，开始检查每一块的SEMU的大小，如果第n块对应的SEMU的值大于或等于1，则将该块的标记置为1，L_label(x)＝1,x∈[P_n-1,P_n]。

(1-3)基于斜率区域搜索算法

在检测到缺陷位置之后还需要向两侧进行搜索，找到实际缺陷区域；

当计算得到第n块的斜率大于1时，找到第n块的两个端点P_n-1和P_n，先从P_n-1开始向左侧进行搜索，搜索算法f_{search_left}步骤如下：

第一步，设置搜索的步长为d＝10，这里已知左侧端点P_n-1处的斜率为k_{left_start}＝(L_s(P_n-1+d)-L_s(P_n-1))/d，初始化搜索点的位置x_l＝P_n-1，搜索点的斜率为：k_l＝(L_s(x_l)-L_s(x_l-d))/d。如果k_l/k_{left_start}＞0.8，搜索开始，x_l＝x_l-d；否则搜索结束；

第二步，L_label(x)＝1,x∈[x_l,x_l+d]，x_l＝x_l-d，k_l＝(L_s(x_l)-L_s(x_l-d))/d。

第三步，如果k_l/k_{left_start}＞0.5并且x_l-d＞P₁，返回第二步；否则执行下一步。

第四步，如果x_l-d＜P₁，执行L_label(x)＝1,x∈[P₁,x_l+d]，然后搜索结束。否则，搜索直接结束；

确定右侧端点位置P_n后，从P_n开始向右侧搜索，向右搜索f_{search_right}步骤如下：

第一步，设置搜索的步长为d＝10，这里已知右侧端点P_n处的斜>right_start＝(L_s(P_n-d)-L_s(P_n))/d，初始化搜索点的位置x_r＝P_n，搜索点的斜率为：k_r＝(L_s(x_r+d)-L_s(x_r))/d。如果k_r/k_{right_start}＞0.8，搜索开始，x_r＝x_r+d。否则搜索结束。

第二步，L_label(x)＝1,x∈[x_r-d,x_r]，x_r＝x_r+d，k_l＝(L_s(x_l)-L_s(x_l-d))/d。

第三步，如果k_r/k_{right_start}＞0.5并且x_r+d＜P_N，返回第二步；否则执行下一步。

第四步，如果x_r+d＞P_N，执行L_label(x)＝1,x∈[x_r-d,P_N]，然后搜索结束。否则，搜索直接结束。

(1-4)基于斜率的缺陷区域预判

首先在没有被标记为1的块中，对比各个块的最大斜率值S_max(n)，找到比其他块的最大斜率值都大的分块，如果该分块的SEMU的值大于0.1，则将该块标记为1，然后根据该块的左右两个端点分别调用左侧搜索算法和右侧搜索算法。

(2)图像背景重构

逐行逐列处理完之后分别得到行处理结果和列处理结果，对行列处理后的结果采用逻辑或操作将结果组合在一起，其中白色区域为缺陷区域，将原图对应缺陷区域位置的像素剔除掉，用余下的像素通过二维三次多项式进行背景图像重构，计算公式如下：

Y＝β₀+β₁x+β₂y+β₃x²+β₄y²+β₅xy+β₆x²y+β₇xy²+β₈x³+β₉y³

计算公式可以简化为ZA＝Y，每个矩阵的表达如下：

A＝[β₀>1>2>3>4>5>6>7>8>9]^T

Y＝[Y₁>2>3 L>K-1>K]^T

其中K为剔除缺陷区域像素值后剩余的像素值的个数，Z为包含像素位置信息的矩阵，Y包含对应像素位置像素值大小的矩阵，A是要求解的系数矩阵，A的计算为A＝(Z^TZ)^-1Z^TY，获得系数矩阵后，可以拟合得到背景图像I_background＝ZA。

(3)水平集分割

在获得背景图像后，可以通过利用原图像和背景图像求差来消除原图像的背景不均匀的情况，然后对求差后的图像采用改进后的主动轮廓模型进行分割，改进后主动轮廓模型的水平集表达公式如下：

在已有的模型中加入了项，其中G是二维高斯函数，I是输入的图像，阈值T＝0.6(g_max+g_min)，g_max和g_min分别是g中的最大>

该公式隐函数φ的偏微分方程为：

其中λ₁＝λ₂＝1，ν＝0.3，μ＝0.001×255²，η＝30，初始化φ，对该水平集方法的偏微分方程进行求解获得φⁿ，再将φⁿ代回偏微分公式求解得到φⁿ⁺¹，如此迭代，获得缺陷分割结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

提出了一种缺陷区域预判法先找到缺陷区域，然后将缺陷区域的像素剔除，用余下的像素拟合得到背景图像；用原图像减去背景图像来消除背景不均匀性对缺陷分割的影响，求差后得到残差图像，然后用一种基于阈值的水平集方法对残差图像进行分割来检测得到缺陷。该算法可以获得精度较高的背景图像，对于光照影响有较好的鲁棒性，能够获得准确的分割结果以及较低的误检率。

附图说明

图1是本发明实现的算法所针对的Mura缺陷示意图，图1(a)是圆状Mura，图1(b)是线状Mura；

图2是本发明实现的算法流程图，图2(a)是本发明的整个算法的流程图，图2(b)本发明的算法中缺陷区域预判算法的流程图；

图3是本发明的基于SEMU缺陷区域预判法说明图；图3(a)是本发明的基于SEMU缺陷区域预判法所针对的非边缘缺陷的示意图，图3(b)是本发明基于SEMU缺陷区域预判法求取拟合曲线以及曲线交点的示意图，图3(c)是本发明的基于SEMU缺陷区域预判法以曲线交点连线作为背景的示意图，图3(d)是基于SEMU缺陷区域预判法中建模示意图

图4是本发明的基于斜率的缺陷区域预判法说明图；图4(a)是本发明的基于斜率的缺陷区域预判法所针对的边缘缺陷的示意图，图4(b)是边缘缺陷对于交点位置造成影响的示意图

图5是本发明的行列处理及缺陷区域融合示意图；图5(a)是本发明处理图片示例图，图5(b)是本发明的缺陷区域预判算法行处理的结果示意图，图5(c)是本发明的缺陷区域预判算法列处理的结果示意图，图5(d)本发明的缺陷区域预判算法行处理的结果和列处理结果融合的示意图。

图6是本发明的原图与背景图像求差示意图；图6(a)是本发明选用作为说明的待处理图片，图6(b)是本发明处理得到的背景图，图6(c)是本发明选用的待处理图片与本发明处理得到的背景图片求差后的结果图。

图7是本发明的基于水平集的缺陷分割示意图；图7(a)是本发明的基于水平集的缺陷分割算法的初始轮廓曲线位置示意图，图7(b)是本发明的基于水平集的缺陷分割的结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于图像背景重构和水平集的TFT-LCD Mura缺陷检测算法，用于提高对Mura缺陷的识别率

本发明的Mura缺陷检测方法分为缺陷区域预判，背景图像重构和背景影响去除及基于水平集的缺陷分割三个阶段，整个算法流程如图2(a)所示。以下对本发明提出的识别方法作详细说明。具体步骤如下：

(1)缺陷区域预判

这个阶段分为两步进行，第一步是基于SEMU的缺陷区域预判，第二步是基于斜率的缺陷区域预判，整个流程图如图2(b)所示，详细算法如下。

(1.1)缺陷区域预处理

对图像每行每列分别进行处理，找出每行每列中缺陷区域的位置 并标记出来。这里用L来表示需要进行处理的每行或者每列的数据，L为一维数组，长度为M。首先对L进行中值滤波消除噪声的影响，滤波后得到L_s。然后对L_s进行一维三次曲线拟合，得到初步的拟合背景图像，拟合公式如下：

y＝α₀+α₁x+α₂x²+α₃x³

用矩阵表达如下：

上述矩阵可以简化为XA＝Y，其中A是未知的，X矩阵包含的是像素点的位置坐标，Y矩阵包含的对应坐标位置的像素点的值，A＝(X^TX)^-1X^TY。获得参数矩阵后，可以得到初步的拟合背景曲线L_f＝XA。

获得拟合的背景曲线L_f后，L_f与L_s之间形成交点{P₁,P₂,P₂,...,P_N}，这些交点会将曲线分成N+1块。如图2所示，图3(a)为Mura图像，虚线框出的为被处理的行数据，图3(b)中黑的曲线为平滑后的曲线L_s，虚线曲线为拟合得到的背景曲线L_f，黑色的点为两条线的交点。B₁,B₂,...,B₅为分块的曲线。由于Mura缺陷变化比较缓慢，所以缺陷边缘的变化可以近似看成一条直线，可以将缺陷区域用三角形进行取代，模型如图3(d)所示。

(1.2)基于SEMU的缺陷区域预判

引入修改的SEMU判断公式来判断缺陷位置，修改的SEMU的公式如下：

其中|C_x|是Mura缺陷的平均对比度，是Mura缺陷区域的像素的均值，是背景区域像素的均值，C_jnd是Mura缺陷的JND(Just>

首先基于假设背景(图3(d)两交点的虚线连线)计算|C_x|，其计算公式如下：

其中h为缺陷区域最大值和实际背景之间的差值，L_B为两交点的连线，l是两交点之间连线的长度，是假设背景的均值，l₁+l₂＝l，h/2l₁是三角形左侧边的斜率，h/2l₂为三角形右侧边的斜率。

基于实际背景(图3(d)三角形的底边)计算的|C_x|值，根据建立的模型，可以推导出其公式如下：

其中|C_actual|为基于实际背景计算得到的|C_x|值，为实际背景的均值。综上可以得到基于实际背景和假设背景之间的关系：

由于|C_assume|可以基于已知的交点得到，根据两者之间的关系，可以通过|C_assume|得到基于实际背景的|C_x|值。

对于SEMU公式中S的大小，这里用(2l)²替代，所以缺陷区域的SEMU的计算公式为：

对于没有缺陷的区域，如图4(b)所示，第二块区域B₂为非缺陷区域，P₁和P₂两者之间的连线就是背景，所以对非缺陷区域不需要乘以r，其计算公式如下：

如果每块的最大值或者最小值和两个端点的差值的绝对值大于2，则用公式(8)计算该块的SEMU的值，否则选用公式(9)计算SEMU的值。

每一块的SEMU的值就算完毕后，开始检查每一块的SEMU的大小，如果第n块对应的SEMU的值大于或等于1，则将该块的标记置为1，L_label(x)＝1,x∈[P_n-1,P_n]。

(1.3)基于斜率区域搜索算法

从图3(b)中我们可以看出，虽然B₃为缺陷区域，B₃要比虚线框框出的实际的缺陷区域小，因此需要在检测到缺陷位置之后还需要向两侧进行搜索，找到实际缺陷区域。对于这个问题本文提出了基于>

当计算得到第n块的斜率大于1时，找到第n块的两个端点P_n-1和P_n，先从P_n-1开始向左侧进行搜索，搜索算法f_{search_left}步骤如下：

第一步，设置搜索的步长为d＝10，这里已知左侧端点P_n-1处的斜率为k_{left_start}＝(L_s(P_n-1+d)-L_s(P_n-1))/d，初始化搜索点的位置x_l＝P_n-1，搜索点的斜率为：k_l＝(L_s(x_l)-L_s(x_l-d))/d。如果k_l/k_{left_start}＞0.8，搜索开始，x_l＝x_l-d。否则搜索结束。

第二步，L_label(x)＝1,x∈[x_l,x_l+d]，x_l＝x_l-d，k_l＝(L_s(x_l)-L_s(x_l-d))/d。

第三步，如果k_l/k_{left_start}＞0.5并且x_l-d＞P₁，返回第二步；否则执行下一步。

第四步，如果x_l-d＜P₁，执行L_label(x)＝1,x∈[P₁,x_l+d]，然后搜索结束。否则，搜索直接结束。

确定右侧端点位置P_n后，从P_n开始向右侧搜索，向右搜索f_{search_right}详细步骤如下：

第一步，设置搜索的步长为d＝10，这里已知右侧端点P_n处的斜率为k_{right_start}＝(L_s(P_n-d)-L_s(P_n))/d，初始化搜索点的位置x_r＝P_n，搜索点的斜率为：k_r＝(L_s(x_r+d)-L_s(x_r))/d。如果k_r/k_{right_start}＞0.8，搜索开始，x_r＝x_r+d。否则搜索结束。

第二步，L_label(x)＝1,x∈[x_r-d,x_r]，x_r＝x_r+d，k_l＝(L_s(x_l)-L_s(x_l-d))/d。

第三步，如果k_r/k_{right_start}＞0.5并且x_r+d＜P_N，返回第二步；否则执行下一步。

第四步，如果x_r+d＞P_N，执行L_label(x)＝1,x∈[x_r-d,P_N]，然后搜索>

(1.4)基于斜率的缺陷区域预判

对于处于边界上的Mura缺陷，如图4(a)所示为重力Mura，在缺陷区域，交点的位置会因为缺陷处于边界而受到影响，如图4(b)所示，因为处在边界，P₄为实际的交点位置，但是理想的交点位置在P′₄处，黑的点画线为实际曲线的延长线，细虚线是理想拟合曲线。由于实际交点位置靠近L_s，这就会使得计算SEMU时得到的值偏大，从而使得得到的计算结果偏小，甚至小于1，计算结果的偏差会使得该缺陷区域不能被判断出来，从而影响到后续的背景图像拟合的精度。为了避免这种情况的发生，本文针对缺陷处于边缘位置的问题提出了一种基于斜率的区域预判法。

通过观察曲线可以得出，虽然Mura缺陷区域里像素值之间的变化比较平滑，但是相对于背景而言，Mura缺陷位置的曲线斜率要大于背景区域曲线斜率。这就是该算法的主要出发点，找到斜率最大的位置，具体的处理步骤如下：

首先在没有被标记为1的块中，对比各个块的最大斜率值S_max(n)，找到比其他块的最大斜率值都大的分块，如果该分块的SEMU的值大于0.1，则将该块标记为1，然后根据该块的左右两个端点分别调用左侧搜索算法和右侧搜索算法。

(2)图像背景重构

逐行逐列处理完之后分别得到行处理结果(如图5(b))和列处理结果(图5(c))，对行列处理后的结果采用逻辑或操作将结 果组合在一起(如图5(d)，其中白色区域为缺陷区域)，将原图对应缺陷区域位置的像素剔除掉，用余下的像素通过二维三次多项式进行背景图像重构，计算公式如下：

Y＝β₀+β₁x+β₂y+β₃x²+β₄y²+β₅xy+β₆x²y+β₇xy²+β₈x³+β₉y³

计算公式可以简化为ZA＝Y，每个矩阵的表达如下：

A＝[β₀>1>2>3>4>5>6>7>8>9]^T

Y＝[Y₁>2>3 L>K-1>K]^T

其中K为剔除缺陷区域像素值后剩余的像素值的个数，Z为包含像素位置信息的矩阵，Y包含对应像素位置像素值大小的矩阵，A是要求解的系数矩阵，A的计算为A＝(Z^TZ)^-1Z^TY，获得系数矩阵后，可以拟合得到背景图像I_background＝ZA。

(2)基于水平集的缺陷分割

在获得背景图像后，可以通过利用原图像(如图6(a))和背景图像(如图6(b))求差来消除原图像的背景不均匀的情况，然后对求差后的图像(如图6(c))采用改进后的主动轮廓模型进行分割，分割结果如图7所示，图7(a)中的白色曲线为初始化轮廓曲线，图7(b)白色曲线为找到的缺陷边缘位置。改进后主动轮廓模型的水平集表达公式如下：

在已有的模型中加入了项，该项的加入是为了增强改进后的主动轮廓模型对于小缺陷的敏感性，其中G是二维高斯函数，I是输入的图像，阈值T＝0.6(g_max+g_min)，g_max和g_min分别是g中的最大值和最小值，ω为曲线内部，Ωω为曲线外部，C是曲线上。

该公式隐函数φ的偏微分方程为：

其中λ₁＝λ₂＝1，ν＝0.3，μ＝0.001×255²，η＝30。初始化φ，对该水平集方法的偏微分方程进行求解获得φⁿ，再将φⁿ代回偏微分公式求解得到φⁿ⁺¹，如此迭代，便可以将缺陷分割出来，结果如图7所示。

本发明所提出的方法，利用基于缺陷区域预判的背景重构方法首 先找到缺陷区域位置，然后将缺陷区域的像素剔除减少缺陷像素对重构背景图像精度的影响，利用余下的像素重构背景图像，从而提高获得的背景图像的精度。然后用原图像减去背景图像来消除背景不均匀的影响，将Mura缺陷突出出来，最后采用改进的水平集方法对图像进行分割，提高图像分割的精度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。