基于边缘投影及颜色特征的眼镜属性检测方法

摘要

本发明公开了一种基于边缘投影及颜色特征的眼镜检测方法，输入一张待检测的人脸图像，对其进行预处理且进行边缘检测，得到人脸图像的边缘信息图像，基于通过对嘴部定位来划分人脸区域；然后，根据上半人脸边缘信息图像的横、纵向投影来确定眼镜是否有边框，对于有框眼镜则以人脸中轴线为界进一步确定左、右眼镜区域，对于无框眼镜则以人脸相对位置确定左、右眼镜区域，有框眼镜通过眼镜区域的边缘信息、深浅系数及肤色似然度计算边框宽度及镜片颜色状况；最后，计算左右眼镜的亮度系数检测镜片反光状况。在检测操作中，具有需要的特征信息少，检测快捷、准确等特点。

说明书

技术领域

本发明属于人脸检测图像处理和计算机视觉领域，具体涉及一种基于边缘投影及颜色特征的眼镜属性检测方法。

背景技术

近年来，生物特征识别技术被广泛应用到各个领域，人脸识别技术作为生物特征识别技术的重要课题之一，已取得了重大的研究进展。然而，经研究发现，作为面部佩戴最为广泛的饰物，眼镜对人脸检测和识别的准确率影响极为严重。镜框、眼镜颜色、镜片反光等眼镜属性对人脸识别、出入境证件照检测、证件照在线上传等方面有着重要的影响。因此，在人脸图像中检测眼镜的属性具有非常重要的意义和应用价值。

目前，对于人脸图像中眼镜的检测方法比较少，且大多是根据所提取的特征信息来判断是否佩戴眼镜、以数学方法来定位眼镜边框以及使用基于主成分分析的方法来去除人脸图像中带边框的眼镜。其中，定位眼镜边框的常用方法是采用二值化处理和数学形态学的方法进行定位。这种方法只对所佩戴的眼镜为粗框眼镜的情况适合，而且在对二值图像进行连续开闭运算时，对于不同情况需要设定不同的阈值。在深色边框眼镜的检测与定位方法中，一般使用对原图像的水平二值投影图的最大值作为头发的参考点，以此来对眼镜定位。这种方法要求图像中的人脸有深色头发，适用的局限性比较大，而且也只能完成对粗框眼镜的检测和定位。以上两种方法除了只能完成对粗框眼镜的定位外，还忽略了无框眼镜的定位。另外，当前方法中很少有涉及对人脸图像中所佩戴的眼镜的各项属性进行检测的方法。

发明内容

本发明的目的是提供一种基于边缘投影及颜色特征的眼镜属性检测方法，对人脸图像中所佩戴的眼镜是否有边框、边框宽度、镜片颜色状况以及镜片是否存在反光区域进行了检测，解决了现有检测方法检测内容较少的问题。

本发明所采用的技术方案是，一种基于边缘投影及颜色特征的眼镜属性检测方法，属性包括眼镜是否含框，包括以下步骤：

步骤1，提取人脸边缘信息图像f′(x,y)，确定嘴部区域；将嘴部定位的x方向中心作为人脸中轴线位置，y方向的最高点作为人脸上半部分的分界线；

步骤2，提取上半部分的人脸边缘信息图像f′_up(x,y)，将上半部分的人脸边缘信息图像f′_up(x,y)依据式(5)、式(7)分别进行横、纵向投影，分别依据式(6)、式(8)确定眼镜纵向、横向位置范围，得到眼镜区域；

Index_y(k)＝find(R_j>μ×max(R))>

Index_x(k)＝find(C_i>max(C)-μ₁)>

然后计算眼镜的长宽比值，若长宽比值大于8.5，则判定其为无框眼镜；否则，判定其为有边框的眼镜。

本发明的特点还在于：

检测属性还可以包括有框眼镜的框架宽度，具体方法为：以人脸中轴线为左、右眼镜的分界线，分别使用式(7)对步骤2中得到的眼镜纵向、横向位置信息进行纵向投影，以式(8)计算左、右眼镜的左、右边界位置，在人脸边缘信息图像f′(x,y)或f′_up(x,y)中提取左、右眼镜的下半部分，分别在左、右眼镜水平方向的中间区域计算框架宽度。

检测属性还可以包括有框眼镜镜片的颜色，具体方法为：在得到的镜框位置以及镜框宽度信息的基础上还包括以下步骤：以眼镜框的下边界以下为镜框外区域，以眼镜框的下边界减去眼镜框的宽度以上为镜框内区域，分别采集大小为m×n的区域，采用式(12)分别计算眼镜框内区域、眼镜框外区域镜片颜色深浅系数DL，

用a表示采集的镜框外区域的深浅系数，b表示采集的镜框内区域的深浅系数；根据a、b的数值判断镜片的颜色：

1)当a和b中一个大于等于150，另一个小于150，且|a-b|>10，则判断眼镜必然带颜色；

2)当a和b中一个大于等于150，另一个小于150，且|a-b|≤10，则判断眼镜必然无色；

3)当a和b都大于等于150，或都小于等于150时，则计算肤色似然度比值若0.001＜τ＜10之间，则判断镜片无色，否则判断镜片带色；

进一步地，对于带颜色的镜片，根据b值大小可以判断镜片颜色的深浅：若b≥80，则眼镜为浅色，若b<80，则眼镜为深色；

检测属性还可以包括镜片是否反光，在步骤2得到的有框眼镜或无框眼镜的眼镜区域的基础上还包括以下步骤：计算左右眼镜片在HSV颜色空间下每个像素的亮度系数Bright，并以式(24)统计每个区间的像素亮度系数，

若每个区间的像素亮度系数分布均匀，且亮度大的区间所占比重大，则证明光线分布均匀，判断镜片不反光；否则判断镜片反光。

其中，每个区间的像素亮度系数分布均匀，亮度大的区间所占比重较大的判断依据为：最大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的10％；次大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的50％；第三大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的70％，上述三种情况满足其中之一，即认为每个区间的像素亮度系数分布均匀，且亮度大的区间所占比重大。

对于无框眼镜的眼镜区域的确定，优选以下方法：采用步骤2中以横向投影的方法估计眼睛的纵向位置范围，并确定眼睛的y轴位置；以眼睛位置为中心，以面部长宽为依据，估计无框眼镜的范围。

本发明的有益效果是，本发明对人脸图像中所佩戴的眼镜是否有边框、边框宽度、镜片是否带色以及镜片是否存在反光等属性进行检测，有助于提升人脸检测和人脸识别的性能，能有效判断在线上传的证件照所佩戴的眼镜是否符合标准。

附图说明

图1是本发明基于边缘投影及颜色特征的眼镜属性检测方法的流程图；

图2是实施例输入的一个待检测的图像集；

图3是在图2的图像集中选取的代表性图像的预处理结果；

图4是图3中的图像对应的边缘检测结果；

图5是嘴部区域定位图，其中，方框标记处表示嘴部区域，垂直竖线表示人脸中轴线(即x＝嘴部x方向中心)，水平横线表示人脸上半部分分界线(即y＝嘴部y方向最高处位置)；

图6a是通过横、纵向投影确定的有框眼镜所属区域；

图6b是无框眼镜横、纵向投影所框区域；

图7a是对有框眼镜左、右眼镜所属区域的确定图；

图7b是对无框眼镜左、右眼镜所属区域的确定图；

图8是眼镜所属区域边缘图，其中，方框标记表示计算边框宽度所用区域；

图9a是有框眼镜的边框测量结果，边缘宽度在图片上方给出；

图9b是无框眼镜的判断结果；

图10是镜片颜色检测结果，镜框内外的方框标记分别表示所选的镜框内部区域和外部区域，且在图右侧进行放大显示；

图11a是镜片有反光的亮度图；

图11b是镜片无反光的亮度图；

图11c是图11a的亮度系数统计结果图；

图11d是图11b的亮度系数统计结果图；

图12是镜片反光检测结果。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

本发明的基于边缘投影及颜色特征的眼镜属性检测方法，第一部分是对人脸图像预处理且做边缘检测，进而对边缘检测图像通过横、纵向投影确定眼镜区域，根据纵、横眼镜区域的比值完成对眼镜是否有边框的判断；第二部分是通过边缘检测的结果计算镜框宽度，再通过计算颜色深浅系数、肤色相似度以及亮度系数来判断镜片颜色状况及反光情况。

如图1所示，具体按照以下步骤检测眼镜各项属性。

步骤1，提取人脸边缘信息图像，确定嘴部区域。

(1)提取人脸边缘信息图像。

输入人脸图像f(x,y)，如图2所示。由于采集到的人脸图像存在噪声等干扰信息，需要对人脸部分进行处理减小误差。首先，将彩色人脸图像转换成灰度图像；然后，对灰度图像进行高斯平滑处理，如图3所示；最后，提取平滑处理后的灰度图像的边缘信息图像f′(x,y)，如图4所示。

(2)确定嘴部区域。

将输入的彩色图像f(x,y)从RGB颜色空间转换到YCbCr颜色空间，采用高斯模型在YCbCr颜色空间以式(1)计算人脸像素为嘴部像素的相似度P，将其转为二值图像来获取可能的嘴部区域，并通过形状、位置等信息来确定嘴部区域，如图5所示。

以图像的左上角为坐标原点，原点水平方向向右为x轴，竖直方向向下为y轴。将嘴部定位的x方向中心作为人脸中轴线位置x＝Cen，如图5垂直竖线所示，y方向的最高点Up作为人脸上半部分的分界线y＝Up，如图5水平横线所示。

P＝exp((-0.5)×(x-M)′×inv(cov)×(x-M)) (1)

式(1)是将输入的彩色人脸图像f(x,y)从RGB颜色空间转换到YCbCr颜色空间进行计算的，其中，x＝(Cb,Cr)^T为像素点的色度向量；cov和M分别表示色度向量的协方差矩阵和均值向量；P表示该像素点与嘴部相似度，其值越大表示为嘴部区域的可能性越大，反之越小。经实验统计，均值和方差分别为：

M＝(156.5599,117.4361)^T>

步骤2，将上半部分的人脸边缘信息图像f′_up(x,y)进行横纵向投影，确定眼镜区域，依据该区域长宽比值确定眼镜是否有边框。

步骤2-1，确定眼镜区域

首先，根据步骤1中得到的边缘信息图像以及根据嘴部区域得到的人脸上半部分分界线，以式(4)提取其中上半部分的人脸边缘信息图像f′_up(x,y)。

f′_up(1:M,1:N)＝f′(1:Up,1:N)>

式(4)表示将f′的1到Up行，1到N列的像素信息赋值给f′_up。

然后，将上半部分人脸的边缘检测结果f′_up(x,y)以式(5)的方式进行横向投影，获取上半人脸的边缘信息图f′_up(x,y)每行的像素之和R_j。

式(5)中,f′_up(i,j）表示上半部分人脸的边缘信息图像f′_up(x,y)每点的像素值，i、j表示其横、纵坐标，pro_r表示横向投影运算，用来实现对矩阵的每行元素值进行相加的操作，得到一个列向量，R_j表示列向量每行的值。

再以式(6)确定眼镜的纵向位置范围[Glass_y1,Glass_y2]。

Index_y(k)＝find(R_j>μ×max(R))>

式(6)中，j＝1,2,3…,m；k＝1,2,3…,last，R指式(5)中得到的列向量；max(R)是列向量中最大值；μ为阈值系数，本方法中取0.55；find指当满足条件时候，返回满足条件的R_j的下标j；Index_y(k)记录第k个满足条件的R_j的下标，即将满足条件的R_j的下标j值赋给Index_y(k)；last记录满足条件的R_j的个数；第1个满足条件的R_j的下标记为Index_y(1)，即Index_y(1)为眼镜上边框位置Glass_y1；最后一个满足条件的R_j的下标记为Index_y(last)，即Index_y(last)为眼镜下边框位置Glass_y2。

其次，以式(7)的方式对上半人脸的边缘信息图f′_up(x,y)进行纵向投影，获取f′_up(x,y)每列的像素之和C_i。

式(7)中,f′_up(i,j)表示上半部分人脸的边缘信息图像f′_up(x,y)每点的像素值，i、j表示其横、纵坐标，pro_c表示纵向投影运算符，用来实现对矩阵的每列元素值进行相加的操作，得到一个行向量，C_i表示行向量每列的值。

再以式(8)确定眼镜的横向位置范围[Glass_x1,Glass_x2]。通过横、纵向投影对各类眼镜判定的所属区域如图6a、6b所示。

Index_x(k)＝find(C_i>max(C)-μ₁)(8)

式(8)中，i＝1,2,3…,n；k＝1,2,3…,last，C指式(7)中得到的行向量；max(C)是行向量中最大值；μ₁为阈值系数，本方法中取10；find指当满足条件时候，返回满足条件的C_i的下标i；Index_x(k)记录第k个满足条件的C_i的下标，即将满足条件的C_i的下标i值赋给Index_x(k)；last记录满足条件的C_i的个数；第1个满足条件的C_i的下标记为Index_x(1)，即Index_x(1)为眼镜左边框位置Glass_x1；最后一个满足条件的C_i的下标记为Index_x(last)，即Index_x(last)为眼镜右边框位置Glass_x2。

根据眼镜的横、纵向位置范围即知眼镜位置。

步骤2-2，判断眼镜是否有边框。

在计算出眼镜边框位置后，使用式(9)、式(10)计算眼镜的长、宽，并使用式(11)计算眼镜长、宽比，

Frame_y＝Glass_y2-Glass_y1(9)

Frame_x＝Glass_x2-Glass_x1(10)

Ratio＝Frame_x/Frame_y>

根据该比值情况判断眼镜是否有边框：若式(11)计算得到的Ratio值大于8.5，则判定其为无框眼镜，无框眼镜判断结果如图9b，且设定其镜框宽度为0；否则，判定其为有边框的眼镜。

步骤3，计算框架宽度。

①对于有框眼镜确定的眼镜区域以步骤2中获取的中轴线x＝Cen为左、右眼镜的分界线，分别使用式(7)对步骤2中标记出的眼镜区域的边缘信息进行纵向投影，以式(8)进一步精确左、右眼镜Glass_l、Glass_r的左、右边界位置，即Glass_ll、Glass_lr、Glass_rl和Glass_rr，如图7a所示。在边缘信息图像f′(x,y)或上半人脸边缘信息图像f′_up(x,y)中提取左、右眼镜Glass_l、Glass_r的下半部分，分别在左、右眼镜水平方向的中间区域计算框架宽度，如图8所示。有框眼镜框架宽度计算结果如图9a所示。

②无框眼镜框架宽度默认为0。

步骤4，判断镜片颜色。

①对于有框眼镜，使用步骤3得到的镜框位置以及镜框宽度信息，提取眼镜框内部分以及眼镜框外部分两处信息。具体的，以眼镜框的下边界以下为镜框外区域，以眼镜框的下边界减去眼镜框的宽度以上为镜框内区域，分别采集大小为m×n的区域，采集区域在图10左侧人脸图像中框出，图10右侧显示采集区域的放大效果。本实验中m取值为6，n取值为10。通过式(12)分别计算眼镜框内区域、眼镜框外区域镜片颜色深浅系数DL。

式(12)中,R、G和B分别表示图像每个像素点的三基色值。

用a表示采集的镜框外区域的深浅系数，b表示采集的镜框内区域的深浅系数。

1)当a和b中一个大于等于150，另一个小于150，且|a-b|>10，则判断眼镜必然带颜色。然后进一步根据b值大小判断其颜色深浅，若b≥80，则眼镜为浅色，若b<80，则眼镜为深色。

2)当a和b中一个大于等于150，另一个小于150，且|a-b|≤10，则判断眼镜必然无色。

3)当a和b都小于等于150时，则根据肤色似然度比值做进一步的判断。

使用式(13)计算肤色似然度比值τ，若0.001＜τ＜10之间，则判断镜片无色，否则判断镜片带色；然后进一步根据b值大小判断其颜色深浅，若b≥80，则眼镜为浅色，若b<80，则眼镜为深色。

4)当a和b都大于等于150时，则根据肤色似然度比值做进一步的判断。

使用式(13)计算肤色似然度比值τ，若0.001＜τ＜10之间，则判断镜片无色，否则判断镜片带色；由于b≥80，则眼镜必然为浅色。

式(13)中，P_s是采集的脸部眼镜框外区域使用式(1)计算的肤色概率，P_g是采集的眼镜内区域使用式(1)计算的肤色概率。式(1)中所取的均值和方差分别为：

M_skin＝(117.4316,148.5599)^T(14)

用a表示采集的镜框外区域的深浅系数，b表示采集的镜框内区域的深浅系数，τ表示肤色相似度比值。通过以下过程判断眼镜带色情况，判断结果如图10所示。

②对于无框眼镜，默认其镜片是无色。

步骤5，判断镜片是否反光。

根据上述步骤得到有框眼镜和无框眼镜的左右眼镜区域，针对左右眼镜分别搜索其亮度最大的位置。具体如下：

步骤5-1，获取眼镜区域

①对于有框眼镜，通过步骤3即可得到左、右眼镜区域。

②对于无框眼镜，由于步骤2方法并不能完全准确估计眼镜和脸部的分界处，因此采用步骤2中以横向投影的方法估计眼睛的纵向位置范围[Glass_y1,Glass_y2]，并使用式(16)确定眼睛的y轴位置。继而，以眼睛位置为中心，以面部长宽为依据，根据式(17)～(22)来估计无框眼镜的大概范围，如图7b所示。

X_ll＝θ×W>

X_lr＝Cen-(δ×W)>

X_rl＝Cen+(δ×W)>

X_rr＝(1-θ)×W>

式(17)～(22)中，x＝Cen是中轴线位置，Eye_y是眼睛y轴方向的位置,W为人脸宽度，H为人脸长度，X_ll和X_lr表示无框眼镜的左侧眼镜的左右边界，X_rl和X_rr表示无框眼镜的右侧眼镜的左右边界，Y₁和Y₂是无框眼镜的上下边界，θ、δ和均为位置的偏移系数。

步骤5-2，搜索眼镜区域内亮度最大的位置

首先，将获取到的左右眼镜片分别从RGB颜色空间转到HSV颜色空间，通过式(23)来计算每个像素的亮度系数

Bright＝(1/S)+(V×100)(23)

式(23)中，S和V分别是目标区域从RGB颜色空间转到HSV颜色空间的每个像素点的S值和V值，Bright为计算出来的该像素点的亮度系数值。图11a和图11b分别为反光眼镜区域和无反光眼镜区域的亮度系数值除以10后的显示结果。

然后，以式(24)统计每个区间的像素亮度系数，做出统计结果图，如图11c、11d所示。

式(24)中，是亮度系数区间值，指第个亮度系数区间的像素数目，在统计前，的默认值均为0。

若统计结果图分布均匀，亮度大的区间所占比重较大(即最后三个亮度系数区间分别和包含最多像素数目的亮度系数区间比较，根据二者所属像素数目比值情况界定：最大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的10％；次大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的50％；第三大亮度系数区间的像素数目超过最多像素数目的亮度系数区间像素数目的70％，上述三种情况满足其中之一)，如图11d所示，则证明光线分布均匀，判断其无反光区域。

若统计结果图分布不均匀，判断其有反光区域，则以5×5的模板扫描眼镜区域，定位眼镜中亮度最大的位置。且根据直方图的亮度区间设定一个阈值，以该阈值对图像进行二值化，选取二值图像中包含亮度系数最大点的区域，作为眼镜的反光区域，如图12所示。

该方法对人脸图像中所佩戴的眼镜是否有边框、边框宽度、镜片是否带色以及镜片是否存在反光等属性进行检测，有助于提升人脸检测和人脸识别的性能，能有效判断在线上传的证件照所佩戴的眼镜是否符合标准，适用于人脸识别、出入境证件照检测、上传照片在线检测等。