一种基于多角度人脸和环境信息的两级防欺骗检测方法

摘要

本发明公开了一种基于多角度人脸和环境信息的两级防欺骗检测方法，包括以下步骤：对检测区域内的人脸进行跟踪，对人脸进行多角度检测，将检测到的人脸图像按角度分类标记储存；根据检测出的人脸位置确定背景对比区域；在背景对比区域内对比当前人脸的背景和无人环境下的背景；判断检测到的人脸是否满足多角度人脸条件，判断背景对比区域内当前人脸的背景和无人环境下的背景的匹配度是否满足条件；两个条件均满足时则判定为当前检测到的人脸为真实人脸，否则判定当前检测到的人脸为人脸照片或视频；储存检测到的多角度人脸中的正脸图像。操作上对用户更加友好，可以快速高效进行人脸防欺骗检测，为人脸识别系统的安全性和可靠性提供保障。

说明书

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于多角度人脸和环境信息的两级防欺骗检测方法。

背景技术

在所有的生物特征识别技术中,人脸识别是最为自然的、可视化的一种生物身份识别方式,符合人类自身的生理视觉习惯,人类自身就是通过人脸来鉴别人的。近几年来，人脸识别技术迅速发展并得到了越来越广泛的应用，随之人脸识别的安全性也受到越来越多的关注，欺骗攻击则是人脸识别系统的致命威胁。经过几十年的发展,在人脸识别领域中,学者们已经提出了大量活体检测的技术和方法应用于用户容量小的企业考勤人脸识别系统中，而对于用户容量大、人流量多的地方，例如课程众多、学生容量大的高校，还未提出一种较好的防欺骗活体检测方法。

在通常情况下,人脸识别系统中面临着三种欺骗手段：

1.使用合法用户的照片；

2.使用合法用户的视频；

3.使用合法用户的三维模型。

使用合法用户相片进行欺骗攻击是最廉价和方便的手段，因为人脸照片非常容易得到，比如上网下载、摄像头拍摄等。视频欺骗可以呈现与真是人脸相同的活体运动效果，如眨眼运动、头部运动、表情运动等。而相对前两种欺骗手段，制造一个人脸的三维模型就显得要复杂得多，而且目前使用这种方式对人脸识别系统进行欺骗攻击的案例也比较少，所以我们目前暂时只针对照片和视频欺骗进行讨论研究。

申请公布号为CN 105260726 A的《基于人脸姿态控制的交互式视频活体检测方法及其系统》提出了一种交互式视频识别系统，其在进行人脸检测时，用户被要求完成系统所提示眨眼或者张嘴等动作，以过滤采用照片进行作假的用户。应用这种系统考勤会大大提高设备的成本，对每个人的活体检测要花较长时间，并且强烈依赖用户配合，不利于用户容量大、人流量多的地方适用；授权公告号为CN 100514353 C的《一种基于人脸生理性运动的活体检测方法及系统》提出了一种活体检测系统，此系统通过对检测区域内的人脸生理性活动的检测来区分真实人脸和照片人脸，而如果对此系统进行视频欺骗攻击，便可破解其活体检测方法，让系统变得不可靠；申请公布号为CN 103886301 A的《一种人脸活体检测方法》中的人脸活体检测分类器需要针对特定人单独进行训练，即每个注册人员对应一个人脸活体分类器，这种方式同样只适用于用户容量较小的企业考勤或特殊部门的考勤，当用户量过大时，显然对每个人单独训练一个活体分类器是很不经济的。

发明内容

本发明要解决的技术问题是，针对现有技术存在的上述缺陷，提供了一种基于多角度人脸和环境信息的两级防欺骗检测方法，操作上对用户更加友好，可以快速高效进行人脸防欺骗检测，为人脸识别系统的安全性和可靠性提供保障。。

本发明为解决上述技术问题所采用的技术方案是：

一种基于多角度人脸和环境信息的两级防欺骗检测方法，包括以下步骤：

1)对检测区域内的人脸进行跟踪，对人脸进行多角度检测，将检测到的人脸图像按角度分类标记储存；

2)根据检测出的人脸位置确定背景对比区域；

3)在背景对比区域内对比当前人脸的背景和无人环境下的背景；

4)判断检测到的人脸是否满足多角度人脸条件，判断背景对比区域内当前人脸的背景和无人环境下的背景的匹配度是否满足条件；

5)当步骤4)中的两个条件均满足时则判定为当前检测到的人脸为真实人脸，进入到下一步骤，否则判定当前检测到的人脸为人脸照片或视频；

6)储存检测到的多角度人脸中的正脸图像。

接上述技术方案，在所述步骤1)中，对人脸进行多角度检测是使用Haar-like特征和基于弱分类器调整的多分类Adaboost算法对检测到的人脸视频的每一帧图像进行人脸检测。

接上述技术方案，在步骤1)中，按角度将人脸图像分为三类，包括正脸类型、半侧脸类型和全侧脸类型，正脸类型包括以人脸正面为零点坐标转动[-20°，20°]的范围，半侧脸类型包括以人脸正面为零点坐标转动[-60°，-20°)和(20°，60°]的范围，全侧脸类型包括以人脸正面为零点坐标转动[-90°，-60°)和(60°，90°]的范围。

接上述技术方案，检测到的人脸图像按Key-Value储存在容器中，正脸范围内的人脸图像的value标记为1，半侧脸范围内的人脸图像的value标记为0，全侧脸范围内的人脸图像的value标记为-1。

接上述技术方案，所述步骤4)中，当检测同一个人脸，储存容器中依次值为1、0、-1的value时，则判断检测到人脸满足多角度人脸条件。

接上述技术方案，在所述步骤6)中，正脸图像即为value为1时的人脸图像，当判定检测到的人脸为真实人脸时，将正脸图像储存并送入识别系统。

接上述技术方案，所述步骤3)中，背景对比区域A位于为人脸左右两侧，背景对比区域不包含耳朵和头发的区域，背景对比区域的高度和人脸的高度相同，人脸宽度为d，在人脸左右两侧的背景对比区域A的宽度为1/8d～1/3d，背景对比区域A与同侧人脸边缘的距离为1/8d～1/3d。

接上述技术方案，所述步骤4)中，背景对比区域内当前人脸的背景和无人环境下背景的匹配成功率大于70％时，判断为匹配成功，满足背景环境匹配条件，否则匹配失败，不满足背景环境匹配条件。

本发明具有以下有益效果：

本发明提供的方法，是防止最常见的照片欺骗攻击和视频欺骗攻击的双保险，用户走近摄像头准备检测以及检测完成后转身离开的动作，就能检测到多角度人脸，所以这种方法不需用户配合，对用户极为友好，而准确高效地背景对比也使人脸防欺骗检测工作能迅速完成，不仅适用于用户容量小的企业考勤，更适用于用户容量大时的考勤，将多角度人脸检测和背景对比结合起来，便能得到一种快速、高效、对用户友好的人脸防欺骗检测法。

附图说明

图1是本发明实施例中基于多角度人脸和环境信息的两级防欺骗检测方法的流程图；

图2是本发明实施例中多角度人脸样本图；

图3是本发明实施例中背景对比区域；

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

参照图1所示，本发明提供的一个实施例中的基于多角度人脸和环境信息的两级防欺骗检测方法，包括以下步骤：

1)对检测区域内的人脸进行跟踪，对人脸进行多角度检测，将检测到的人脸图像按角度分类标记储存；

2)根据检测出的人脸位置确定背景对比区域；

3)在背景对比区域内对比当前人脸的背景和无人环境下的背景；

4)判断检测到的人脸是否满足多角度人脸条件，判断背景对比区域内当前人脸的背景和无人环境下的背景的匹配率是否满足条件；

5)当步骤4)中的两个条件均满足时则判定为当前检测到的人脸为真实人脸，进入到下一步骤，否则判定当前检测到的人脸为人脸照片或视频；

6)储存检测到的多角度人脸中的正脸图像。

进一步地，在所述步骤1)中，对人脸进行多角度检测是使用Haar-like特征和基于弱分类器调整的多分类Adaboost算法对检测到的人脸视频的每一帧图像进行人脸检测。

进一步地，所述的人脸图像是将检测到的人脸视频分帧处理而成。

进一步地，在步骤1)中，按角度将人脸图像分为三类，包括正脸类型、半侧脸类型和全侧脸类型，正脸类型包括以人脸正面为零点坐标转动[-20°,20°]的范围，半侧脸类型包括为以人脸正面为零点坐标转动[-60°,-20°)和(20°,60°]的范围，全侧脸类型包括以人脸正面为零点坐标转动[-90°,-60°)和(60°,90°]的范围，如图2所示，图2中第一行为正脸类型样本，第二行为半侧脸类型样本，第三行为全侧脸类型样本。

进一步地，检测到的人脸图像按Key-Value储存在容器中，正脸范围内的人脸图像的value标记为1，半侧脸范围内的人脸图像的value标记为0，全侧脸范围内的人脸图像的value标记为-1；在整个检测过程中，用户的人脸将会被跟踪，以防止在认证的中途用户人脸被切换。

进一步地，所述步骤4)中，当检测同一个人脸，储存容器中依次出现值为1、0、-1的value时，则判断检测到人脸满足多角度人脸条件，存储容器中依次出现表明人脸是连续的而不是中断的，也是作为判断是否为真实人脸的依据。

进一步地，在所述步骤6)中，正脸图像即为value为1时的人脸图像，当判定检测到的人脸为真实人脸时，将正脸图像储存并送入识别系统。

进一步地，所述步骤3)中，如图3所示，背景对比区域A位于为人脸左右两侧，背景对比区域不包含耳朵和头发的区域，背景对比区域的高度和人脸的高度相同，背景对比区域A的左右两侧宽度均为人脸宽度d的1/6，背景对比区域A与人脸边缘的距离为人脸宽度d的1/6。

进一步地，所述步骤4)中，背景对比区域内当前人脸背景和无人环境下背景的匹配成功率大于70％时，判断为匹配成功，满足背景环境匹配条件，否则匹配失败，不满足背景环境匹配条件。

进一步地，所述步骤4)中，背景对比区域内当前人脸的背景与无人环境下的背景的匹配成功率，是指当前检测到多张人脸图像中单张人脸图像的人脸背景与无人环境下的背景在背景对比区域内，匹配成功的数量在当前人脸图像的总数中的占比即为匹配成功率。

进一步地，单张人脸图像中人脸的背景与无人环境下的背景的匹配度大于70％时，即认为单张人脸图像的背景匹配成功。

进一步地，提取背景对比区域内当前人脸背景区域和无人环境下的背景区域，将提取的两个区域内的直方图进行匹配，当匹配数值大于0.7时，判断为匹配成功，否则匹配失败。

本发明的一个实施例中，本发明的工作原理：

对检测区域内人脸进行跟踪，并检测用户的多角度人脸：

对于输入视频的每一帧图像，使用Haar类似特征与基于弱分类器调整的多分类Adaboost算法检测人脸并对检测到的人脸分类。

Adaboost算法是Paul Viola和Michael Jones于2001年提出的。它是一种迭代算法，其基本思想是针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上得到分类器集合起来，构成一个最终的强分类器。

Adaboost算法要求弱分类器正确率大于1/2。但在多分类问题中，由于随机猜测的正确率只有1/k，与两类AdaBoost算法相比，多分类AdaBoost算法难以找到正确率大于1/2的弱分类器，可能导致在实际应用中得到的弱分类器个数不足，无法保证得到足够好的强分类器。

基于弱分类器调整的多分类Adaboost算法提出：如果既可以把对弱分类器正确率的要求降低到大于1/k，又可以通过限制生成低质弱分类器，就能确保得到足够强的强分类器。

在训练弱分类器时，判断该弱分类器的结果，在所有同属一类的样本的分类中，正确分类的样本的权值和是否比分到其他任意一类的权值和大。如果满足该条件则继续进行权值调整和下一次迭代。如果不满足，则可能是由于训练出的弱分类器不够好，可以在权值不变的情况下重新训练弱分类器，然后再次判断新的弱分类器是否满足上边所说的条件，如果满足进入下一次调整，不满足则重新训练弱分类器。经过此条件的限制，当T趋近于无穷时，分类正确的标签一定比分到其他各类的标签的数量多，最终分类器的错误率趋近于0。

假设m个样本序列{(x₁,y₁),(x₂,y₂),…,(x_m,y_m)}，其中y_i为类别，且y_i∈Y＝{1,2,…,K}，弱分类器h_t(x)。对于y_i＝P,P∈{1,2,…,K},弱分类器h_t(x)，在第P类样本的分类中，分到各类的概率为{p₁,p₂,…,p_K}，若有a＝P，则要求p_a>p_b,b∈{1,2,…,a-1,a+1,…,K}。若不满足此条件，则重新训练h_t(x)，直到训练出若分类h_t(x)满足上述条件。

本发明将检测到的人脸类型为正脸、半侧脸或全侧脸。其中正脸类型包括以人脸正面为零点坐标转动[-20°,20°]的范围，半侧脸类型包括以人脸正面为零点坐标转动[-60°,-20°)和(20°,60°]的范围，全侧脸类型包括以人脸正面为零点坐标转动[-90°,-60°)和(60°,90°]的范围。

训练分类器具体要求如下：

1)正例样本(包括正脸集、半侧脸集、全侧脸集)中的真人人脸图像应尽可能多地涵盖有无眼睛遮挡以及性别、年龄等的变化因素；

2)首先需要建立一个正脸库、一个半侧脸库和一个全侧脸库。分别用摄像头采集30个男生和30个女生面部头像，每个人对应30张正脸、20张左半侧脸、20张右半侧脸、20张左全侧脸、20张右全侧脸。采集速度为20fps，图像分辨率为640像素×480像素；

3)分别从网络上和用摄像头采集不同环境下的5000张非人脸的反例样本；

4)根据眼睛定位将所有图像转换成24×24像素的灰度人脸图像；

5)随机选取20个人的人脸图像(600张正脸、800张半侧脸、800张全侧脸)和3500张非人脸图像作为训练集，剩下的人脸图像和非人脸图像全部作为测试集；

6)依上述基于弱分类器调整的多分类Adaboost算法训练一个分类器，用来区分正脸、半侧脸、全侧脸和非人脸；

7)为了检测上述方法的效果，用测试集对分类器进行测试，测试结果如表1所示。

表1多角度人脸检测结果

类别正脸半侧脸全侧脸非人脸类型判断正确率95.62％86.34％90.45％100.0％

检测到人脸并进行分类后，将检测到的人脸图像按Key-Value储存在容器中，正脸的value为1，半侧脸的value为0，全侧脸的value为-1。

当检测到人脸后，就要进行当前人脸背景和无人环境背景的对比：

传统方法是将人脸检测前的环境背景保存下来，然后与检测时人脸背景进行对比。

但在人流量很多、环境背景极易被改变的地方，如学生容量大的高校课堂，人脸检测进行时的环境相比于人脸检测前刚打开摄像头的环境很可能发生较大变化，如进行检测时用户背后有人经过，空无一人的环境变成坐满人流的环境等。这时就会出现把真实人脸误判成视频人脸的情况，因为真实人脸的实际背景已经与刚打开摄像头时的环境背景不一样了，于是背景对比就会失败。

对比区域为人脸左右两侧不包含头发的区域，如图3的A区域所示，宽度为1/6d，范围为[rect.x-1/6d*2,rect.x-1/6d]和[rect.x+d+1/6d,rect.x+d+1/6d*2]，高度为人脸高度rect.Height，范围为[rect.y,rect.y+h]，其中rect为检测到人脸的矩形区域，d为检测到的人脸矩形区域rect的宽度rect.width。h为为检测到的人脸矩形区域rect的高度即rect.height。

然后将人脸背景的左右对比区域和和环境背景的左右对比区域的直方图进行对比，当【左区域-左区域】和【右区域-右区域】的直方图匹配系数加权后大于0.7，则背景对比成功，否则背景对比失败。

当检测到一个人的多角度人脸，即储存图像的容器中依次出现value为1，0，-1的图像key时，系统判断这是能检测到多角度人脸的动态人脸(活体人脸或视频人脸)而非静态照片人脸。

同时，当检测到多角度人脸时，计算得到这些多角度人脸的背景对比成功率，当这些帧人脸的背景对比成功率大于70％时，表示环境匹配成功，检测到的并非是视频人脸而是活体人脸。

综上所述，人脸活体检测是人脸识别系统不可缺少的一部分，人脸活体检测的性能的优劣，决定着人脸识别系统能否从理论研究走向实际应用，本发明提供的方法，是防止最常见的照片欺骗攻击和视频欺骗攻击的双保险，用户走近摄像头准备检测以及检测完成后转身离开的动作，就能检测到多角度人脸，所以这种方法不需用户配合，对用户极为友好。而准确高效地背景对比也使人脸防欺骗检测工作能迅速完成，不仅适用于用户容量小的企业考勤，更适用于用户容量大时的考勤。

以上的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等效变化，仍属本发明的保护范围。