一种基于数据增强的部分遮挡人脸识别方法

摘要

本发明公开了一种基于数据增强的部分遮挡人脸识别方法，运用了人工智能的深度卷积神经网络，多次进行人脸对齐，五官检测，人脸特征提取，人脸匹配；通过数据增强的原理，通过对标准人脸的遮挡物进行遮挡种类预判断，对遮挡人脸的身份预判断对标准人脸的遮挡物进行遮挡种类预判断，整合两次预判断结果进行数据增强，以标准人脸为基础，重构遮挡人脸库，最后通过原始遮挡人脸与重构遮挡人脸库进行匹配。该技术解决了现有的遮挡人脸识别方法存在因遮挡导致特征信息丢失，人脸识别难度增大，识别准确率降低的技术难题，实现了提高遮挡人脸识别精度和效率的技术效果。

说明书

技术领域

本发明涉及人脸识别技术领域，具体地，涉及一种基于数据增强的部分遮挡人脸识别方法。

背景技术

人脸识别作为重要的机器视觉技术，在人工智能领域发挥重大作用。在实际人脸图像处理过程中，人脸图像的遮挡特别是重要特征遮挡的情景(如因墨镜导致的眼睛遮挡、口罩导致的嘴部遮挡)出现频率较高。遮挡的人脸区域很难提取出真实准确的特征描述，特征描述的不准确性大幅度增加人脸识技术的难度，若使用传统机器视觉识别方法，必然会导致识别精度的大幅下降。人脸识别技术需面临遮挡、光照、表情，姿势等技术难关，而如何高精度解决人脸遮挡问题是最大难题。目前国内外研究都能未能理想的解决面部遮挡问题，如何快速、高精度地进行遮挡人脸的识别，已成为近年来人脸图像处理的研究难点之一。

人脸识别作为最常用的生物识别技术，广泛应用于罪犯身份识别系统，海关及银行的监控系统，日常生活的自动门卫系统，办公考勤系统等。在多数场景下，识别结果容易受到人脸局部遮挡造成信息缺失的干扰。对安保系统而言，遮挡人脸带来巨大安全隐患。若犯罪分子尝试使用墨镜、口罩等方式刻意遮挡面部，则可防止监控系统记录下全部的人脸信息，从而达到逃避法律惩罚的目的。运用高精度遮挡人脸识别技术可通过处理犯罪分子的监控信息，将其刻意遮挡的面部与其真实身份相匹配，进而对犯罪行为进行主动防御；对整个人脸识别系统而言，高精度遮挡人脸识别技术可提高人脸识别精度，增强系统的泛化能力。因此，人脸遮挡分析与识别技术是对人脸识别系统与安防系统的完善，具有很髙的实际应用价值。

现有技术中的相关技术如下：

对遮挡人脸进行直接识别：遮挡人脸的识别传统方法可使用光学，场量法(零空间保局投影法NDLPP、维数增加法CODI、分类法VariantFaces等)和代数解析(主成分分析方法PCA，支持向量机SVM等)的方式，直接对遮挡人脸进行识别。

通过还原遮挡部分对人脸进行识别：对于人脸遮挡问题，解决方法是对遮挡区域进行人脸重建，还原被遮挡部分，再用重建后无遮挡的人脸图像进行人脸的识别。现有的人脸重建方法，如迭代PCA、缺口PCA等，能够快速地对遮挡区域进行人脸重建，有效提高人脸识别正确率。

通过数据增强，对标准人脸增加遮挡，进行人脸识别：该方案已有两个专利：CN200910093261-墨镜遮挡下的人脸识别方法和系统-申请公开，CN201410180720-一种人脸识别方法及系统-申请公开。请参考表1，表2。

表1

表2

专利名称一种人脸识别方法及系统遮挡物来源从遮挡人脸中提取。匹配的标准人脸库匹配库中存在带标签的遮挡人脸。处理量单张人脸。对重构图片进行操作匹配失败后进行多次人脸调整操作。人脸特征提取方法定位特征算子(Local Binary Pattern，简称：LBP)。遮挡物判断方法分类器：支持向量机Support Vector Machine(SVM)。人脸对齐方法SDM方法。运用方法传统机器视觉方法。

综上所述，本申请发明人在实现本申请发明技术方案的过程中，发现上述技术至少存在如下技术问题：

1.在现有技术无法处理海量遮挡人脸的情况；2.现有技术无法对遮挡人脸进行快速识别相应，识别速度慢，实时性差；3.现有技术使用传统机器视觉方法，遮挡人脸识别精度底；4.现有技术多停留在研究阶段，无法运用于实际场景。

发明内容

本发明提供了一种基于数据增强的部分遮挡人脸识别方法，解决了现有的遮挡人脸识别方法存在因遮挡导致特征信息丢失，人脸识别难度增大，识别准确率低，识别速度慢的技术难题，实现了提高遮挡人脸识别精度和效率的技术效果。

为解决上述技术问题，本申请提供了一种基于数据增强的部分遮挡人脸识别方法，所述方法包括：

步骤一：系统获得具有遮挡物的待识别人脸图片，人脸图片中遮挡物为墨镜或口罩；

步骤二：对待识别的遮挡人脸图片进行预处理，获得预处理后的遮挡人脸图片；

步骤三：对预处理后的遮挡人脸图片进行检测，获得图片中遮挡物信息；基于遮挡物信息对遮挡物的类型进行判断，若为墨镜遮挡，使用神经网络模型(代称DNN-1)对该墨镜进行分析处理，通过TOP-N分析方法，获得与该墨镜类型相似的G款匹配墨镜，G为大于等于1的正整数；若为口罩遮挡，使用神经网络模型(代称DNN-2)对该口罩进行分析处理，通过TOP-N分析方法，获得与该口罩类型相似的G款匹配口罩，M为大于等于1的正整数；

步骤四：若为墨镜遮挡，使用卷积神经网络模型(代称CNN-1)，对匹配的G款墨镜或进行轮廓与关键点检测；若为口罩遮挡，使用卷积神经网络模型(代称CNN-2)，对匹配的M款口罩进行轮廓与关键点检测；为步骤九的标准人脸遮挡重构做数据准备；

步骤五：使用多任务检测卷积神经网络(Multi-task convolutional neuralnetworks，简称mtcnn)，对预处理后的遮挡人脸图片进行关键5点检测，并按照未遮挡的标准人脸的人脸对齐方式，对预处理后的遮挡人脸进行人脸对齐操作，使预处理后的遮挡人脸图片与未遮挡的标准人脸图片有相同的人脸对齐方式(标准人脸库中无遮挡，含有人脸的身份标签，且包包含待识别人脸的身份标签)；调用公开的dllb库，得到遮挡人脸的轮廓与五官关键点68点信息(因为遮挡，导致关键点不足68点)；

步骤六：基于深度卷积神经网络模型(代称CNN-3)，对进行人脸对齐操作后的遮挡人脸图片进行特征信息提取处理，得到多维特征信息information1；

步骤七：基于步骤六提取出的特征信息，在有身份标签、无遮挡的标准人脸数据库中，对待识别的遮挡人脸图片进行身份匹配，根据TOP-N分析方法，按照相似程度，在标准人脸 数据库中匹配出与待识别遮挡人脸图片相似的N张标准人脸，N为大于等于1的正整数；

步骤八：使用mtcnn与dllb方法，对匹配得到的N个标准人脸进行人脸检测，得到标准人脸5点与68点的面部轮廓及其五官等关键点信息；

步骤九：使用步骤四的遮挡物匹配信息与步骤五中的遮挡物关键点提取信息，若待识别的遮挡人脸的遮挡物为墨镜遮挡，则对匹配的有标签、无遮挡的标准人脸按照眼部轮廓和眼部中心等关键点进行墨镜轮廓和墨镜中心等关键点的映射，重构戴墨镜遮挡人脸；若待识别的遮挡人脸的遮挡物为口罩遮挡，则对匹配的有标签、无遮挡的标准人脸按照面部轮廓和鼻子中心等关键点进行口罩轮廓和口罩中心等关键点的映射，重构戴口罩遮挡人脸；

步骤十：根据步骤九中的重构遮挡人脸图片，建立带标签的遮挡人脸数据库：若遮挡为墨镜，则构建墨镜遮挡人脸数据库；若遮挡为口罩，则构建口罩遮挡人脸数据库；

步骤十一：使用同步骤六的深度卷积神经网络模型(代称CNN-3)，对重构的遮挡人脸进行特征信息提取处理，得到多维特征信息information2；

步骤十二：将提取出原始遮挡人脸特征信息information1与重构遮挡人脸的特征信息information2，通过比较其欧氏距离，进行原始遮挡人脸的身份匹配，基于匹配结果实现遮挡人脸的识别。

进一步的，由于图片为场景图像，存在不同的成像特性，如图片大小不一、光照不均等，所以可以通过图片的预处理，可以提高五官的定位和人脸识别的正确率与速度。对待识别人脸图片进行预处理，具体包括：对图片尺寸进行的归一化处理，对图片颜色进行均值化处理，对图片进行颜色增强处理。

进一步的，对待识别人脸图片进行预处理还包括：按网络需求进行灰度图转化操作处理。

进一步的，所述对该墨镜进行分析处理，具体为：运用神经网络，对墨镜的进行检测识别，通过TOP-N分析方法该墨镜类别进行匹配。TOP-N分析方法为(N表示可变整数)：通过神经网络(代称DNN-1)的检测与识别，从大量墨镜数据集中得到G个与遮挡墨镜最为类似的墨镜，进而减小匹配的墨镜的数据量，提高精度。

进一步的，所述对该口罩进行分析处理，具体为：运用神经网络，对口罩的进行检测，通过TOP-N分析方法该口罩类别进行匹配。TOP-N分析方法为(N表示可变整数)：通过神经网络(代称DNN-2)的检测与识别，从大量口罩数据集中得到M个与遮挡口罩最为类似的口罩，进而减小匹配的口罩的数据量，提高精度。

进一步的，所述步骤5具体为：

使用多任务检测卷积神经网络(Multi-task convolutional neural networks，简称mtcnn)，对预处理后的遮挡人脸图片进行人脸5点检测，并按照未遮挡的标准人脸的人脸对 齐方式，对预处理后的遮挡人脸进行人脸对齐操作；其中，5点为：左眼的中心点、右眼的中心点、鼻子的中心点、嘴巴的左角点与右角点，使预处理后的遮挡人脸与无遮挡的标准人脸有相同的对齐方式。调用公开的dllb库，得到遮挡人脸的轮廓与五官关键点68点信息；其中68点为：面部轮廓17点，左眉5点，右眉5点，左眼6点，右眼6点，鼻梁4点，鼻翼5点，嘴部轮廓20点。68点标注能够勾勒人脸的轮廓与定位五官信息；

进一步的，所述步骤十具体为：

建立带标签的遮挡人脸数据库：若遮挡为墨镜，则构建墨镜遮挡人脸数据库，根据遮挡人脸匹配的N个标准人脸，墨镜匹配的G个墨镜，数据库大小为N*G；若遮挡为口罩，则构建口罩遮挡人脸数据库，根据遮挡人脸匹配的N个标准人脸，口罩匹配的M个口罩，数据库大小为N*M。

进一步的，步骤三、四与步骤五、六、七、八可并行。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

基于数据增强的部分遮挡人脸识别方法运用了人工智能的深度神经网络，多次进行人脸对齐，五官检测，人脸特征提取，人脸匹配，相比传统的机器视觉方法提高了遮挡人脸识别准确度，加快了遮挡人脸识别的速度。

进一步的，本申请中的技术方案运用数据增强的原理，对遮挡人脸图片中的遮挡物进行遮挡物预判断，高精度匹配到人脸遮挡物；对遮挡人脸进行身份预判断，高精度匹配到无遮挡、带有身份标签的标准人脸。将两次预判断结果进行整合，得到有遮挡、带有身份标签的重构遮挡人脸库。最后对图片中经过预处理的原始遮挡人脸与重构遮挡人脸库进行匹配，实现遮挡人脸的识别。两次预判与人脸库重构从概率上提高了匹配精度匹配。

进一步的，本申请中的技术方案能够快速批处理大规模遮挡人脸数据集。通过并行技术与神经网络的运用，保证人脸识别系统的高吞吐量，提高实时性，进而对海量遮挡人脸的数据集提供高精度、低延时的响应。该特性保证系统可用于大场景下的遮挡人脸识别，例如路口，安检处，银行及其周边，敏感地带的安全监控等。

进一步的，通过遮挡数据的预处理，减少后续计算复杂度，提高后续计算效率，保证系统的响应速度。

进一步的，运用深度学习的方式解决遮挡人脸问题，具有很好的延展性，可在此基础上嫁接其他人工智能的方法用于解决机器视觉方面挑战，网络空间安全方面难题。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请中基于数据增强的部分遮挡人脸识别方法的流程示意图；

图2是本申请中人脸面部68点信息示意图；

图3是本申请中人脸面部5点信息示意图；

图4是本申请中墨镜23点示意图；

图5是本申请中口罩25点示意图。

具体实施方式

本发明提供了一种基于数据增强的部分遮挡人脸识别方法，解决了现有的遮挡人脸识别方法存在因遮挡导致特征信息丢失，人脸识别难度增大，识别准确率低，识别速度慢的技术难题，实现了提高遮挡人脸识别精度和效率的技术效果。

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本申请提供了一种基于数据增强的部分遮挡人脸识别方法，具体包括：

步骤一：系统获得具有遮挡物的待识别人脸图片，图片中只存在墨镜或者口罩一种遮挡；

步骤二：对具有遮挡人脸的图片进行预处理操作：图片尺寸的归一化处理，图片颜色均值化处理，图片颜色增强，按神经网络需求进行灰度图转化操作。

步骤三：将预处理后的遮挡人脸图片进行遮挡物检测，若为墨镜遮挡，则使用神经网络(代称DNN-1)对该墨镜进行分析处理，使用TOP-N分析方法，获得与该墨镜类型相似的G款匹配墨镜，G为大于等于1的正整数，从而锁定遮挡墨镜范围；若为口罩遮挡，则使用神经网络(代称DNN-2)对该口罩进行分析处理，获得与该口罩类型相似的G款匹配口罩，M为大于等于1的正整数，从而锁定遮挡口罩范围。

步骤四：对遮挡物进行关键点检测。若为墨镜遮挡，使用卷积神经网络(代称CNN-1)，则对匹配的G款墨镜进行轮廓与关键点检测，共检测23点；若为口罩遮挡，使用卷积神经网络(代称CNN-2)，则对匹配的M款口罩进行轮廓与关键点检测，共检测25点。此步骤为步骤九做准备，即对标准人脸进行墨镜或口罩遮挡重构；

步骤五：使用多任务检测卷积神经网络(Multi-task convolutional neuralnetworks，简称mtcnn)，得到人脸的5点信息，并按照未遮挡的标准人脸的人脸对齐方式，对预处理后的遮挡人脸进行人脸对齐操作，使预处理后的遮挡人脸图片与未遮挡的标准人脸图片有相同 的人脸对齐方式(标准人脸库中无遮挡，含有人脸的身份标签，且包包含待识别人脸的身份标签)。通过调用公开的dllb库，对遮挡的人脸进行68点检测(由于遮挡部分的检测导致检测出的点不够68点)，检测出脸部轮廓、五官信息。五点信息为：左眼中心为1点，右眼中心为1点，鼻子中心为1点，左边嘴角为1点，右边嘴角为1点。5点对齐可将多角度人脸调整为统一角度，同时调整双眼与鼻子，嘴角的相对位置。面部68点信息为：面部轮廓17点，左眉5点，右眉5点，左眼6点，右眼6点，鼻梁4点，鼻翼5点，嘴部轮廓20点。68点标注能够勾勒人脸的轮廓与定位五官信息，提高人脸识别精度。具体68点如图2，5点如图3。

步骤六：基于深度卷积神经网络(代称CNN-3)，对预处理后的遮挡人脸图片进行特征信息提取处理，得到多维特征信息information1。

步骤七：通过提取的特征信息，运用TOP-N分析方法，在有身份标签、无遮挡的标准人脸数据库中，对待识别的遮挡人脸图片进行身份匹配，按照相似程度，在标准人脸数据库中匹配出与待识别遮挡人脸图片相似的N张标准人脸，N为大于等于1的正整数。匹配人脸数量N的数量选择，原则上是在保证高匹配精确度的情况下N的大小尽可能小。N的大小取决于遮挡人脸识别系统的运用场景复杂度，其中涉及到系统的标准人脸库的大小(待识别的遮挡人脸匹配身份必须包含在标准人脸库的标签中)，待识别的遮挡人脸数量，同一时间内遮挡人脸识别请求数，识别系统的响应时间要求，系统硬件支持程度。

步骤八：使用mtcnn与dllb方法，对匹配得到的N个标准人脸进行人脸检测，得到人脸5点与68点面部轮廓及其五官等关键点信息。

步骤九：使用步骤四的遮挡物匹配信息与步骤五中的遮挡物关键点提取信息，若待识别的遮挡人脸的遮挡物为墨镜遮挡，则对匹配的有标签、无遮挡的标准人脸按照眼部轮廓和眼部中心等关键点进行墨镜轮廓和墨镜中心等关键点的映射，重构戴墨镜遮挡人脸；若待识别的遮挡人脸的遮挡物为口罩遮挡，则对匹配的有标签、无遮挡的标准人脸按照面部轮廓和鼻子中心等关键点进行口罩轮廓和口罩中心等关键点的映射，重构戴口罩遮挡人脸。具体映射为：墨镜的长宽映射：墨镜宽度：人脸68点中的1点与墨镜的19点进行映射，人脸68点中的17点与墨镜的23点进行映射；墨镜高度：墨镜高度按照宽度映射，进行比例调整；墨镜的位置映射：人脸68点中的28点与墨镜20点映射，人脸5点中的1点与墨镜的20点映射，人脸五点中的2点与墨镜22点映射；其他作为辅助，调整映射。口罩的轮廓映射：人脸68点中的轮廓1-17点与口罩的1-17点映射，人脸68点中的28-31点与口罩的18-22点映射，人脸68点中的34点与口罩的22点映射，人脸68点中的52点与口罩的23点映射，人脸68点中的63点与口罩的24点映射，人脸68点中的58点与口罩的25点映射，其他作为辅助， 调整映射。

步骤十：根据步骤九中的重构遮挡人脸图片，新建带标签的遮挡人脸数据库：若遮挡为墨镜，则构建墨镜遮挡人脸数据库：根据遮挡人脸预匹配的N个无遮挡标准人脸，根据遮挡物墨镜预匹配的G个墨镜，N个标准人脸分别戴G个预匹配墨镜，数据库大小为N*G；若遮挡为口罩，则构建口罩遮挡人脸数据库，根据遮挡人脸预匹配的N个无遮挡标准人脸，根据遮挡物口罩预匹配M个口罩，N个标准人脸分别戴M个预匹配口罩，数据库大小为N*M。

步骤十一：使用同步骤六的深度卷积神经网络模型(代称CNN-3)，对重构的遮挡人脸进行特征信息提取处理，得到多维特征信息information2；

步骤十二：将提取出原始遮挡人脸特征信息information1与重构遮挡人脸的特征信息information2，通过比较其欧氏距离，进行原始遮挡人脸的身份匹配；通过TOP-N的方法，得到TOP-1，TOP-5，TOP-10的高精度匹配，实现遮挡人脸的识别。

申请人将本申请与现有技术中的两个专利进行了比较，以体现本申请的进步，请参考表3和表4，

表3

表4

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

基于数据增强的部分遮挡人脸识别方法运用了人工智能的神经网络，多次进行人脸对齐，五官检测，人脸特征提取，人脸匹配，相比传统的机器视觉方法提高了遮挡人脸识别准确度，加快了遮挡人脸识别的速度。

进一步的，本申请中的技术方案运用数据增强的原理，对遮挡人脸图片中的遮挡物进行遮挡物预判断，高精度匹配到人脸遮挡物；对遮挡人脸进行身份预判断，高精度匹配到无遮挡、带有身份标签的标准人脸。将两次预判断结果进行整合，得到有遮挡、带有身份标签的重构遮挡人脸库。最后对图片中经过预处理的原始遮挡人脸与重构遮挡人脸库进行匹配，实现遮挡人脸的识别。两次预判与人脸库重构从概率上提高了匹配精度匹配。

进一步的，本申请中的技术方案能够快速批处理大规模遮挡人脸数据集。通过并行技术与神经网络的运用，保证人脸识别系统的高吞吐量，提高实时性，进而对海量遮挡人脸的数据集提供高精度、低延时的响应。该特性保证系统可用于大场景下的遮挡人脸识别，例如路口，安检处，银行及其周边，敏感地带的安全监控等。

进一步的，通过遮挡数据的预处理，减少后续计算复杂度，提高后续计算效率，保证系统的响应速度。

进一步的，运用深度学习的方式解决遮挡人脸问题，具有很好的延展性，可在此基础上嫁接其他人工智能的方法用于解决机器视觉方面挑战，网络空间安全方面难题。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。