结合深度信息的人脸识别方法、人脸识别装置和电子装置

摘要

本发明公开了一种结合深度信息的人脸识别方法，所述人脸识别方法包括以下步骤：处理成像装置采集的场景数据以得到人脸区域的特征数据；在数据库中寻找是否存在与所述特征数据匹配的特征模板；在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息；在所述数据库中寻找是否存在与所述深度信息匹配的深度模板；在不存在所述深度模板时确定人脸识别失败。本发明还公开了一种人脸识别装置和电子装置。本发明实施方式的人脸识别方法、人脸识别装置和电子装置基于获取到的人脸区域及人脸区域的深度信息进行人脸的识别，从而可以区分真实人脸和人脸图像，以提升人脸识别的安全性和可靠性。

说明书

技术领域

本发明涉及人脸识别技术，尤其涉及一种人脸识别方法、人脸识别装置和电子装置。

背景技术

人脸识别技术主要基于二维图像的分析，因此可能无法识别真实人脸和人脸图像，人脸识别的准确度下降。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供一种人脸识别方法、人脸识别装置和电子装置。

本发明实施方式的人脸识别方法包括以下步骤：

处理成像装置采集的场景数据以得到人脸区域的特征数据；

在数据库中寻找是否存在与所述特征数据匹配的特征模板；

在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息；

在所述数据库中寻找是否存在与所述深度信息匹配的深度模板；和

在存在所述深度模板时确定人脸识别成功。

在某些实施方式中，所述场景数据包括场景主图像，所述处理成像装置采集的场景数据以得到人脸区域的特征数据的步骤包括以下子步骤：

处理所述场景主图像以判断是否存在人脸；

在存在所述人脸时处理所述场景主图像以识别所述人脸区域；和

处理所述人脸区域以提取所述特征数据。

在某些实施方式中，所述人脸识别方法还包括以下步骤：

在不存在所述特征模板时确定人脸识别失败。

在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，所述在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息的步骤包括以下子步骤：

处理所述深度图像以获取对应所述人脸区域的深度数据；和

处理所述深度数据以得到所述人脸区域的深度信息。

在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，所述在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息的步骤包括以下子步骤：

处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；

处理所述深度数据以得到所述人脸区域的深度信息。

在某些实施方式中，所述人脸识别方法还包括以下步骤：

在存在所述深度模板时根据所述人脸区域和所述深度信息确定人像区域；

在所述数据库中寻找是否存在于所述人像区域匹配的轮廓模板；和

在存在所述轮廓模板时确定人脸识别成功。

在某些实施方式中，所述人脸识别方法还包括以下步骤：

在不存在所述轮廓模板时确定人脸识别失败。

本发明实施方式的人脸识别装置包括第一处理模块、第一匹配模块、第二处理模块、第二匹配模块和确定模块。所述第一处理模块用于处理成像装置采集的场景数据以得到人脸区域的特征数据；所述第一匹配模块用于在数据库中寻找是否存在与所述特征数据匹配的特征模板；所述第二处理模块用于所述第二处理模块用于在存在所述特征模板时处理所述场景数据以得到所述人脸区域的深度信息；所述第二匹配模块用于在所述数据库中寻找是否存在与所述深度信息匹配的深度模板；所述确定模块用于在不存在所述深度模板时确定人脸识别失败。

在某些实施方式中，所述场景数据包括场景主图像，所述第一处理模块包括第一处理单元、第二处理单元、第三处理单元。所述第一处理单元用于处理所述场景主图像以判断是否存在人脸；所述第二处理单元在存在所述人脸时处理所述场景主图像以识别所述人脸区域；所述第三处理单元用于处理所述人脸区域以提取所述特征数据。

在某些实施方式中，所述确定模块还用于在不存在所述特征模板时确定人脸识别失败。

在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，所述第二处理模块包括第四处理单元和第五处理单元。所述第四处理单元用于处理所述深度图像以获取对应所述人脸区域的深度数据；所述第五处理单元用于处理所述深度数据以得到所述人脸区域的深度信息。

在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，所述第二处理模块包括第六处理单元和第七处理单元。所述第六处理单元用于处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；所述第七处理单元用于处理所述深度数据以得到所述人脸区域的深度信息。

在某些实施方式中，人脸识别装置还包括第四处理模块和第五处理模块，所述第四处理模块用于在存在所述深度模板时根据所述人脸区域和所述深度信息确定人像区域；第五处理模块用于在所述数据库中寻找是否存在于所述人像区域匹配的轮廓模板；确定模块还可以用于在存在所述轮廓模板时确定人脸识别成功。

在某些实施方式中，所述确定模块还用于在不存在所述轮廓模板时确定人脸识别失败。

本发明实施方式的电子装置包括成像装置和上述的人脸识别装置。

在某些实施方式中，所述电子装置包括手机和/或平板电脑。

在某些实施方式中，所述成像装置包括主摄像头和副摄像头。

在某些实施方式中，所述成像装置包括摄像头和投射器。

在某些实施方式中，所述成像装置包括TOF深度摄像头。

本发明实施方式的人脸识别方法、人脸识别装置和电子装置基于获取到的人脸区域及人脸区域的深度信息进行人脸的识别，从而可以区分真实人脸和人脸图像，以提升人脸识别的安全性和可靠性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的结合深度信息的人脸识别方法的流程示意图；

图2是本发明实施方式的电子装置的功能模块示意图；

图3是本发明实施方式的电子装置的平面示意图；

图4是本发明某些实施方式的结合深度信息的人脸识别方法的流程示意图；

图5是本发明某些实施方式的第一处理模块的功能模块示意图；

图6是本发明某些实施方式的结合深度信息的人脸识别方法的状态示意图；

图7是本发明某些实施方式的结合深度信息的人脸识别方法的流程示意图；

图8是本发明某些实施方式的第二处理模块的功能模块示意图；

图9是本发明某些实施方式的结合深度信息的人脸识别方法的流程示意图；

图10本发明某些实施方式的第二处理模块的功能模块示意图；

图11是本发明某些实施方式的结合深度信息的人脸识别方法的流程示意图；

图12本发明某些实施方式的电子装置的功能模块示意图；和

图13是本发明某些实施方式的结合深度信息的人脸识别方法的状态示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1至3，在某些实施方式中，结合深度信息的人脸识别方法包括以下步骤：

S11：处理成像装置20采集的场景数据以得到人脸区域的特征数据；

S12：在数据库中寻找是否存在与所述特征数据匹配的特征模板；

S13：在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息；

S14：在所述数据库中寻找是否存在与所述深度信息匹配的深度模板；和

S15：在不存在所述深度模板时确定人脸识别失败。

本发明实施方式的人脸识别方法可以由本发明实施方式的人脸识别装置10实现。

本发明实施方式的人脸识别装置10包括第一处理模块11、第一匹配模块12、第二处理模块13、第二匹配模块14和确定模块15。步骤S11可以由第一处理模块11实现，步骤S12可以由第一匹配模块12实现，步骤S13可以由第二处理模块13实现，步骤S14可以由第二匹配模块14实现，步骤S15可以由确定模块15实现。

也即是说，第一处理模块11用于处理成像装置20采集的场景数据以得到人脸区域的特征数据；第一匹配模块12用于在数据库中寻找是否存在与所述特征数据匹配的特征模板；第二处理模块13用于在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息；第二匹配模块14用于在所述数据库中寻找是否存在与所述深度信息匹配的深度模板；确定模块15用于在不存在所述深度模板时确定人脸识别失败。

本发明实施方式的人脸识别装置10应用于本发明实施方式的电子装置100。也即是说，本发明实施方式的电子装置100包括人脸识别装置10。当然电子装置100还包括成像装置20。其中，人脸识别装置10和成像装置20电连接。

可以理解，当前人脸识别的安全应用技术主要是基于二维人脸的识别。但二维人脸识别无法区分真实人脸和人脸图像，安全性较低，此外，二维人脸识别易受光照、姿态、化妆、表情、年龄等变化因素的影响，人脸识别的准确率比较低。而本发明实施方式的人脸识别算法是基于三维人脸的识别。本发明实施方式的人脸识别算法首先进行二维人脸的识别，在二维人脸识别成功后再通过获取到的人脸区域的深度信息进行三维人脸识别。如此，一方面可以根据深度信息区分真实人脸和人脸图像，提升安全性和可靠性，另一方面深度信息的获取不易受光照、姿态、化妆、表情、年龄等变化因素的影响，成像装置20获得的深度信息较为准确，可以提升人脸识别的准确率。再者，与某些复杂的三维人脸识别技术相比，深度信息的获得和处理的计算复杂度低，因此可以提高识别速度，降低成本。

在某些实施方式中，电子装置100包括手机和/或平板电脑，在此不作任何限制。在本发明的具体实施例中，电子装置100为手机。

可以理解，手机中存放有通讯录、图像、聊天记录等多种涉及个人隐私的信息，因此，现有的手机通常设有加密功能以防止他人窃取自己的隐私信息。手机中的加密方法通常包含有数字密码、指纹识别、人脸识别等方法。手机中的解锁功能采用本发明实施方式的人脸识别算法可以极大地提高手机加密的安全性能。

请参阅图4，在某些实施方式中，场景数据包括场景主图像，步骤S11处理成像装置20采集的场景数据以得到人脸区域的特征数据的步骤包括以下子步骤：

S111：处理所述场景主图像以判断是否存在人脸；

S112：在存在所述人脸时处理所述场景主图像以识别人脸区域；和

S113：处理所述人脸区域以提取所述特征数据。

请参阅图5，在某些实施方式中，第一处理模块11包括第一处理单元111、第二处理单元112和第三处理单元113。步骤S111可以由第一处理单元111实现，步骤S112可以由第二处理单元112实现，步骤S113可以由第三处理单元113实现。

也即是说，第一处理单元111用于处理所述场景主图像以判断是否存在人脸；第二处理单元112用于在存在所述人脸时处理所述场景主图像以识别人脸区域；第三处理单元113用于处理所述人脸区域以提取所述特征数据。

请参阅图6，可以理解，人脸识别首先要检测是否存在人脸，在存在人脸时才能进行后续的识别操作。随后对场景主图像中的人脸区域进行识别以提取场景数据中人脸区域对应的特征数据，特征数据可以用于步骤S12中与数据库中的数据进行匹配。其中，场景主图像为RGB图像，特征数据表征的是人脸的二维信息。

在本发明的具体实施例中，可以采用Adaboost算法进行人脸检测。Adaboost算法易编码且泛化错误率低，可以提升人脸检测的准确性。

在某些实施方式中，人脸识别算法还包括步骤：

在不存在所述特征模板时确定人脸识别失败。

在某些实施方式中，确定模块15还用于在不存在所述特征模板时确定人脸识别失败。

可以理解，若在数据库中无法找到与人脸区域的特征数据匹配的模板，说明当前的人脸对应的特征数据在数据库中不存在，无法通过安全验证。

请参阅图7，在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的深度图像，步骤S13在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息包括以下子步骤：

S131：处理所述深度图像以获取对应所述人脸区域的深度数据；和

S132：处理所述深度数据以得到所述人脸区域的深度信息。

请参阅图8，在某些实施方式中，第二处理模块包括第四处理单元131和第五处理单元132。步骤S131可以由第四处理单元131实现，步骤S132可以由第五处理单元132实现。

也即是说，第四处理单元131用于处理所述深度图像以获取对应所述人脸区域的深度数据；第五处理单元132用于处理所述深度数据以得到所述人脸区域的深度信息。

可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为RGB彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，在场景主图像中检测到人脸区域时，即可在对应的深度图像中获取到人脸区域的深度信息。

需要说明的是，在场景主图像中，人脸区域表现为二维图像，但由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的，如当人脸正对成像装置20时，拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在本发明的具体实施例中，处理人脸区域的深度数据得到的人脸区域深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到，或通过对人脸区域的深度数据取中值得到。

在某些实施方式中，与场景主图像对应的深度图像的获取方式包括采用结构光深度测距获取深度图像及采用TOF深度摄像头获取深度图像两种方式。

采用结构光深度测距获取深度图像时，成像装置20包括摄像头和投射器。

可以理解，结构光深度测距是利用投射器将一定模式的光结构投射于物体表面，在表面形成由被测物体形状所调制的光条三维图像。光条三维图像由摄像头探测从而获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置和物体表面形廓或高度。沿光条显示出的位移与物体表面的高度成比例，扭结表示了平面的变化，不连续显示表面的物理间隙。当投射器与摄像头之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面的三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度。

采用TOF深度摄像头获取深度图像时，成像装置20包括TOF深度摄像头。

可以理解，TOF(time of flight)深度摄像头通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。TOF深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图9，在某些实施方式中，所述场景数据包括场景主图像和与所述场景主图像对应的场景副图像，步骤S13在存在所述特征模板时处理所述场景数据以得到人脸区域的深度信息包括以下子步骤：

S133：处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；

S134：处理所述深度数据以得到所述人脸区域的深度信息。

请参阅图10，在某些实施方式中，第二处理模块13包括第六处理单元133和第七处理单元134。步骤S133可以由第六处理单元133实现，步骤S134可以由第七处理单元134实现。

也即是说，第六处理单元133用于处理所述场景主图像和所述场景副图像以得到所述人脸区域的深度数据；第七处理单元134用于处理所述深度数据以得到所述人脸区域的深度信息。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到。双目立体视觉测距是运用两个相同的摄像头对同一被摄物从不同的位置成像以获得被摄物的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。此外，人脸区域的深度信息也可以是一个数值范围。

请参阅图11，在某些实施方式中，人脸识别算法还包括以下步骤：

S16：在存在所述深度模板时根据所述人脸区域和所述深度信息确定人像区域；

S17：在所述数据库中寻找是否存在于所述人像区域匹配的轮廓模板；和

S18：在存在所述轮廓模板时确定人脸识别成功。

请参阅图12，在某些实施方式中，人脸识别装置还包括第四处理模块16、第五处理模块17。步骤S16可以由第四处理模块16实现，步骤S17可以由第五处理模块17实现，步骤S18可以由确定模块15实现。

也即是说，第四处理模块16用于在存在所述深度模板时根据所述人脸区域和所述深度信息确定人像区域；第五处理模块17用于在所述数据库中寻找是否存在于所述人像区域匹配的轮廓模板；确定模块15还可以用于在存在所述轮廓模板时确定人脸识别成功。

请参阅图13，可以理解，在找到与人脸区域的深度信息匹配的深度模板后，可以对人脸区域对应的人像区域进行轮廓模板匹配。人像区域可包含身高、肩宽等信息，若在数据库中找到与人像区域匹配的轮廓模板，则表明人脸识别成功。由于人像区域的轮廓匹配在人脸区域及人脸区域的深度模板成功匹配的前提下进行的，因此，人像区域的轮廓匹配可以进一步地提升人脸识别得安全性。

其中，人像区域可以由人脸区域及人脸区域的深度信息确定。可以理解，人像区域包含人脸区域，也即是说，人像区域与人脸区域处于同一深度范围内。因此，确定人脸区域的深度范围后，可根据人脸区域的深度范围设定合适的范围阈值以确定人像区域的深度范围。随后，根据深度信息与场景主图像间一一对应的关系可以获取人像区域及人像区域的轮廓。

在某些实施方式中，人脸识别算法还包括步骤：

在不存在所述轮廓模板时确定人脸识别失败。

在某些实施方式中，确定模块15还可以用于在不存在所述轮廓模板时确定人脸识别失败。

可以理解，若在数据库中未找到与人像区域匹配的轮廓模板，则表明上述人像区域不属于该数据库中的数据，无法通过安全验证。

在某些实施方式中，电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；人脸识别装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人脸识别方法。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。