动态优化人脸识别中光线影响的方法与装置

摘要

本发明涉及图像处理技术领域，提供一种动态优化人脸识别中光线影响的方法与系统，包括：通过双目摄像头同时获取两个摄像头的数据，提取人脸特征值；优先使用红外摄像头数据进行人脸检测处理，检索红外人脸注册库进行识别，如成功匹配则进入红外人脸注册库的底库照片优化，如匹配不成功进入RGB摄像头的数据的人脸检测处理。本发明的动态优化人脸识别中光线影响的方法与系统，使用红外摄像头进行全过程人脸识别处理，可以使得人脸识别处理基本不再受外界光线条件影响，可极大的提升人脸识别技术及其各领域应用的环境鲁棒性。

说明书

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种动态优化人脸识别中光线影响的方法。

背景技术

人脸识别是人脸检测、活体检测、特征提取和人脸比对，并最终通过阈值判断，显示匹配结果的整个过程及相应的人脸识别应用。上述过程在使用前，需要预先注册人脸库，供人脸识别时在人脸库进行检索识别。由于RGB摄像头成像很大程度上受光线环境影响较大、在光线条件恶劣的情况下，人脸检测、活体检测以及人脸比对时效果会变得非常差。

为了解决上述问题，现有技术从两个方面进行了某种程度的改善，其一是将RGB摄像头升级为支持宽动态的摄像头，可以一定程度上增强不良光线场景下的成像效果调节能力，提升成像效果；其二是使用双目摄像头，在RGB摄像头的基础上，再增设一个红外成像摄像头，用于增强不良光线条件下活体检测的可用性。红外镜头成像，由于使用其主动发射的波长为850/940nm的红外光源的照射来成像（日常使用中慧根据不同的照射要求选择不同的红外波段），所以几乎不受外界光线影响，可以获得非常稳定的成像质量。

然而，上述改进虽然较好的解决了不良光线条件下的活体检测的可用性问题，但是没有解决不良光线条件对基于RGB摄像头数据的人脸检测、特征提取及人脸比对的不良影响。就整体人脸识别效果而言，并没有最大限度的排除人脸识别中光线条件的不良影响因素。

现有的人脸识别应用中，红外照片的注册只能在配置了红外摄像头设备端直接注册，注册效率低，在实际的大规模红外人脸库的应用中，几乎不具有实际可行性。这也是目前红外摄像头所产生的数据未能普遍应用于除活体检测以外的人脸识别处理的原因之一。

发明内容

本发明目的在于提供一种动态优化人脸识别中光线影响的方法，使用红外摄像头进行全过程人脸识别处理，可以使得人脸识别处理基本不再受外界光线条件影响，可极大的提升人脸识别技术及其各领域应用的环境鲁棒性。

为达成上述目的，本发明提出一种动态优化人脸识别中光线影响的方法，包括：

步骤1、通过具有RGB摄像头及红外摄像头的双目摄像头，同时获取两个摄像头的数据，在检测到人脸后，提取人脸特征值；

步骤2、优先使用红外摄像头数据进行人脸检测处理，检索红外人脸注册库进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征则进入红外人脸注册库的底库照片优化，如匹配不成功则根据RGB摄像头的数据是否检测到人脸进行人脸数据的重新采集或者进入RGB摄像头的数据的人脸检测处理；

其中，所述红外人脸注册库的底库照片优化包括使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；

所述RGB摄像头的数据的人脸检测处理包括响应于成功匹配到RGB人脸注册库内的人脸特征则进行红外照片质量检测，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的红外照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库。

优选地，在所述步骤2中，红外人脸注册库的底库照片优化的处理包括：

调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化的结果：

如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功；

如果需要进行红外人脸注册库的照片优化，则调用红外人脸照片质量评估模块进行检测，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的红外人脸照片质量时，进行动态替换，使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；完成该红外注册照片优化处理后，显示模块显示识别成功。

优选地，所述步骤2中，判断RGB摄像头的数据是否检测到人脸，如果未检测到，则返回步骤1进行人脸数据的重新采集，否则进入RGB摄像头的数据的人脸检测处理。

优选地，所述RGB摄像头的数据的人脸检测处理包括：如果未成功匹配到RGB人脸注册库内的人脸特征，则返回步骤1进行人脸数据的重新采集。

优选地，在所述步骤2中，红外图片质量检测包括：

调用红外人脸照片质量评估模块进行检测，如果当前与RGB摄像头同时采集的红外人脸照片质量低于红外人脸注册库中该人员的红外人脸照片质量时，则返回步骤1进行人脸数据的重新采集。

优选地，在添加注册该人员对应的红外人脸数据到红外人脸注册库后，完成该人员红外注册照片的首次自动注册处理，显示模块显示识别成功。

根据本发明，还提出一种动态优化人脸识别中光线影响的系统，包括：

设置在人脸识别设备的双目摄像头，包括RGB摄像头及红外摄像头，当人员通过时经由所述RGB摄像头及红外摄像头同时获取两个摄像头的数据，在检测到人脸后，提取人脸特征值；

至少一个计算设备，被设置成优先使用红外摄像头数据进行人脸检测处理，检索红外人脸注册库进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征则进入红外人脸注册库的底库照片优化，如匹配不成功则根据RGB摄像头的数据是否检测到人脸进行人脸数据的重新采集或者进入RGB摄像头的数据的人脸检测处理；

其中，所述红外人脸注册库的底库照片优化包括使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；

所述RGB摄像头的数据的人脸检测处理包括响应于成功匹配到RGB人脸注册库内的人脸特征则进行红外照片质量检测，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的红外照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库。

优选地，计算设备还被设置成：

调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化的结果：

如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功；

如果需要进行红外人脸注册库的照片优化，则调用红外人脸照片质量评估模块进行检测，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的红外人脸照片质量时，进行动态替换，使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；完成该红外注册照片优化处理后，显示模块显示识别成功。

优选地，至少一个计算设备，还被设置成：

在添加注册该人员对应的红外人脸数据到红外人脸注册库后，完成该人员红外注册照片的首次自动注册处理，显示识别成功。

优选地，所述双目摄像头设置在所述至少一个计算设备上。

如此，在具体的操作中，本发明的动态优化人脸识别中光线影响的方法操作如下：

步骤1、在人脸识别设备上设置双目摄像头，即RGB摄像头及红外摄像头，并同时获取两个摄像头的数据，并对红外摄像头数据优先进行人脸检测处理；在检测到人脸后，提取人脸特征值；

步骤2、使用获取的红外摄像头数据对应的人脸特征值，优先检索红外人脸注册库，进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征，则调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化，如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功；如果需要进行红外人脸注册库的照片优化，则进入步骤3；

步骤3、使用红外人脸照片质量评估模块进行计算，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的照片质量时，进行动态替换，动态更换为更高质量的红外人脸注册数据，完成红外人脸照片的优化处理后，显示模块显示识别成功；

步骤4、如步骤2在使用红外摄像头数据对应的人脸特征值检索红外人脸注册库时，未能识别到任何人员且RGB摄像头在步骤1未能检测到人脸，则返回步骤1重新开始新一轮检测人脸尝试，如RGB摄像头在步骤1已成功检测到人脸，则进入步骤2进一步使用RGB摄像头数据对应的人脸特征值去检索RGB人脸注册库；

步骤5、如步骤4中RGB人脸库检索处理未能识别到任何人员，则本次识别未能有效识别到人员，返回步骤1重新开始新一轮人脸检测尝试。如步骤4中RGB人脸库检索处理成功匹配到人脸特征（高于预设命中阈值），则调用红外人脸照片质量评估模块进行计算，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库（本关键处理，完成原先仅有RGB人脸注册数据的人员的红外人脸注册数据的初次自动注册）。在完成该人员红外注册照片的自动注册处理后，显示模块显示识别成功。

如此，通过本发明可实现在成功识别到RGB人脸注册库的相应人员后，自动检查该人员是否同时存在红外人脸注册数据。如不存在红外人脸注册数据时，在通过红外人脸成像质量自动评估后，将当前符合注册质量要求的红外人脸数据自动进行注册；并且在成功识别到红外人脸注册库的相应人员后，自动进行该人员的红外人脸注册照片可用性评估。如评估需要优化该人员的红外人脸注册照片，则在通过红外人脸成像质量自动评估后，将使用当前符合注册质量要求、且质量优于该人员已注册的红外人脸数据，自动更新其红外人脸注册数据。

附图说明

图1是本发明的动态优化人脸识别中光线影响方法的示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

结合图1所示的示例性流程，本发明的动态优化人脸识别中光线影响的方法，包括以下步骤：

步骤1、通过具有RGB摄像头及红外摄像头的双目摄像头，同时获取两个摄像头的数据，在检测到人脸后，提取人脸特征值；

步骤2、优先使用红外摄像头数据进行人脸检测处理，检索红外人脸注册库进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征则进入红外人脸注册库的底库照片优化，如匹配不成功则根据RGB摄像头的数据是否检测到人脸进行人脸数据的重新采集或者进入RGB摄像头的数据的人脸检测处理；

其中，所述红外人脸注册库的底库照片优化包括使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；

所述RGB摄像头的数据的人脸检测处理包括响应于成功匹配到RGB人脸注册库内的人脸特征则进行红外照片质量检测，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的红外照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库。

优选地，在所述步骤2中，红外人脸注册库的底库照片优化的处理包括：

调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化的结果：

如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功；

如果需要进行红外人脸注册库的照片优化，则调用红外人脸照片质量评估模块进行检测，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的红外人脸照片质量时，进行动态替换，使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；完成该红外注册照片优化处理后，显示模块显示识别成功。

优选地，所述步骤2中，判断RGB摄像头的数据是否检测到人脸，如果未检测到，则返回步骤1进行人脸数据的重新采集，否则进入RGB摄像头的数据的人脸检测处理。

优选地，所述RGB摄像头的数据的人脸检测处理包括：如果未成功匹配到RGB人脸注册库内的人脸特征，则返回步骤1进行人脸数据的重新采集。

优选地，在所述步骤2中，红外图片质量检测包括：

调用红外人脸照片质量评估模块进行检测，如果当前与RGB摄像头同时采集的红外人脸照片质量低于红外人脸注册库中该人员的红外人脸照片质量时，则返回步骤1进行人脸数据的重新采集。

优选地，在添加注册该人员对应的红外人脸数据到红外人脸注册库后，完成该人员红外注册照片的首次自动注册处理，显示模块显示识别成功。

根据本发明，还提出一种动态优化人脸识别中光线影响的系统，包括：

设置在人脸识别设备的双目摄像头，包括RGB摄像头及红外摄像头，当人员通过时经由所述RGB摄像头及红外摄像头同时获取两个摄像头的数据，在检测到人脸后，提取人脸特征值；

至少一个计算设备，被设置成优先使用红外摄像头数据进行人脸检测处理，检索红外人脸注册库进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征则进入红外人脸注册库的底库照片优化，如匹配不成功则根据RGB摄像头的数据是否检测到人脸进行人脸数据的重新采集或者进入RGB摄像头的数据的人脸检测处理；

其中，所述红外人脸注册库的底库照片优化包括使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；

所述RGB摄像头的数据的人脸检测处理包括响应于成功匹配到RGB人脸注册库内的人脸特征则进行红外照片质量检测，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的红外照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库。

优选地，计算设备还被设置成：

调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化的结果：

如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功；

如果需要进行红外人脸注册库的照片优化，则调用红外人脸照片质量评估模块进行检测，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的红外人脸照片质量时，进行动态替换，使用当前获得的红外人脸照片动态替换红外人脸注册库中已经注册的红外人脸照片；完成该红外注册照片优化处理后，显示模块显示识别成功。

优选地，至少一个计算设备，还被设置成：

在添加注册该人员对应的红外人脸数据到红外人脸注册库后，完成该人员红外注册照片的首次自动注册处理，显示识别成功。

优选地，所述双目摄像头设置在所述至少一个计算设备上。

如此，在具体的操作中，本发明的动态优化人脸识别中光线影响的方法操作如下：

步骤1、在人脸识别设备上设置双目摄像头，即RGB摄像头及红外摄像头，并同时获取两个摄像头的数据，并对红外摄像头数据优先进行人脸检测处理；在检测到人脸后，提取人脸特征值；其中RGB摄像头可能会因为光线条件差导致检测不到人脸，但不会影响本方法的人脸识别过程；（如后续处理中断会直接返回该步骤，重新获取两个摄像头的当前最新成像数据进行处理）

步骤2、使用获取的红外摄像头数据对应的人脸特征值，优先检索红外人脸注册库，进行人脸识别，如成功匹配到红外人脸注册库内的人脸特征（即高于预设命中阈值），则调用红外人脸注册库的可用性统计模块，对已注册的红外人脸照片进行检测，返回是否需要进行红外人脸注册库的照片优化，如不需要更新红外人脸注册库中的已注册的红外人脸照片，则由显示模块直接显示识别成功（成功通过红外摄像头采集的人脸数据识别到该人员）；如果需要进行红外人脸注册库的照片优化，则进入步骤3；

步骤3、使用红外人脸照片质量评估模块进行计算，在当前采集的红外人脸照片质量高于红外人脸注册库中该人员的照片质量时，进行动态替换（完成该人员已注册的红外人脸注册数据的自动优化，动态更换为更高质量的红外人脸注册数据，进而实现更好的红外识别通过效果），动态更换为更高质量的红外人脸注册数据，完成红外人脸照片的优化处理后，显示模块显示识别成功；

步骤4、如步骤2在使用红外摄像头数据对应的人脸特征值检索红外人脸注册库时，未能识别到任何人员（检索时，所有红外人脸比对预置均低于命中阈值）且RGB摄像头在步骤1未能检测到人脸，则返回步骤1重新开始新一轮检测人脸尝试，如RGB摄像头在步骤1已成功检测到人脸，则进入步骤2进一步使用RGB摄像头数据对应的人脸特征值去检索RGB人脸注册库；

步骤5、如步骤4中RGB人脸库检索处理未能识别到任何人员，则本次识别未能有效识别到人员，返回步骤1重新开始新一轮人脸检测尝试。如步骤4中RGB人脸库检索处理成功匹配到人脸特征（高于预设命中阈值），则调用红外人脸照片质量评估模块进行计算，在当前与RGB摄像头同时采集的红外人脸照片质量高于红外人脸注册库中该人员的照片质量时，添加注册该人员对应的红外人脸数据到红外人脸注册库（本关键处理，完成原先仅有RGB人脸注册数据的人员的红外人脸注册数据的初次自动注册）。在完成该人员红外注册照片的自动注册处理后，显示模块显示识别成功。

优选地，前述的可用性统计模块，被设置成基于日常使用过程中该人员的红外注册照片对应的识别通过性因素进行分析。在一些实施例中，基于该人员的红外注册照片对应的识别的概率进行分析，例如，检测10次，8次没有通过人脸认证，而仅通过2次，则表明识别通过性比较低，需要更换。这一阈值可以进行预设或者采用动态更新方式进行预置。

红外照片质量评估模块，可以采用现有技术中的评估算法，例如基于直方图的信息容量检测法、能量谱-熵检测法等，旨在对两个对比的红外照片进行质量评估。

如此，通过本发明可实现在成功识别到RGB人脸注册库的相应人员后，自动检查该人员是否同时存在红外人脸注册数据。如不存在红外人脸注册数据时，在通过红外人脸成像质量自动评估后，将当前符合注册质量要求的红外人脸数据自动进行注册；并且在成功识别到红外人脸注册库的相应人员后，自动进行该人员的红外人脸注册照片可用性评估。如评估需要优化该人员的红外人脸注册照片，则在通过红外人脸成像质量自动评估后，将使用当前符合注册质量要求、且质量优于该人员已注册的红外人脸数据，自动更新其红外人脸注册数据。

由此可见，通过本发明的动态优化人脸识别中光线影响方法可解决红外人脸数据预注册问题及红外人脸注册数据的自动质量优化机制，形成高可用的红外人脸注册库，为使用红外摄像头进行人脸识别提供数据基础。使用红外摄像头进行全过程人脸识别处理，可以使得人脸识别处理基本不再受外界光线条件影响，可极大的提升人脸识别技术及其各领域应用的环境鲁棒性。

传统的人脸识别过程中，红外照片的注册只能在设备端直接注册，效率低。通过本发明的方法，可直接直接导入正常的彩色照片注册，下发后即可使用。然后在正常使用过程中，逐步自动注册或优化红外注册照片。

而且，日常比对过程中，会碰到注册的照片与本人始终相似度低的情况，采用本发明方法中的自动优化更新的方法，可以通过日常使用中的统计分析，来确定照片是否需要优化为新的红外注册照片。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。