一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质

摘要

本发明的实施例提供一种基于时空特征的人脸活体检测方法，通过获取人脸样本视频，提取人脸样本图像，构建基于时空特征的人脸活体检测网络，将人脸样本图像输入基于时空特征的人脸活体检测网络，分别提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，将待检测的人脸图像输入基于时空特征的人脸活体检测网络模型，进行活体人脸图像检测。本发明的实施例同时提供一种基于时空特征的人脸活体检测装置。本发明的实施例通过构建基于时空特征的人脸活体检测网络，训练优化基于时空特征的人脸活体检测网络模型，能够快速准确地实现活体人脸检测，实用性强，有效地提高了人脸检测效率及安全性。

说明书

技术领域

本发明涉及计算机视觉及图像识别技术领域，具体而言，涉及一种基于时空特征的人脸活体检测方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉与模式识别技术的深入研究与快速发展，人脸识别、指纹识别、虹膜识别等生物特征识别技术在不同场景中得到应用。其中，人脸识别技术因具有使用方便、非接触性等优点，在金融、安防及互联网等诸多领域得到广泛应用。与此同时，通过使用照片、视频、面具等伪装活体人脸进行人脸识别系统攻击，也对人脸识别系统的安全性提出了挑战，如何通过有效识别活体人脸，提高人脸识别系统安全性成为了用户普遍关注的问题。

目前，活体人脸检测的主要方法包括基于纹理信息的活体检测方法，基于运动信息的活体检测方法，以及基于深度学习的活体检测方法，采用上述方法进行活体人脸检测时，仍然存在一些缺陷，诸如，基于单帧的活体检测方法由于丢失了图像的部分空间特征，导致人脸检测准确度较低；又如，在视频流中提取所有图像帧进行活体人脸检测时，重复的图像数量过多从而导致运算效率降低；以及活体人脸检测模型的损失函数只关注像素对活体人脸检测模型的影响，而忽略了不同像素之间的距离，从而忽略了相邻像素间的深度信息等。因此，如何构建一种高效准确的人脸活体检测模型，实时准确地判定待检测目标是否为活体人脸，有效提升人脸检测识别效率及安全性，成为人脸识别技术发展及应用过程中亟待解决的技术问题之一。

发明内容

为了解决上述技术问题至少之一，本发明的第一方面的实施例提出了一种基于时空特征的人脸活体检测方法，包括以下步骤：S101，获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；S102，根据所述人脸样本视频，提取对应的人脸样本图像；S103，构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；S104，将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；S105，将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。

优选地，所述步骤S102，具体为：根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像；以及，对所述人脸样本图像进行预处理。

优选地，所述对所述人脸样本图像进行预处理的步骤，具体为：检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。

优选地，所述步骤S104，具体为：将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，对所述基于时空特征的人脸活体检测网络进行训练优化，确定损失函数收敛时的网络结构为所述基于时空特征的人脸活体检测网络模型。

优选地，所述步骤S105之前，还包括：获取待检测人脸的视频图像，提取视频图像帧，得到所述待检测的人脸图像。

本发明的第二方面的实施例，还提出了一种基于时空特征的人脸活体检测装置，包括：获取模块，用于获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；提取模块，用于根据所述人脸样本视频，提取对应的人脸样本图像；构建模块，用于构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；训练模块，用于将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；检测模块，用于将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。

优选地，所述提取模块，具体用于根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像。

优选地，所述提取模块，还包括：预处理单元，用于检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；以及，标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。

本发明的第三方面的实施例，还提出了一种电子设备，包括：存储器，用于存储可执行指令；处理器，用于处理所述可执行指令时实现如前述实施例中所述的基于时空特征的人脸活体检测方法。

本发明的第四方面的实施例，还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例中所述的基于时空特征的人脸活体检测方法。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的实施例中基于时空特征的人脸活体检测方法的流程示意图；

图2是本发明的实施例中基于时空特征的人脸活体检测网络的结构示意图；

图3是本发明的实施例中空间梯度模块的结构示意图；

图4是本发明的实施例中时空传播模块的结构示意图；

图5是本发明的实施例中基于时空特征的人脸活体检测装置的结构示意图；

图6是本发明的实施例中电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明实施例提出一种基于时空特征的人脸活体检测方法，如图1所示，包括以下步骤：S101，获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；S102，根据所述人脸样本视频，提取对应的人脸样本图像；S103，构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；S104，将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；S105，将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。

在该技术方案中，采集预设数量的人脸样本视频，在人脸样本视频中提取对应的人脸样本图像，作为训练数据集和测试数据集，构建基于时空特征的人脸活体检测网络，将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，通过提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，将待检测人脸图像输入基于时空特征的人脸活体检测网络模型，根据基于时空特征的人脸活体检测网络模型的输出数据，判断输入的待检测人脸图像是否为活体人脸图像。

在上述技术方案中，步骤S102，具体为：根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像；以及，对所述人脸样本图像进行预处理。

在该技术方案中，采集预设数量的活体人脸视频及非活体人脸视频，包括不同光线、不同背景、不同采集设备条件下采集的第一预定数量的活体人脸视频，以及通过图片、视频等采集的第二预设数量的非活体人脸视频。对采集得到的活体人脸视频和非活体人脸视频进行样本视频的选取，移除未包含完整的人脸图像或图像分辨率低于预设阈值等不符合预设条件的人脸样本视频，从而得到人脸样本视频集。进一步地，对人脸样本视频集中的每一人脸样本视频进行视频图像帧提取，从而得到人脸样本图像集。具体地，以预设间隔帧数在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，例如，在人脸样本视频中，每间隔5帧提取一帧视频图像，得到人脸样本视频对应的人脸样本图像，特别地，若当前人脸样本视频图像不足5帧，则提取人脸样本视频图像的第一帧图像与最后一帧图像，作为人脸样本视频对应的人脸样本图像；同样地，也可以根据预设时间间隔在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，此处不再赘述。

进一步地，对所述人脸样本图像进行预处理的步骤，具体为：检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。

在该技术方案中，对人脸样本图像集中的人脸样本图像进行人脸区域识别，定位样本图像中的人脸图像区域，例如，根据样本图像中的人脸3D形状，确定样本图像中人脸图像的位置区域。进一步地，通过对人脸样本图像进行角度调整，将人脸样本图像中的人脸图像调整至预设角度。具体地，根据CNN-6网络结构，在人脸图像区域中检测人脸图像中的五个关键点，包括左右眼睛、鼻尖和左右嘴角，根据五个关键点的坐标进行人脸样本图像的角度调整，校正倾斜的人脸图像，实现人脸样本图像对齐。进一步地，对角度调整后的人脸样本图像进行尺寸调整，将人脸样本图像调整为预设的尺寸，例如，将人脸样本图像尺寸统一调整至256×256。其中，CNN-6网络包括5个3×3的卷积层、1个全连接层和1个输出层，在每个卷积层和全连接层之后，使用Relu非线性激活函数进行特征映射。CNN-6网络的完整网络架构为：图像输入→Conv(32*32*32)→Conv(16*16*64)→Conv(8*8*128)→Conv(4*4*256)→Conv(2*2*512)→Conv(1024)→图像输出(3*256*256)。以及，对调整尺寸后的样本图像进行标记，标识样本图像中的活体人脸图像和非活体人脸图像，具体地，分别为活体人脸图像和非活体人脸图像设置标签，其中，活体人脸图像对应的标签为1，非活体人脸图像对应的标签为2。

进一步地，将人脸样本图像转换为tfrecord格式，用于以多线程并行化输入基于时空特征的人脸活体检测网络。

在上述技术方案中，步骤S103，具体为：构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块，其中，级联的空间梯度模块和最大池化层组成基于时空特征的人脸活体检测网络的主干网络，以及在主干网络之间设置时空传播模块。

在该技术方案中，如图2所示，基于时空特征的人脸活体检测网络的主干网络由级联的空间梯度模块和最大池化层组成，基于同一人脸样本视频提取具有预设间隔的视频图像帧得到的人脸样本图像，分别输入基于时空特征的人脸活体检测网络，其中，frame t表示人脸样本视频中t时刻视频图像帧对应的第一人脸样本图像，frame t+Δt表示人脸样本视频中与t时刻视频图像帧间隔时长Δt的视频图像帧对应的第二人脸样本图像，通过空间梯度模块分别提取第一人脸样本图像和第二人脸样本图像中的空间特征信息，得到人脸样本图像对应的空间深度图，同时，通过时空传播模块分别提取第一人脸样本图像和第二人脸样本图像中的高维时空特征信息，得到人脸样本图像对应的时空深度图，结合人脸样本图像对应的时空深度图对主干网络提取的空间深度图进行细化。具体地，如图3所示，空间梯度模块区分人脸样本图像的细粒度空间信息，人脸样本图像的时间梯度(F

进一步地，如图4所示，时空传播模块包括短期时空块(STSTB)和卷积门控循环单元(ConvGRU)，通过时空传播模块分别提取第一人脸样本图像和第二人脸样本图像中的高维时空特征信息，具体为，短期时空块(STSTB)和卷积门控循环单元(ConvGRU)进行人脸样本图像的空间特征提取，估算人脸样本图像的时空深度图。其中，卷积门控循环单元(ConvGRU)的公式如下：

其中，X

在上述技术方案中，步骤S104，具体为：将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，对所述基于时空特征的人脸活体检测网络进行训练优化，确定损失函数收敛时的网络结构为所述基于时空特征的人脸活体检测网络模型。

在该技术方案中，将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，比较基于时空特征的人脸活体检测网络输出的检测结果与人脸样本图像的标签，根据损失函数计算网络损失值，例如，根据对比深度损失函数(CDLS)来计算网络的损失值，对比深度损失函数(CDLS)的公式如下：

其中，K

进一步地，通过二分类损失函数进一步区别活体人脸样本图像与非活体人脸样本图像，根据总损失函数调整基于时空特征的人脸活体检测网络的网络参数，直到总损失函数值收敛，从而提取最优的人脸样本图像特征，得到最优的活体检测模型，具体地，二分类损失L

L

L

其中，B

在上述技术方案中，步骤S104，还包括：将人脸样本图像输入基于时空特征的人脸活体检测网络模型，通过将基于时空特征的人脸活体检测网络模型输出的结果与人脸样本图像标签进行比较，验证基于时空特征的人脸活体检测网络模型的准确度。

在上述技术方案中，步骤S105之前，还包括：获取待检测人脸的视频图像，提取视频图像帧，得到所述待检测的人脸图像。

在该技术方案中，采集待检测人脸的视频图像，对待检测人脸的视频图像进行视频图像帧提取，具体地，以预设间隔帧数在待检测人脸的视频图像中提取至少两帧视频图像帧，作为待检测人脸视频对应的人脸图像，例如，在待检测人脸的视频图像中，每间隔5帧提取一帧视频图像，得到待检测人脸的视频图像对应的人脸图像，特别地，若当前待检测人脸的视频图像不足5帧，则提取待检测人脸的视频图像的第一帧图像与最后一帧图像，作为待检测人脸视频图像对应的人脸图像；同样地，也可以根据预设时间间隔在待检测人脸的视频图像中提取至少两帧视频图像帧，作为待检测人脸视频图像对应的人脸图像，此处不再赘述。

在上述技术方案中，步骤S105之后，还包括：若步骤S105中基于时空特征的人脸活体检测网络模型输出数据小于预设阈值，则对待检测人脸图像的人脸图像区域进行任意抖动后进行再次检测，若基于时空特征的人脸活体检测网络模型输出数据小于预设阈值，确定所述待检测图像为非活体人脸图像，从而进一步提高基于时空特征的人脸活体检测网络模型的安全性。

本发明实施例提供的基于时空特征的人脸活体检测方法，构建基于时空特征的人脸活体检测网络，通过空间梯度模块和时空传播模块提取人脸图像的时空特征，根据对比深度损失函数来计算网络的损失值，同时结合二分类损失和经典损失，训练优化得到基于时空特征的人脸活体检测网络模型，从而能够更加准确地提取人脸图像的时空特征，进一步降低了计算复杂度，有效地提高了基于时空特征的人脸活体检测网络模型的检测性能及准确度。

本发明的实施例同时提出一种基于时空特征的人脸活体检测装置200，如图5所示，包括：获取模块201，用于获取人脸样本视频，所述人脸样本视频包括活体人脸视频和非活体人脸视频；提取模块202，用于根据所述人脸样本视频，提取对应的人脸样本图像；构建模块203，用于构建基于时空特征的人脸活体检测网络，所述基于时空特征的人脸活体检测网络包括级联的空间梯度模块、最大池化层以及时空传播模块；训练模块204，用于将所述人脸样本图像输入所述基于时空特征的人脸活体检测网络，训练得到基于时空特征的人脸活体检测网络模型；检测模块205，用于将待检测的人脸图像输入所述基于时空特征的人脸活体检测网络模型，判断输出数据是否大于预设阈值，若是，则确定所述待检测图像为活体人脸图像；若否，则确定所述待检测图像为非活体人脸图像。

在该技术方案中，获取模块201采集预设数量的活体人脸视频及非活体人脸视频作为人脸样本视频，包括不同光线、不同背景、不同采集设备条件下采集的第一预定数量的活体人脸视频，以及通过图片、视频等采集的第二预设数量的非活体人脸视频。对采集得到的活体人脸视频和非活体人脸视频进行样本视频的选取，移除未包含完整的人脸图像或图像分辨率低于预设阈值等不符合预设条件的人脸样本视频，从而得到人脸样本视频集，提取模块202对人脸样本视频集中的每一人脸样本视频图像进行对应的人脸样本图像提取，作为训练数据集和测试数据集，构建模块203构建基于时空特征的人脸活体检测网络，训练模块204将人脸样本图像输入构建的基于时空特征的人脸活体检测网络，通过提取人脸样本图像的空间特征和时间特征，训练得到基于时空特征的人脸活体检测网络模型，检测模块205将待检测人脸图像输入基于时空特征的人脸活体检测网络模型，根据基于时空特征的人脸活体检测网络模型的输出数据，判断输入的待检测人脸图像是否为活体人脸图像。

在上述技术方案中，提取模块202，具体用于根据所述人脸样本视频，对每一人脸样本视频以预设间隔提取视频图像帧，得到所述人脸样本视频对应的人脸样本图像。

在该技术方案中，提取模块202对人脸样本视频集中的每一人脸样本视频进行视频图像帧提取，从而得到人脸样本图像集。具体地，以预设间隔帧数在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，例如，在人脸样本视频中，每间隔5帧提取一帧视频图像，得到人脸样本视频对应的人脸样本图像，特别地，若当前人脸样本视频图像不足5帧，则提取人脸样本视频图像的第一帧图像与最后一帧图像，作为人脸样本视频对应的人脸样本图像；同样地，也可以根据预设时间间隔在人脸样本视频中提取至少两帧视频图像帧，作为人脸样本视频对应的人脸样本图像，此处不再赘述。

在上述技术方案中，提取模块202，还包括：预处理单元，用于检测所述人脸样本图像中的人脸区域，根据人脸区域图像调整所述人脸样本图像的角度和/或尺寸；以及，标识所述人脸样本图像中的活体人脸图像和非活体人脸图像。

在该技术方案中，提取模块202对人脸样本图像集中的人脸样本图像进行人脸区域识别，定位样本图像中的人脸图像区域，例如，根据样本图像中的人脸3D形状，确定样本图像中人脸图像的位置区域。进一步地，通过对人脸样本图像进行角度调整，将人脸样本图像中的人脸图像调整至预设角度。具体地，根据CNN-6网络结构，在人脸图像区域中检测人脸图像中的五个关键点，包括左右眼睛、鼻尖和左右嘴角，根据五个关键点的坐标进行人脸样本图像的角度调整，校正倾斜的人脸图像，实现人脸样本图像对齐。进一步地，对角度调整后的人脸样本图像进行尺寸调整，将人脸样本图像调整为预设的尺寸，例如，将人脸样本图像尺寸统一调整至256×256。其中，CNN-6网络包括5个3×3的卷积层、1个全连接层和1个输出层，在每个卷积层和全连接层之后，使用Relu非线性激活函数进行特征映射。CNN-6网络的完整网络架构为：图像输入→Conv(32*32*32)→Conv(16*16*64)→Conv(8*8*128)→Conv(4*4*256)→Conv(2*2*512)→Conv(1024)→图像输出(3*256*256)。以及，对调整尺寸后的样本图像进行标记，标识样本图像中的活体人脸图像和非活体人脸图像，具体地，分别为活体人脸图像和非活体人脸图像设置标签，其中，活体人脸图像对应的标签为1，非活体人脸图像对应的标签为2。

本发明实施例提供的基于时空特征的人脸活体检测装置，可执行本发明实施例一所提供的基于时空特征的人脸活体检测方法，具备执行基于时空特征的人脸活体检测方法相应的功能模块，以及具备通过实现基于时空特征的人脸活体检测方法所产生的有益效果。

本发明还提供一种电子设备，包括存储器及处理器；所述存储器存储有可被处理器调用的可执行指令；其中，所述处理器执行所述可执行指令时，实现如前述实施例一中所述的基于时空特征的人脸活体检测方法。

本发明基于时空特征的人脸活体检测装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示的本发明根据一示例性实施例示出的基于时空特征的人脸活体检测装置200所在电子设备的一种硬件结构图，除了图6所示的处理器、内存、网络接口以及非易失性存储器之外，实施例中基于时空特征的人脸活体检测装置200所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，此处不再赘述。

本发明还提供一种机算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述实施例一中所述的基于时空特征的人脸活体检测方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

在本发明中，术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。