基于人眼区域活动状态的活体检测方法和装置

摘要

本发明公开了一种基于人眼区域活动状态的活体检测方法和装置，属于计算机应用领域。所述方法包括：根据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测，得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特征点的实时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时人眼区域；根据活体检测算法和所述预设帧数的实时人眼区域，判断所述用户是否为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行活体检测，防止视频假冒攻击。

说明书

技术领域

本发明涉及计算机应用领域，特别涉及一种基于人眼区域活动状态的活体 检测方法和装置。

背景技术

随着生物特征识别技术的不断发展，人脸识别技术被广泛用于身份认证系 统中。但基于人脸识别技术的身份认证系统不能鉴别照片或视频等非活体信息， 通过照片或视频替代真实活体进行假冒欺骗，对身份认证系统安全构成严重威 胁。针对人脸识别技术中的假冒欺骗问题，活体检测成为一种区分当前参与认 证用户是否为活体的重要技术。

现有技术中，基于人的头部运动获取三维深度信息的活体检测技术，根据 活体人脸和模板库中人脸特征点的三维深度坐标的差异性判断当前参与认证的 用户是否为活体。基于人的眨眼生理行为的活体检测技术，根据识别人体的自 然眨眼特征来判断当前认证用户是否为活体。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有技术中，基于三维深度信息分析和人的眨眼生理特征识别的活体检测 技术对于抵制照片假冒攻击有效，但对于含有头部运动和含有眨眼的视频假冒 攻击则无效。

发明内容

为了解决现有活体检测技术对视频假冒攻击无效的问题，本发明实施例提 供了一种基于人眼区域活动状态的活体检测方法和装置。所述技术方案如下：

第一方面，提供了一种基于人眼区域活动状态的活体检测方法，所述方法 包括：

根据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人 眼检测，得到人眼区域；

根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼跟踪，得到 人眼特征点和所述人眼特征点的实时坐标信息；

向用户发送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼特征点 和所述人眼特征点的实时坐标信息对所述实时视频图像进行人眼跟踪，得到预 设帧数的实时人眼区域，所述随机眼部动作指令至少包括左移、右移和闭眼；

根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的实时 人眼区域，判断所述用户是否为活体。

结合第一方面，在第一方面的第一种可能的实施方式中，根据尺度均衡算 法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测，得到人眼区 域，包括：

根据尺度均衡算法和人脸检测算法对实时视频图像进行人脸检测，得到人 脸区域；

根据人眼检测算法和所述人脸区域进行人眼检测，得到人眼区域。

结合第一方面，在第一方面的第二种可能的实施方式中，当所述随机眼部 动作指令为左移或右移时，根据与所述随机眼部动作指令对应的活体检测算法 和所述预设帧数的实时人眼区域，判断所述用户是否为活体，包括：

根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的实时 人眼区域，计算所述预设帧数的实时人眼区域中相邻两帧的实时人眼区域的相 对位置变化方向；

根据所述相邻两帧的实时人眼区域的相对位置变化方向，计算与所述随机 眼部动作指令一致的实时人眼区域的帧数；

根据与所述随机眼部动作指令一致的实时人眼区域的帧数和预设一致性帧 数，判断所述用户是否为活体。

结合第一方面，在第一方面的第三种可能的实施方式中，当所述随机眼部 动作指令为闭眼时，根据与所述随机眼部动作指令对应的活体检测算法和所述 预设帧数的实时人眼区域，判断所述用户是否为活体，包括：

根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的实时 人眼区域，计算所述预设帧数的实时人眼区域与预设睁眼模板的归一化互相关 系数；

根据所述归一化互相关系数和预设相关系数，计算与所述随机眼部动作指 令一致的实时人眼区域的帧数；

根据与所述随机眼部动作指令一致的实时人眼区域的帧数和预设一致性帧 数，判断所述用户是否为活体。

结合第一方面的任一种可能的实施方式，在第一方面的第四种可能的实施 方式中，所述尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进 行遍历的算法。

第二方面，提供了一种基于人眼区域活动状态的活体检测装置，所述装置 包括：

人眼检测模块，用于根据尺度均衡算法、人脸检测算法和人眼检测算法对 实时视频图像进行人眼检测，得到人眼区域；

人眼跟踪模块，用于根据LK跟踪算法、所述人眼区域和所述实时视频图像 进行人眼跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；

实时人眼区域获取模块，用于向用户发送随机眼部动作指令后，根据所述 LK跟踪算法、所述人眼特征点和所述人眼特征点的实时坐标信息对所述实时视 频图像进行人眼跟踪，得到预设帧数的实时人眼区域，所述随机眼部动作指令 至少包括左移、右移和闭眼；

判断模块，用于根据与所述随机眼部动作指令对应的活体检测算法和所述 预设帧数的实时人眼区域，判断所述用户是否为活体。

结合第二方面，在第二方面的第一种可能的实施方式中，所述人眼检测模 块包括：

人脸检测单元，用于根据尺度均衡算法和人脸检测算法对实时视频图像进 行人脸检测，得到人脸区域；

人眼检测单元，用于根据人眼检测算法和所述人脸区域进行人眼检测，得 到人眼区域。

结合第二方面，在第二方面的第二种可能的实施方式中，当所述随机眼部 动作指令为左移或右移时，所述判断模块包括：

相对位置计算单元，用于根据与所述随机眼部动作指令对应的活体检测算 法和所述预设帧数的实时人眼区域，计算所述预设帧数的实时人眼区域中相邻 两帧的实时人眼区域的相对位置变化方向；

一致性帧数计算单元，用于根据所述相邻两帧的实时人眼区域的相对位置 变化方向，计算与所述随机眼部动作指令一致的实时人眼区域的帧数；

判断单元，用于根据与所述随机眼部动作指令一致的实时人眼区域的帧数 和预设一致性帧数，判断所述用户是否为活体。

结合第二方面，在第二方面的第三种可能的实施方式中，当所述随机眼部 动作指令为闭眼时，所述判断模块包括：

归一化互相关系数计算单元，用于根据与所述随机眼部动作指令对应的活 体检测算法和所述预设帧数的实时人眼区域，计算所述预设帧数的实时人眼区 域与预设睁眼模板的归一化互相关系数；

一致性帧数计算单元，用于根据所述归一化互相关系数和预设相关系数， 计算与所述随机眼部动作指令一致的实时人眼区域的帧数；

判断单元，用于根据与所述随机眼部动作指令一致的实时人眼区域的帧数 和预设一致性帧数，判断所述用户是否为活体。

结合第二方面的任一种可能的实施方式，在第二方面的第四种可能的实施 方式中，所述尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进 行遍历的算法。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供了一种基于人眼区域活动状态的活体检测方法和装置， 通过根据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人 眼检测，得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像 进行人眼跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发 送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特 征点的实时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时 人眼区域，所述随机眼部动作指令至少包括左移、右移和闭眼；根据与所述随 机眼部动作指令对应的活体检测算法和所述预设帧数的实时人眼区域，判断所 述用户是否为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行 活体检测，防止视频假冒攻击。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图1是本发明实施例一中提供的一种基于人眼区域活动状态的活体检测方 法流程图；

图2是本发明实施例二中提供的一种基于人眼区域活动状态的活体检测方 法流程图；

图3是本发明实施例三中提供的一种基于人眼区域活动状态的活体检测方 法示意图；

图4是本发明实施例四中提供的一种基于人眼区域活动状态的活体检测装 置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地详细描述。

需要说明的是，在本发明实施例中的实时视频图像为摄像设备实时拍摄的 视频图像，在不计视频图像在传输过程中延时的情况下，该电子设备处理的实 时视频图像为当前时刻拍摄的视频图像。

实施例一

图1是本发明实施例一中提供的一种基于人眼区域活动状态的活体检测方 法流程图，该实施例的执行主体为电子设备，参见图1，该方法包括：

101：根据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进 行人眼检测，得到人眼区域；

其中，该尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进 行遍历的算法。该预设尺度为人脸检测的尺度，如该预设尺度可以为10x10、 20x20、30x30等，优选地，该预设尺度为30x30。该预设帧数为需要进行人脸 检测的图像帧数，如该预设帧数为1、2、3等，优选地，该预设帧数为3帧。 该预设尺度和预设帧数由技术人员进行设置，对此，本发明实施例不做具体限 定。

其中，人脸检测算法可以为弹性匹配方法、特征脸法(基于KL变换)、人工 神经网络法、支持向量机法、基于积分图像特征法(adaboost检测算法)、基于 概率模型法等，优选地，该人脸检测算法为AdaBoost检测算法。人眼检测算法 可以为基于积分图像特征法(adaboost检测算法)、对称变换法、霍夫变换法、 特殊光源法、基于统计的方法、灰度投影法和基于模板的方法等，优选地，该 人眼检测算法为AdaBoost检测算法。

AdaBoost检测算法是一种迭代算法，针对同一个训练集训练不同的弱分类 器，然后将这些弱分类器按一定的权重组合起来，构建一个最终的强分类器。 AdaBoost检测算法根据每次训练集中每个样本的分类是否正确，以及总体分类 的准确率，确定每个样本的权值。增加错误分类的样本权重，减少正确分类的 样本权重，以便下次分类时更加关注被错误分类的样本，使得最终分类结果划 分准确。

电子设备根据尺度均衡算法和人脸检测算法对预设帧数的实时视频图像进 行人脸检测得到人脸区域，如当尺度均衡算法的预设尺度为10x10、15x15、 20x20、30x30、40x40、60x60，预设帧数为3时，电子设备使用10x10、15x15 的人脸窗口和人脸检测算法对第一帧实时视频图像进行人脸检测，使用20x20、 30x30的人脸窗口和人脸检测算法对第二帧实时视频图像进行人脸检测，使用 40x40、60x60的人脸窗口和人脸检测算法对第三帧实时视频图像进行人脸检测。 如果电子设备在对连续三帧实时视频图像检测后，不能得到人脸区域，则重复 该步骤，取第四帧、第五帧、第六帧实时视频图像进行人脸检测，直到得到人 脸区域为止。电子设备根据人眼检测算法对得到的人脸区域进行人眼检测，得 到人眼区域。

102：根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼跟踪， 得到人眼特征点和所述人眼特征点的实时坐标信息；

其中，LK跟踪算法是一种基于图像特征点的跟踪算法。

根据LK算法中的像素点亮度不变假设，则有：

$\frac{dI}{dt}=▿I^{T}v+I_t=0---\left(1\right)$

其中，I(x,y,t)表示实时视频图像中的像素点，I_x、I_y、I_z分别表示I(x,y,t)中 对x、y、t的偏导数，表示跟踪区域中每个像素点运动的速度。在帧 与帧之间对应像素点运动很小的条件下，可假设某像素点周围N个点的位移速 度v相同(一般选取以待判断像素点为中心，5*5的小图像区域，一般用W表示)， 则有：

$\left(\begin{array}{cc}{I}_x^1& I_y^1\\ .& .\\ .& .\\ .& .\\ I_x^N& I_y^N\end{array}\right)v=-\left(\begin{array}{c}{I}_t^1\\ .\\ .\\ .\\ I_t^N\end{array}\right)---\left(2\right)$

公式(2)可用矩阵表示为：Av＝b，对其进行变换：

Gv＝A^Tb(3)

其中，矩阵G等价于公式(4)：

$G=A^{T}A=\left(\begin{array}{cc}\underset{k=1}{\overset{N}{\Sigma }}{\left(I_x^k\right)}^2& \underset{k=1}{\overset{N}{\Sigma }}{I}_x^k{I}_y^k\\ \underset{k=1}{\overset{N}{\Sigma }}{I}_x^k{I}_y^k& \underset{k=1}{\overset{N}{\Sigma }}{\left(I_y^k\right)}^2\end{array}\right)=\left(\begin{array}{cc}a& d\\ b& c\end{array}\right)---\left(4\right)$

G表示图像中一个像素点周围小块区域的结构信息。

计算矩阵G的特征值λ₁和λ₂，若预设门限值λ_t小于λ₁和λ₂中较小的一个，则 该点可以被选为特征点。

在得到特征点后，根据公式(3)有：

v＝(A^TA)^-1A^Tb(5)

其中，人眼特征点的实时坐标信息为随时间变化不断更新的人眼特征点的 坐标信息。

该电子设备根据LK跟踪算法对该人眼区域进行人眼特征点提取，通过公式 (4)得到人眼区域像素点的结构信息矩阵G，计算矩阵G的特征值，将G的特 征值和预设特征值进行比较，筛选出符合要求的人眼特征点和该人眼特征点的 位置。该电子设备根据该人眼特征点、该人眼特征点的坐标和公式(5)计算该 人眼特征点在该实时视频图像中的移动位移v，得到该人眼特征点的实时坐标信 息。为了使跟踪稳定，该电子设备对多帧实时视频图像进行跟踪，并使用每帧 实时视频图像跟踪到的特征点坐标信息更新该人眼特征点的实时坐标信息。

该步骤对该实时视频图像进行跟踪，有利于增加系统跟踪的稳定性，同时 可以了解用户的运动状况，以便于判断用户后续对动态指令的执行情况，防止 用户在身份验证过程中偷换事先录制好的视频。

103：向用户发送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼 特征点和所述人眼特征点的实时坐标信息对所述实时视频图像进行人眼跟踪， 得到预设帧数的实时人眼区域，所述随机眼部动作指令至少包括左移、右移和 闭眼；

其中，预设帧数为发送随机眼部动作指令后获取的该实时视频图像的帧数。 该预设帧数可以为20、30、40等，技术人员可根据采集实时视频图像的帧率比 进行设置，对此，本发明实施例对此不作具体限定。

该电子设备在跟踪稳定后，向用户发送随机眼部动作指令，该随机眼部动 作指令可以为左移、右移和闭眼，或者为两两的组合动作等，对此，本发明实 施例不作具体限定。

该电子设备向用户发送该随机眼部动作指令后，使得用户根据该随机眼部 动作指令做出相应的动作。该电子设备获取该实时视频图像，根据该LK跟踪算 法、该人眼特征点和该人眼特征点的实时坐标信息对该实时视频图像进行人眼 跟踪，得到该实时视频图像对应的每帧图像的特征点坐标信息。该电子设备将 该特征点坐标信息代入公式(6)，有：

$center=\frac{\underset{i=0}{\overset{N}{\Sigma }}po\mathrm{int}\left[i\right]}{N}---\left(6\right)$

其中，center为人眼区域的中心点坐标，即人眼目标在图像中的位置， point[i]是一个数组，用于存放人眼特征点坐标信息，N为人眼特征点的数量。

该电子设备根据公式(6)得到该实时视频图像对应的人眼区域的中心点坐 标，根据该中心点坐标和人眼矩形框，得到该实时视频图像对应的人眼区域。

该电子设备对预设帧数的实时视频图像进行人眼跟踪，得到预设帧数的实 时人眼区域。

104：根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的 实时人眼区域，判断所述用户是否为活体。

该电子设备向用户发送的随机眼部动作指令至少包括：左移、右移和闭眼。 则与该随机眼部动作指令对应的活体检测算法包括：

(1)当该随机眼部动作指令为左移时，该电子设备统计该预设帧数的实时 人眼区域中相邻两帧的实时人眼区域的相对位置变化方向，当该相邻两帧的实 时人眼区域的相对位置变化方向为左移的帧数大于一定比例或者大于一定数值 时，确定该用户为活体；当该相邻两帧的实时人眼区域的相对位置变化方向为 左移的帧数不大于一定比例或者不大于一定数值时，确定该用户为非活体。

(2)当该随机眼部动作指令为右移时，该电子设备统计该预设帧数的实时 人眼区域中相邻两帧的实时人眼区域的相对位置变化方向，当该相邻两帧的实 时人眼区域的相对位置变化方向为右移的帧数大于一定比例或者大于一定数值 时，确定该用户为活体；当该相邻两帧的实时人眼区域的相对位置变化方向为 右移的帧数不大于一定比例或者不大于一定数值时，确定该用户为非活体。

(3)当该随机眼部动作指令为闭眼时，计算该预设帧数的实时人眼区域与 预设睁眼模板的匹配系数，比较该匹配系数和预设相关系数，当该匹配系数小 于预设相关系数时，该实时人眼区域为闭眼状态，当该匹配系数不小于预设相 关系数时，该实时人眼区域为睁眼状态。当该预设帧数的实时人眼区域为闭眼 状态的帧数大于一定比例或者大于一定数值时，确定该用户为活体；当该预设 帧数的实时人眼区域为闭眼状态的帧数不大于一定比例或者不大于一定数值时 时，确定该用户为非活体。该匹配系数可以为MAD(MeanAbsolutedeviation， 平均绝对差值算法)、NCC(NormalizedCross-correlation，归一化互相关算法)、 SSD(SumofSquareDifference，像素差平方和算法)、SAD(SumofAbosulute Difference，像素差的绝对值和算法)等，对此，本发明实施例不做具体限定， 优选地，该匹配系数为归一化相关系数。

该电子设备根据与该随机眼部动作指令对应的活体检测算法和该预设帧数 的实时人眼区域，进行数据的计算和统计，将得到的相关数据和预设的数据进 行比较，判断该用户是否为活体。

本发明实施例提供了一种基于人眼区域活动状态的活体检测方法，通过根 据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测， 得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼 跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发送随机眼 部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特征点的实 时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时人眼区域， 所述随机眼部动作指令至少包括左移、右移和闭眼；根据与所述随机眼部动作 指令对应的活体检测算法和所述预设帧数的实时人眼区域，判断所述用户是否 为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行活体检测， 防止视频假冒攻击。

实施例二

图2是本发明实施例二中提供的一种基于人眼区域活动状态的活体检测方 法流程图，当该随机眼部动作指令为左移或右移时，参见图2，该方法包括：

201：根据尺度均衡算法和人脸检测算法对实时视频图像进行人脸检测，得 到人脸区域；

其中，该尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进 行遍历的算法。人脸检测算法需要对每帧图像遍历所有尺度，增加了电子设备 的计算负荷，影响了人脸检测的实时处理性能。而尺度均衡算法将人脸检测算 法中所有尺度平均分配到多帧图像中进行处理，提高视频的处理速度。

该电子设备根据尺度均衡算法将不同预设尺度的人脸检测窗口分配在不同 预设帧数的实时视频图像中，根据人脸检测算法对该实时视频图像进行人脸检 测，得到人脸区域。

202：根据人眼检测算法和所述人脸区域进行人眼检测，得到人眼区域；

该电子设备根据人眼检测算法，采用不同尺度的人眼检测窗口对该人脸区 域进行人眼检测，得到人眼区域。

步骤201-202为根据尺度均衡算法、人脸检测算法和人眼检测算法对实时 视频图像进行人眼检测，得到人眼区域的过程。该人脸检测算法和人眼检测算 法可参见实施例一，在此不再赘述。

203：根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼跟踪， 得到人眼特征点和所述人眼特征点的实时坐标信息；

该电子设备根据LK跟踪算法对该人眼区域进行特征点提取，得到人眼特征 点。该电子设备根据该LK跟踪算法、该人眼特征点和该实时视频图像进行人眼 跟踪，得到该人眼特征点的实时坐标信息。

204：向用户发送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼 特征点和所述人眼特征点的实时坐标信息对所述实时视频图像进行人眼跟踪， 得到预设帧数的实时人眼区域，所述随机眼部动作指令至少包括左移、右移和 闭眼；

该电子设备在跟踪稳定后，向用户发送随机眼部动作指令。当该电子设备 发送的随机眼部动作指令为左移或右移时，用户根据该指令执行左移或右移的 动作指令。该电子设备获取该实时视频图像，根据该LK跟踪算法、该人眼特征 点和该人眼特征点的实时坐标信息对该实时视频图像进行人眼跟踪，得到人眼 特征点的移动速度。该电子设备根据该人眼特征点的移动速度人眼特征点的坐 标位置，进而得到实时人眼区域。该电子设备跟踪预设帧数的实时视频图像， 得到预设帧数的实时人眼区域。

205：根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的 实时人眼区域，计算所述预设帧数的实时人眼区域中相邻两帧的实时人眼区域 的相对位置变化方向；

其中，当该随机眼部动作指令为左移(右移)时，与该左移(右移)眼部 动作指令对应的活体检测算法为：该电子设备统计该预设帧数的实时人眼区域 中相邻两帧的实时人眼区域的相对位置变化方向，当该相邻两帧的实时人眼区 域的相对位置变化方向为左移(右移)的帧数大于一定比例或者大于一定数值 时，确定该用户为活体；当该相邻两帧的实时人眼区域的相对位置变化方向为 左移(右移)的帧数不大于一定比例或者不大于一定数值时，确定该用户为非 活体。如该与左移眼部动作指令对应的活体检测算法可以为，当该相邻两帧的 实时人眼区域的相对位置变化方向为左移的帧数大于80％时，确定该用户为活 体。

该电子设备根据与该左移或右移眼部动作指令对应的活体检测算法和该预 设帧数的实时人眼区域，计算该预设帧数的实时人眼区域中相邻两帧的实时人 眼区域中心坐标的差值，得到该预设帧数的实时人眼区域中相邻两帧的实时人 眼区域的相对位置变化方向。如该电子设备使用后一帧实时人眼区域的中心坐 标减去前一帧实时人眼区域的中心坐标，当差值大于零时，相邻两帧的实时人 眼区域的相对位置变化为右移；当差值小于零时，相邻两帧的实时人眼区域的 相对位置变化为左移。

206：根据所述相邻两帧的实时人眼区域的相对位置变化方向，计算与所述 随机眼部动作指令一致的实时人眼区域的帧数；

该电子设备根据该相邻两帧的实时人眼区域的相对位置变化方向，计算与 该左移或右移眼部动作指令方向一致的实时人眼区域的帧数。当该眼部动作指 令为左移时，计算该相邻两帧的实时人眼区域的相对位置为左移的实时人眼区 域的帧数；当该眼部动作指令为右移时，计算该相邻两帧的实时人眼区域的相 对位置为右移的实时人眼区域的帧数。

207：根据与所述随机眼部动作指令一致的实时人眼区域的帧数和预设一致 性帧数，判断所述用户是否为活体。

该电子设备根据与该左移或右移眼部动作指令方向一致的实时人眼区域的 帧数和预设一致性帧数，判断与该左移或右移眼部动作指令方向一致的实时人 眼区域的帧数是否大于预设一致性帧数，当与该左移或右移眼部动作指令方向 一致的实时人眼区域的帧数大于预设一致性帧数时，确定该用户为活体；当与 该左移或右移眼部动作指令方向一致的实时人眼区域的帧数不大于预设一致性 帧数时，确定该用户为非活体。

步骤205-207为根据与所述随机眼部动作指令对应的活体检测算法和所述 预设帧数的实时人眼区域，判断所述用户是否为活体的过程。

本发明实施例提供了一种基于人眼区域活动状态的活体检测方法，通过根 据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测， 得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼 跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发送随机眼 部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特征点的实 时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时人眼区域， 所述随机眼部动作指令至少包括左移、右移和闭眼；根据与所述随机眼部动作 指令对应的活体检测算法和所述预设帧数的实时人眼区域，判断所述用户是否 为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行活体检测， 防止视频假冒攻击。通过左移或右移眼部动作指令和与左移或右移眼部动作指 令对应的活体检测算法，进一步防止了视频假冒攻击。

实施例三

图3是本发明实施例三中提供的一种基于人眼区域活动状态的活体检测方 法流程图，当该随机眼部动作指令为闭眼时，参见图3，该方法包括：

301：根据尺度均衡算法和人脸检测算法对实时视频图像进行人脸检测，得 到人脸区域；

其中，该尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进 行遍历的算法。

该步骤实施过程可参见实施例二中的步骤201，在此不再赘述。

302：根据人眼检测算法和所述人脸区域进行人眼检测，得到人眼区域；

该步骤实施过程可参见实施例二中的步骤202，在此不再赘述。

步骤301-302为根据尺度均衡算法、人脸检测算法和人眼检测算法对实时 视频图像进行人眼检测，得到人眼区域的过程。

303：根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼跟踪， 得到人眼特征点和所述人眼特征点的实时坐标信息；

该步骤实施过程可参见实施例二中的步骤203，在此不再赘述。

304：向用户发送随机眼部动作指令后，根据所述LK跟踪算法、所述人眼 特征点和所述人眼特征点的实时坐标信息对所述实时视频图像进行人眼跟踪， 得到预设帧数的实时人眼区域，所述随机眼部动作指令至少包括左移、右移和 闭眼；

该步骤实施过程可参见实施例二中的步骤204，在此不再赘述。

305：根据与所述随机眼部动作指令对应的活体检测算法和所述预设帧数的 实时人眼区域，计算所述预设帧数的实时人眼区域与预设睁眼模板的归一化互 相关系数；

其中，当该随机眼部动作指令为闭眼时，与该闭眼眼部动作指令对应的活 体检测算法为：该电子设备计算该预设帧数的实时人眼区域与预设睁眼模板的 归一化互相关系数，比较该归一化互相关系数和预设相关系数，当该归一化互 相关系数小于预设相关系数时，该实时人眼区域为闭眼状态，当该归一化互相 关系数不小于预设相关系数时，该实时人眼区域为睁眼状态。当该预设帧数的 实时人眼区域为闭眼状态的帧数大于一定比例或者大于一定数值时，确定该用 户为活体；当该预设帧数的实时人眼区域为闭眼状态的帧数不大于一定比例或 者不大于一定数值时时，确定该用户为非活体。

归一化互相关系数的公式如下式(7)所示：

$NCC(P_1,P_2)=\frac{1}{n-1}\underset{x=1}{\overset{n}{\Sigma }}\frac{\left(P_1\right(x)-{\mu }_1)\left(P_2\right(x)-{\mu }_2)}{{\sigma }_1{\sigma }_2}---\left(7\right)$

其中，NCC(P₁,P₂)为归一化互相关系数，P₁为预设睁眼模板图像，P₂为实时 人眼区域图像，n为像素点个数，μ₁和σ₁分别为预设睁眼模板图像P₁的均值和标 准差，μ₂和σ₂分别为实时人眼区域图像P₂的均值和标准差。通过公式(7)得到 的归一化互相关系数NCC(P₁,P₂)可以用来表征两幅图像的相似度，该归一化互相 关系数的取值在范围[-1,1]之间。两幅图像越相似，则其归一化互相关系数越 接近数值1。

该电子设备根据与该闭眼眼部动作指令对应的活体检测算法和该预设帧数 的实时人眼区域，通过公式(7)计算该预设帧数的实时人眼区域与预设睁眼模 板的归一化互相关系数。

306：根据所述归一化互相关系数和预设相关系数，计算与所述随机眼部动 作指令一致的实时人眼区域的帧数；

其中，该预设相关系数用于区分实时人眼区域的状态是否为闭眼状态的数 值，该预设相关系数由技术人员根据需要进行设定，如可以为0.7、0.8、0.9 等，优选地，该预设相关系数为0.9，对此，本发明实施例不作具体限定。

该电子设备该归一化互相关系数和预设相关系数，计算与该闭眼眼部动作 指令一致的实时人眼区域的帧数。当该归一化互相关系数小于预设相关系数时， 该实时人眼区域的状态与该闭眼眼部动作指令一致，当该归一化互相关系数不 小于预设相关系数时，该实时人眼区域的状态与该闭眼眼部动作指令不一致。

307：根据与所述随机眼部动作指令一致的实时人眼区域的帧数和预设一致 性帧数，判断所述用户是否为活体。

该电子设备根据与该闭眼随机眼部动作指令一致的实时人眼区域的帧数和 预设一致性帧数，比较与该闭眼随机眼部动作指令一致的实时人眼区域的帧数 和预设一致性帧数的大小，当该预设帧数的实时人眼区域为闭眼状态的帧数大 于一定比例或者大于一定数值时，确定该用户为活体；当该预设帧数的实时人 眼区域为闭眼状态的帧数不大于一定比例或者不大于一定数值时时，确定该用 户为非活体。如当该预设帧数为20帧，当该预设帧数的实时人眼区域为闭眼状 态的帧数大于50％时，确定该用户为活体，则如果该预设帧数的实时人眼区域为 闭眼状态的帧数大于10帧时，确定该用户为活体，则如果该预设帧数的实时人 眼区域为闭眼状态的帧数不大于10帧时，确定该用户为非活体。

步骤305-307为根据与所述随机眼部动作指令对应的活体检测算法和所述 预设帧数的实时人眼区域，判断所述用户是否为活体的过程。

本发明实施例提供了一种基于人眼区域活动状态的活体检测方法，通过根 据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测， 得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼 跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发送随机眼 部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特征点的实 时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时人眼区域， 所述随机眼部动作指令至少包括左移、右移和闭眼；根据与所述随机眼部动作 指令对应的活体检测算法和所述预设帧数的实时人眼区域，判断所述用户是否 为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行活体检测， 防止视频假冒攻击。通过闭眼眼部动作指令和与闭眼眼部动作指令对应的活体 检测算法，进一步防止了视频假冒攻击。

实施例四

图4是本发明实施例四中提供的一种基于人眼区域活动状态的活体检测装 置结构示意图，参见图4，该装置包括：

人眼检测模块41，用于根据尺度均衡算法、人脸检测算法和人眼检测算法 对实时视频图像进行人眼检测，得到人眼区域；

人眼跟踪模块42，用于根据LK跟踪算法、所述人眼区域和所述实时视频图 像进行人眼跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；

实时人眼区域获取模块43，用于向用户发送随机眼部动作指令后，根据所 述LK跟踪算法、所述人眼特征点和所述人眼特征点的实时坐标信息对所述实时 视频图像进行人眼跟踪，得到预设帧数的实时人眼区域，所述随机眼部动作指 令至少包括左移、右移和闭眼；

判断模块44，用于根据与所述随机眼部动作指令对应的活体检测算法和所 述预设帧数的实时人眼区域，判断所述用户是否为活体。

所述人眼检测模块41包括：

人脸检测单元，用于根据尺度均衡算法和人脸检测算法对实时视频图像进 行人脸检测，得到人脸区域；

人眼检测单元，用于根据人眼检测算法和所述人脸区域进行人眼检测，得 到人眼区域。

当所述随机眼部动作指令为左移或右移时，所述判断模块44包括：

相对位置计算单元，用于根据与所述随机眼部动作指令对应的活体检测算 法和所述预设帧数的实时人眼区域，计算所述预设帧数的实时人眼区域中相邻 两帧的实时人眼区域的相对位置变化方向；

一致性帧数计算单元，用于根据所述相邻两帧的实时人眼区域的相对位置 变化方向，计算与所述随机眼部动作指令一致的实时人眼区域的帧数；

判断单元，用于根据与所述随机眼部动作指令一致的实时人眼区域的帧数 和预设一致性帧数，判断所述用户是否为活体。

当所述随机眼部动作指令为闭眼时，所述判断模块44包括：

归一化互相关系数计算单元，用于根据与所述随机眼部动作指令对应的活 体检测算法和所述预设帧数的实时人眼区域，计算所述预设帧数的实时人眼区 域与预设睁眼模板的归一化互相关系数；

一致性帧数计算单元，用于根据所述归一化互相关系数和预设相关系数， 计算与所述随机眼部动作指令一致的实时人眼区域的帧数；

判断单元，用于根据与所述随机眼部动作指令一致的实时人眼区域的帧数 和预设一致性帧数，判断所述用户是否为活体。

所述尺度均衡算法为不同预设尺度的窗口在不同预设帧数的图像中进行遍 历的算法。

本发明实施例提供了一种基于人眼区域活动状态的活体检测装置，通过根 据尺度均衡算法、人脸检测算法和人眼检测算法对实时视频图像进行人眼检测， 得到人眼区域；根据LK跟踪算法、所述人眼区域和所述实时视频图像进行人眼 跟踪，得到人眼特征点和所述人眼特征点的实时坐标信息；向用户发送随机眼 部动作指令后，根据所述LK跟踪算法、所述人眼特征点和所述人眼特征点的实 时坐标信息对所述实时视频图像进行人眼跟踪，得到预设帧数的实时人眼区域， 所述随机眼部动作指令至少包括左移、右移和闭眼；根据与所述随机眼部动作 指令对应的活体检测算法和所述预设帧数的实时人眼区域，判断所述用户是否 为活体。本发明通过人眼跟踪和随机眼部动作指令，可以有效进行活体检测， 防止视频假冒攻击。

需要说明的是：上述实施例提供的基于人眼区域活动状态的活体检测装置 在基于人眼区域活动状态的活体检测时，仅以上述各功能模块的划分进行举例 说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成， 即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分 功能。另外，上述实施例提供的基于人眼区域活动状态的活体检测装置与基于 人眼区域活动状态的活体检测方法实施例属于同一构思，其具体实现过程详见 方法实施例，这里不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的 精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。