基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

摘要

本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，涉及风险评估技术领域，该方法包括提取出被评估者的人脸图像；确定人脸图像中的关键点坐标；依据关键点坐标、相机内参数矩阵和相机畸变参数确定被评估者的面部朝向角度；提取出被评估者的眼部区域图像；确定出被评估者的眼睛瞳孔位置；基于眼部区域图像和眼睛瞳孔位置确定出瞳孔偏转度参数；根据人脸图像的各像素点的像素值确定出表征积极/消极程度的第一表情参数和表征清醒/困倦程度的第二表情参数；基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。本申请实施例提供的方法能够对被评估者的注意力进行准确评估。

说明书

技术领域

本文件涉及风险评估技术领域，尤其涉及一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法。

背景技术

注意力检测常常被广泛应用于各个领域，如在交通驾驶过程中驾驶员的注意力检测、教学过程中学生的注意力检测以及刑侦审讯环节中用于欺诈行为识别的注意力检测等。

目前，对于注意力的检测大都是基于被检测者面部朝向来进行检测分析的。然而，面部朝向仅能够反映被检测者关注某一事物的可能，往往并不能准确反映被监检测的注意力。

因此，如何提供一种有效的方案以提高注意力检测的准确性，已成为现有技术中一亟待解决的问题。

发明内容

本申请实施例提供一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，用以解决现有技术存在的注意力检测的准确性低的问题。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，包括：

获取包含被评估者头像的目标图像帧；

从所述目标图像帧中提取出所述被评估者的人脸图像；

对所述人脸图像的像素值进行归一化处理；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；

依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；

基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；

依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；

基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。

可选的，所述目标图像帧的格式为RGB格式，所述从所述目标图像帧中提取出所述被评估者的人脸图像，包括：

将所述目标图像帧的图像通道顺序转换为RGB；

将图像通道顺序转换为RGB后的所述目标图像帧缩放至第一指定尺寸；

将缩放至第一指定尺寸大小的所述目标图像帧进行归一化处理；

将归一化处理的所述目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标；

基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像。

可选的，所述人脸边界点坐标包括第一边界点坐标和第二边界点坐标，所述基于所述人脸边界点坐标从所述目标图像帧中提取出所述人脸图像，包括：

以所述第一边界点坐标和所述第二边界点坐标为对角，从所述目标图像帧中提取出矩形的所述人脸图像。

可选的，所述方法还包括：

将所述人脸图像缩放至第二指定尺寸；

所述对所述人脸图像的像素值进行归一化处理，包括：

对缩放至第二指定尺寸的所述人脸图像的像素值进行归一化处理。

可选的，所述依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度，包括：

依据所述多个关键点坐标、所述预置相机内参数矩阵和所述预置相机畸变参数，确定出与所述多个关键点坐标一一对应的多个头部三维关键点基准坐标；

根据所述预置相机内参数矩阵、所述预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量；

将所述旋转向量转换为旋转矩阵；

将所述旋转矩阵与所述变换向量拼接，得到姿态矩阵；

分解所述姿态矩阵，得到所述被评估者的面部朝向角度；

其中，所述目标关键点坐标为所述多个关键点坐标中的其中一个，所述目标头部三维关键点基准坐标为与所述目标关键点坐标对应的头部三维关键点基准坐标。

可选的，所述依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置，包括：

确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，瞳孔占比为眼睛瞳孔区域占眼部区域的比值；

当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值；

查找出各第一人脸图像的瞳孔占比中，与所述均值最接近的目标瞳孔占比；

选取所述目标瞳孔占比所对应的第一人脸图像最为目标人脸图像；

将所述目标人脸图像中的眼睛瞳孔区域的中心作为瞳孔位置。

可选的，所述确定出所述目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像，包括：

基于所述目标图像帧所对应人脸图像中的眼部轮廓坐标，求出外接矩形区域；

对所述外接矩阵区域向外扩张指定个像素；

对扩张后的所述外接矩阵区域双边滤波后进行腐蚀操作，得到腐蚀后的图像；

对腐蚀后的图像进行二值化处理，得到二值化图像；

对所述二值化图像向内收缩所述指定个像素，得到收缩后的图像；

计算所述收缩后的图像中非零像素值的占比，得到人脸图像的瞳孔占比；

将瞳孔占比处于所述预设比值范围的人脸图像作为所述第一人脸图像。

本申请实施例采用的上述技术方案能够达到以下有益效果：

通过确定被评估者的面部朝向角度、被评估者的瞳孔偏转度参数、表征被评估者的积极/消极程度的第一表情参数以及表征被评估者的清醒/困倦程度的第二表情参数，然后基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。如此，能够从不同维度与注意力有关联的参数综合考虑进行注意力检测，从而能够对被评估者的注意力集中程度进行准确评估，且鲁棒性高。

附图说明

此处所说明的附图用来提供对本文件的进一步理解，构成本文件的一部分，本文件的示意性实施例及其说明用于解释本文件，并不构成对本文件的不当限定。在附图中：

图1为本申请一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法的流程示意图。

图2为本申请一个实施例提供的电子设备的结构示意图。

图3为本申请一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置的结构示意图。

具体实施方式

为使本文件的目的、技术方案和优点更加清楚，下面将结合本文件具体实施例及相应的附图对本文件技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本文件一部分实施例，而不是全部的实施例。基于本文件中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文件保护的范围。

为了确保注意力的评估准确性，本申请实施例提供了一种基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，该基于面部朝向、面部表情及瞳孔追踪的注意力检测方法能够对注意力集中程度进行准确评估，且鲁棒性高。

下面将对本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法进行详细说明。

本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法可应用于用户终端，所述用户终端可以是，但不限于个人电脑、智能手机、平板电脑、膝上型便携计算机、个人数字助理等。

可以理解，所述执行主体并不构成对本申请实施例的限定。

可选地，该基于面部朝向、面部表情及瞳孔追踪的注意力检测方法的流程如图1所示，可以包括如下步骤：

步骤S101，获取包含被评估者头像的目标图像帧。

其中，该目标图像帧可以是通过相机获取到的视频，也可以是通过相机拍摄到的图片，该目标图像帧可以包括一帧或多帧图像，本申请实施例中不做具体限定。

步骤S102，从目标图像帧中提取出被评估者的人脸图像。

若目标图像帧为一帧图像，则可直接根据目标图像帧提取出被评估者的人脸图像。若目标图像帧包括多帧图像，则从目标图像帧中提取被评估者的人脸图像时，可以对多帧图像中的每一帧进行提取，得到与多帧图像一一对应的多张人脸图像，也可以是对多帧图像中其中一帧进行提取，得到一张人脸图像，还可以是每间隔一定帧数从多帧图像中选取一帧进行提取，得到多张人脸图像，本申请实施例中不做具体限定。

所述目标图像帧的格式不限，以目标图像帧为一帧RGB格式的图像为例，从目标图像帧中提取出被评估者的人脸图像可以包括如下步骤：

步骤S1021，将目标图像帧的图像通道顺序转换为RGB。

步骤S1022，将图像通道顺序转换为RGB后的目标图像帧缩放至第一指定尺寸。

所述第一指定尺寸可根据后续用于确定人脸边界点坐标的人脸检测模型确定，例如人脸检测模型的输入为一300*300的矩阵，则该第一指定尺寸可以是300*300像素大小。

步骤S1023，将缩放至第一指定尺寸大小的目标图像帧进行归一化处理。

具体的，可以将缩放至第一指定尺寸大小的目标图像帧中，每个像素点的像素值减去127.5，然后再除以127.5，从而使得像素值分布在[-1,1]的区间内。以便于用于后续运算。

步骤S1024，将归一化处理的目标图像帧的各像素点的像素值所构成的矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标。

本申请实施例中，预先建立有用于人脸检测的人脸检测模型。进行归一化处理后，可以将归一化处理的目标图像帧中各像素点的像素值作为矩阵中的一个值，构建出一个矩阵。然后将该矩阵作为预先训练的人脸检测模型的输入进行运算，得到人脸边界点坐标。

例如，归一化处理的目标图像帧为一300*300像素大小的图像帧，则构建的矩阵为一300*300的矩阵。

步骤S1025，基于人脸边界点坐标从目标图像帧中提取出人脸图像。

本申请实施例中，人脸边界点坐标包括第一边界点坐标和第二边界点坐标，在提取人脸图像时可以以第一边界点坐标和第二边界点坐标为对角，从目标图像帧中提取出矩形的人脸图像。

例如，第一边界点坐标为(X_min，Y_min)，第二边界点坐标为(X_max，Y_max)，则可将目标图像帧中横坐标范围为X_min至X_max，纵坐标范围为Y_min至Y_max的矩形区域图像作为人脸图像。

步骤S103，对人脸图像的像素值进行归一化处理。

具体的，可以将人脸图像中各像素点的像素值除以256，使得归一化后的人脸图像中各像素点的像素值分布在[0,1]的区间内，以便于用于后续计算人脸图像中的关键点坐标。

进一步的，在对人脸图像的像素值进行归一化处理之前，还可以将人脸图像缩放至第二指定尺寸，该第二指定尺寸可根据后续用于计算人脸图像中的关键点坐标的人脸关键点检测模型确定。例如，人脸关键点检测模型的输入要求为一112*112的矩阵，则该第二指定尺寸可以是112*112像素大小。

步骤S104，将归一化处理后的人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到人脸图像中的多个关键点坐标。

本申请实施例中，预先训练有用于计算人脸关键点坐标的人脸关键点检测模型，其中人脸关键点可以是，但不限于人脸上的眼部、耳朵、鼻子等区域。

在计算人脸关键点坐标时，可将归一化处理的人脸图像的各像素点的像素值作为矩阵中的一个值，构建出一矩阵。然后将该矩阵作为预先训练的人脸关键点检测模型的输入进行运算，得到人脸图像中的多个关键点坐标。

其中，该多个关键点坐标中包括有眼部轮廓坐标。

步骤S105，依据多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出被评估者的面部朝向角度。

其中，预置相机内参数矩阵是指该获取目标图像帧的相机的内参数矩阵，预置相机畸变参数为该获取目标图像帧的相机的畸变参数。预置相机内参数矩阵和预置相机畸变参数为预先设定的，不同厂家的相机可设置不同。

本申请实施例中，确定被评估者的面部朝向角度可以包括如下步骤：

步骤S1051，依据多个关键点坐标、预置相机内参数矩阵和所述预置相机畸变参数，确定出与多个关键点坐标一一对应的多个头部三维关键点基准坐标。

本申请实施例中，可通过opencv确定出头部三维关键点基准坐标，为现有技术，本申请实施例中不做具体说明。

步骤S1052，根据预置相机内参数矩阵、预置相机畸变参数、目标关键点坐标和目标头部三维关键点基准坐标，确定出相机的旋转向量和变换向量。

其中，目标关键点坐标为多个关键点坐标中的其中一个，目标头部三维关键点基准坐标为与目标关键点坐标对应的头部三维关键点基准坐标。

具体的，可使用函数solvepnp接收目标关键点坐标和目标头部三维关键点基准坐标，以及预置相机内参数矩阵和预置相机畸变参数进行反推，得到相机的旋转向量和变换向量。

步骤S1053，将旋转向量转换为旋转矩阵。

转换时可使用函数Rodrigues将旋转向量转换为旋转矩阵，本申请实施例中不做具体说明。

步骤S1054，将旋转矩阵与变换向量拼接，得到姿态矩阵。

例如，旋转矩阵为一3*3的矩阵，变换向量为一3维向量，则拼接得到的姿态矩阵为一3*4的矩阵。

步骤S1055，分解姿态矩阵，得到被评估者的面部朝向角度。

其中，面部朝向角度包括俯仰角度、偏航角度和翻滚角度。

步骤S106，基于眼部轮廓坐标从人脸图像中提取出被评估者的眼部区域图像。

本申请实施例中，可设置人脸图像中每个像素点所对应坐标的坐标索引，在得到眼部轮廓坐标后，可根据眼部轮廓坐标的坐标索引进行粗剪裁，得到被评估者的眼部区域图像。其中，眼部轮廓坐标的坐标索引包括左眼轮廓坐标的坐标索引和右眼轮廓坐标的坐标索引，得到的眼部区域图像包括左眼区域图像和右眼区域图像。

步骤S107，依据眼部区域图像确定出被评估者的眼睛瞳孔位置。

本申请实施例中，确定被评估者的眼睛瞳孔位置可以包括如下步骤：

步骤S1071，确定出目标图像帧所对应的人脸图像中，瞳孔占比处于预设比值范围的第一人脸图像。

其中，瞳孔占比为眼睛瞳孔区域占眼部区域的比值。

具体的，可以每间隔一定的帧数从目标图像帧选择一帧图像所对应人脸图像，并根据其眼部轮廓坐标求出相应的外接矩形区域。

例如，该一定的帧数为5帧，则可以首先选取目标图像帧中的第5帧图像，并根据第5帧图像所对应人脸图像中的眼部轮廓坐标求出相应的外接矩形区域。

然后对求出的外接矩阵区域向外扩张指定个像素，例如向外扩张5个像素。对扩张后的外接矩阵区域双边滤波后进行腐蚀操作，得到腐蚀后的图像。然后再对对腐蚀后的图像进行二值化处理，得到二值化图像。并对二值化图像向内收缩指定个像素，得到收缩后的图像，其中收缩的像素数量与向外扩张的像素数量相同。计算收缩后的图像中非零像素值的占比，得到人脸图像的瞳孔占比。如果人脸图像的瞳孔占比处于预设比值范围，则将该人脸图像作为第一人脸图像，否则间隔一定帧数(如5帧)从目标图像帧选择一帧图像来计算人脸图像的瞳孔占比。

其中，该预设比值范围可以根据普通人的瞳孔占眼部区域比值来确定。例如，普通人的瞳孔占眼部区域比值为0.46-0.50，则该预设比值范围可以为0.46-0.50。

步骤S1072，当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值。

每确定出一个第一人脸图像后，可判断一次第一人脸图像的数量是否达到预设数量，如果没有达到则间隔一定帧数继续从目标图像帧选择一帧图像来计算人脸图像的瞳孔占比，直到第一人脸图像的数量达到预设数量。其中，该预设数量可根据实际情况设定。

当第一人脸图像的数量达到预设数量时，求各第一人脸图像的瞳孔占比的均值。

步骤S1073，查找出各第一人脸图像的瞳孔占比中，与均值最接近的目标瞳孔占比。

每个第一人脸图像对应一个瞳孔占比，在求出各第一人脸图像的瞳孔占比的均值后，可从各个第一人脸图像对应的瞳孔占比中，找出一个与该均值最接近的瞳孔占比作为目标瞳孔占比。

步骤S1074，选取目标瞳孔占比所对应的第一人脸图像最为目标人脸图像。

步骤S1075，将目标人脸图像中的眼睛瞳孔区域的中心作为瞳孔位置。

步骤S108，基于眼部区域图像和所述眼睛瞳孔位置确定出被评估者的瞳孔偏转度参数。

其中，瞳孔偏转度参数可以是瞳孔向左/右偏转的距离，也可以是瞳孔向左/右偏转的比例等，本申请实施例中不做具体限定。

具体的，可根据眼部区域的关键点坐标和瞳孔位置所对应的坐标计算出眼睛的两侧眼角与瞳孔的距离，然后根据两侧眼角与瞳孔的距离确定出被评估者的瞳孔偏转度参数。

步骤S109，将归一化处理后的人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与被评估者对应的第一表情参数和第二表情参数。

本申请实施例中，预先训练有用于面部情绪识别的面部情绪识别模型，在对人脸图像的像素值进行归一化处理后，可将归一化处理后的人脸图像的各像素点的像素值作为矩阵中的一个值，构建出一矩阵，然后就该矩阵作为预先训练的面部情绪识别模型的输入进行运算，得到与被评估者对应的第一表情参数和第二表情参数。其中，第一表情参数表征被评估者的积极/消极程度，第二表情参数表征被评估者的清醒/困倦程度。

步骤S110，基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。

其中，注意力参数表征所述被评估者的注意力集中程度。

面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数均能在一定程度上反应被评估者是否注意力集中。因此，在确定与被评估者对应的注意力参数时，可对面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数分别赋予一得分，然后根据面部朝向角度、瞳孔偏转度参数、第一表情参数以及第二表情参数对应的得分之和确定出被评估者对应的最终得分，从而根据最终得分得到被评估者的注意力集中程度。

具体的，面部朝向角度的总分可设置为100，面部朝向角度对应的得分可表示为SS＝100-pitch*a-yaw*b-roll*c，其中pitch表示面部朝向角度中俯仰角度的度数，yaw表示面部朝向角度中偏航角度的度数，roll表示面部朝向角度中翻滚角度的度数。当pitch的绝对值小于等于15时，a的取值为0.8，当pitch的绝对值大于15时，a的取值为1.5。当yaw的绝对值小于等于15时，b的取值为0.8，当yaw的绝对值大于15时，b的取值为1.5。当当roll的绝对值小于等于15时，c的取值为0.8，当roll的绝对值大于15时，c的取值为1.5

瞳孔偏转度参数对应的得分，可以取左眼的瞳孔偏转度参数所对应得分与右眼的瞳孔偏转度参数所对应得分中的最小值。其中，左眼的瞳孔偏转度参数所对应得分可表示为ELS＝100-abs((1-LR))*50，LR表示左眼的瞳孔偏转度参数。右眼的瞳孔偏转度参数所对应得分可表示为ERS＝100-abs((1-RR))*50，RR表示右眼的瞳孔偏转度参数。瞳孔偏转度参数对应的得分记为EMS，EMS为ELS与ERS中的最小值。

第一表情参数表征被评估者的积极/消极程度，其中第一表情参数大于0表示积极状态，小于0表示消极状态，记为V。第二表情参数表征被评估者的清醒/困倦程度，其中第二表情参数大于0表示清醒状态，小于0表示困倦状态，记为A。第一表情参数对应的得分可表示为SV＝10*(1+V)，第二表情参数对应的得分可表示为SA＝10*(1+A)。

被评估者对应的最终得分FS＝(SS+EMS+SA+SV)/200。被评估者对应的最终得分FS表征被评估者的注意力集中程度，其中最终得分FS越大表示被评估者的注意力越集中。

本申请实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测方法，通过确定被评估者的面部朝向角度、被评估者的瞳孔偏转度参数、表征被评估者的积极/消极程度的第一表情参数以及表征被评估者的清醒/困倦程度的第二表情参数，然后基于面部朝向角度、瞳孔偏转度参数、第一表情参数和第二表情参数确定出与被评估者对应的注意力参数。如此，能够从不同维度与注意力有关联的参数综合考虑进行注意力检测，从而能够对被评估者的注意力集中程度进行准确评估，且鲁棒性高。

图2是本申请的一个实施例电子设备的结构示意图。请参考图2，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于面部朝向、面部表情及瞳孔追踪的注意力检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取包含被评估者头像的目标图像帧；

从所述目标图像帧中提取出所述被评估者的人脸图像；

对所述人脸图像的像素值进行归一化处理；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；

依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；

基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；

依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；

基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。

上述如本申请图2所示实施例揭示的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1所示实施例的方法，并实现基于面部朝向、面部表情及瞳孔追踪的注意力检测装置在图1所示实施例的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：

获取包含被评估者头像的目标图像帧；

从所述目标图像帧中提取出所述被评估者的人脸图像；

对所述人脸图像的像素值进行归一化处理；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；

依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；

基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；

依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；

基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；

将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；

基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。

图3是本申请的一个实施例提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置的结构示意图。请参考图3，在一种软件实施方式中，提供的基于面部朝向、面部表情及瞳孔追踪的注意力检测装置可包括：

获取模块，用于获取包含被评估者头像的目标图像帧；

第一提取模块，用于从所述目标图像帧中提取出所述被评估者的人脸图像；

归一化模块，用于对所述人脸图像的像素值进行归一化处理；

第一运算模块，用于将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的人脸关键点检测模型的输入进行运算，得到所述人脸图像中的多个关键点坐标，所述多个关键点坐标中包括眼部轮廓坐标；

第一确定模块，用于依据所述多个关键点坐标、预置相机内参数矩阵和预置相机畸变参数确定出所述被评估者的面部朝向角度；

第二提取模块，用于基于所述眼部轮廓坐标从所述人脸图像中提取出所述被评估者的眼部区域图像；

第二确定模块，用于依据所述眼部区域图像确定出所述被评估者的眼睛瞳孔位置；

第三确定模块，用于基于所述眼部区域图像和所述眼睛瞳孔位置确定出所述被评估者的瞳孔偏转度参数；

第二运算模块，用于将归一化处理后的所述人脸图像的各像素点的像素值作为预先训练的面部情绪识别模型的输入进行运算，得到与所述被评估者对应的第一表情参数和第二表情参数，所述第一表情参数表征所述被评估者的积极/消极程度，所述第二表情参数表征所述被评估者的清醒/困倦程度；

第四确定模块，用于基于所述面部朝向角度、所述瞳孔偏转度参数、所述第一表情参数和所述第二表情参数确定出与所述被评估者对应的注意力参数，所述注意力参数表征所述被评估者的注意力集中程度。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。