基于人脸时空特征的教学质量评估方法、装置及电子设备

摘要

本发明实施例提供一种基于人脸时空特征的教学质量评估方法、装置及电子设备，所述方法包括：获取教室内所有学生的人脸时空矩阵；通过预设的空间特征提取网络，提取人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个人脸空间特征之间的人脸时间信息，得到人脸时空特征；通过预设的线性回归网络，对人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵。通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。

说明书

技术领域

本发明涉及人工智能领域，尤其涉及一种基于人脸时空特征的教学质量评估方法、装置及电子设备。

背景技术

随着社会不断发展，人们对学校和教师教学质量越来越看重，在传统的教学实践中，通常是通过问答或考试等方式查看教学效果，从而根据教学效果评估教师教学质量，然而，通过口头询问的方式未必能得到学生反馈的准确信息，而通过考试检验的方式则对教师而言工作量较大，涉及批改以及信息统计分析等处理步骤，具有滞后性，难以实时得到课堂上的教学质量。而且，学生的学习状态是受时间和空间影响的，比如课堂前几分钟、课堂中段的几分钟以及课堂结束前几分钟的学习状态通常是不同的，一个学生座位旁边的其他学生的学习状态也会影响该学生的学习状态，使得最终的教学效果并不能直观的判断教师教学质量；比如教师教学质量不高，导致学生在课堂上的学习状态不好，但学生请了家教，最终学生取得的好成绩被反映为好的教学效果，又通过这样一个好的教学效果评估教师教学质量为高，从而产生错误评估。因此，现有的教学质量评估无法客观反映课堂上的教学质量，存在准确度差的问题。

发明内容

本发明实施例提供一种基于人脸时空特征的教学质量评估方法，通过对教室内所有学生人脸在时空维度提取特征并进行评估，能够实时反映课堂上的教学质量，提高教学质量评估准确度。

第一方面，本发明实施例提供一种基于人脸时空特征的教学质量评估方法，所述方法包括：

获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；

通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；

通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；

通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。

可选的，所述获取教室内所有学生的人脸时空矩阵，包括：

获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；

通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；

根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；

将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。

可选的，所述预设的人脸检测网络包括卷积层以及线性层，所述通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征，包括：

通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；

通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。

可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。

可选的，所述通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，包括：

将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；

通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；

将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；

根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。

可选的，所述方法还包括：

根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；

根据所述临时变量，计算得到所述动态耦合系数；

其中，所述临时变量具有初始值。

可选的，所述方法还包括：

获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；

通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。

可选的，所述通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练，包括：

通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；

通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。

第二方面，本发明实施例还提供一种基于人脸时空特征的教学质量评估装置，所述装置包括：

第一获取模块，用于获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；

第一提取模块，用于通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；

第二提取模块，用于通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应位置学生的学习状态；

输出模块，用于通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的基于人脸时空特征的教学质量评估方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的基于人脸时空特征的教学质量评估方法中的步骤。

本发明实施例中，获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。通过对教室内所有学生人脸的空间信息和时间信息进行特征提取，得到教室内所有学生人脸的时空特征，并通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于人脸时空特征的教学质量评估方法的流程图；

图1a是本发明实施例提供的一种教室网格的示意图；

图1b是本发明实施例提供的一种网络模型的结构示意图；

图2是本发明实施例提供的一种基于人脸时空特征的教学质量评估模型的训练方法的流程图；

图3是本发明实施例提供的一种基于人脸时空特征的教学质量评估装置的结构示意图；

图4是本发明实施例提供的一种第一获取模块的结构示意图，；

图5是本发明实施例提供的一种第一提取模块的结构示意图；

图6是本发明实施例提供的一种第二提取模块的结构示意图；

图7是本发明实施例提供的另一种第二提取模块的结构示意图；

图8是本发明实施例提供的另一种基于人脸时空特征的教学质量评估装置的结构示意图；

图9是本发明实施例提供的一种训练模块的结构示意图；

图10是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种基于人脸时空特征的教学质量评估方法的流程图，如图1所示，包括以下步骤：

101、获取教室内所有学生的人脸时空矩阵。

在本发明实施例中，上述人脸时空矩阵包括人脸矩阵单元，一个人脸矩阵单元对应一个学生的座位位置以及人脸序列，人脸序列的时间维度为人脸时空矩阵的时间维度。

上述人脸序列可以是一堂课时中学生的人脸图像序列或是人脸图像对应的人脸特征图序列。

上述的人脸时空矩阵的空间维度可以根据教室内学生的座位位置分布情况进行确定。上述人脸时空矩阵可以被表达为M×N×T，具体的，上述M×N×T为一个三维张量，该三维张量中，任意人脸矩阵单元X

具体的，如图1a所示，可以将教室内的座位位置关系用一个M×N的网格表示，在M×N的网格中，每个单元格表示一个座位(学生)的位置，M×N的网格最多可以表示M×N个座位(学生)的位置。

进一步的，上述人脸时空矩阵中，每个人脸矩阵单元均为该位置对应学生的人脸序列，某个位置t时刻的人脸序列被表示为x(m，n)

在本发明实施例中，教学质量评估的原理是：基于学生的人脸来估计学生的学习状态，再根据所有学生的学习状态来进行教学质量评估，学生的学习状态可以基于下述式子(2)进行：

其中，f表示预测模型从输入到输出之间的映射，h为时间点的个数，比如一堂课的每分钟做为一个时间点，θ为需要被训练的模型参数。由上述式子(2)分析可知，教室中所有学生的学习状态可以通过对人脸时空矩阵的估计来实现。进一步的，上述式子(2)具体表示，在t时刻处的学生的学习状态可以利用过去一段时间内的人脸时间矩阵进行估计。

可选的，上述人脸时空矩阵可以是对摄像头拍摄到的课堂视频进行处理后得到。需要说明的是，上述摄像头为设置在教室正前方，上述摄像头可以对教室内所有座位上的学生脸部进行拍摄。上述课堂视频也是一种图像序列形式。具体的，可以将上述课堂视频作为待处理图像序列进行处理。

具体的，可以获取待处理图像序列，上述待处理图像序列包括教室内所有学生的人脸；通过预设的人脸检测网络，对上述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；根据学生的座位位置排列，构建二维空间张量矩阵，其中，上述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，上述学生矩阵单元对应一个学生的座位位置；将人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到人脸时空矩阵，上述人脸时空矩阵的时间维度与上述人脸图像序列或人脸特征序列对应的图像帧数相同。

其中，上述人脸检测网络可以是多目标人脸检测网络，可以输出人脸检测框信息(x，y，h，w)，上述x，y为人脸检测框的中心点坐标，上述h，w为人脸检测框的高和宽，通过人脸检测框的中心点坐标，可以得到各个人脸在教室中的对应位置，根据人脸检测框的中心点坐标以及高宽，可以在图像帧中提取出对应人脸的小图作为人脸图像，地待处理图像序列中的帧图像依次进行人脸检测，则可以得到各个学生的人脸图像序列。上述人脸特征序列可以是根据人脸图像序列进行特征提取后对应得到的，相当于是人脸图像序列的初始特征。

二维空间张量矩阵是根据教室座位位置的分布来进行构建的，比如，教室中，座位位置分布为M排N列，则二维空间张量矩阵为M×N，其中，可能存在部分座位为空置，此时，则在M×N的二维空间张量矩阵中对空置座位位置进行填充，形成填充矩阵单元，上述填充可以是填充0或空值。将人脸图像序列或人脸特征序列添加到二维空间张量矩阵对应的矩阵单元中，形成学生矩阵单元。

102、通过预设的空间特征提取网络，提取人脸时空矩阵中在时间维度上的人脸空间特征。

在本发明实施例中，上述预设的空间特征提取网络可以理解为预先训练好的空间特征提取网络，用于提取人脸时空矩阵中不同时间维度的人脸空间特征，也可以理解为用于提取人脸时空矩阵中不同时间截面的人脸空间特征，比如，提取人脸时空矩阵中t时刻的人脸空间特征。

可选的，上述空间特征提取网络可以是卷积神经网络，上述卷积神经网络可以包括卷积层与线性层。上述卷积层可以通过卷积核对人脸时空特征进行卷积操作，上述线性层可以对卷积层的输出进行线性变换，得到对应的人脸空间特征。

具体的，可以通过上述卷积层，提取上述人脸时空矩阵中不同时间维度的局部人脸空间特征；通过上述线性层，将上述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，上述一维张量形式的人脸空间特征与上述人脸时空矩阵具有相同的时间维度。

可选的，上述空间特征提取网络还包括激活函数，上述空间特征提取网络可以式子(3)所示：

其中，x

进一步的，在卷积层中，上层的神经元仅需与下层的部分神经元相连以感知局部风速空间特征(局部感知野)，适用于局部人脸空间特征的学习。在得到局部人脸空间特征后，可以通过线性层，将局部人脸空间特征展平为一维向量，并通过激活函数进行非线性变换，得到一维张量形式的人脸空间特征，具体可以如下述式子(4)所示：

r

其中，r

举例来说，如图1b所示，假设人脸时空矩阵为M×N×T，通过卷积层后，得到m×n×k×s的局部人脸特征图，上述m×n表示局部人脸特征图尺寸，上述k表示局部人脸特征图的通道数，上述H表示局部人脸特征图的数量，上述H与卷积层中卷积核的数量相关，其中，m小于等于M，n小于等于N。m×n×k×H的局部人脸特征图通过线性层后，得到一维张量形式的人脸空间特征，该一维张量形式为H×1×T，其中，H＝M×N。

103、通过预设的时间特征提取网络，提取预设时间段内各个人脸空间特征之间的人脸时间信息，得到人脸时空特征，

在本发明实施例中，每个人脸时空特征用于表征对应座位位置上学生的学习状态。进一步来理解，上述每个人脸时空特征都隐含了对应座位位置上学生的学习状态，对人脸时空特征进行分类，则可以得到对应的学习状态。

可选的，上述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，上述第一矢量神经元层与上述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与上述人脸空间特征的时间维度相关，上述第二矢量神经元层包括第二预设数量的第二矢量神经元，上述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。其中，上述第一矢量神经元与上述第二矢量神经元可以通过动态耦合系数进行全连接。

具体的，以人脸空间特征为M×N×T做为例子来说，得到的人脸空间特征为H×1×T，上述第一预设数量可以是T/D，即是说，上述第一矢量神经元层包括T/D个第一矢量神经元。上述第二预设数量可以是H，即是说，上述第二矢量神经元层包括H个第二矢量神经元。

进一步的，可以将上述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；通过矢量变换矩阵，将上述第一多维矢量特征变换为第二多维矢量特征；将上述第二多维矢量特征通过动态耦合系数路由到上述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；根据上述第三多维矢量特征的聚类情况，确定上述人脸时空特征。

举例来说，假设上述人脸空间特征的一维张量形式为H×1×T，按时间维度编码可以是根据将人脸空间中时间维度进行拆分为T/D个子特征，通过T/D个第一矢量神经元对T/D个子特征对应进行线性变换，得到T/D个第一多维矢量特征，上述D为第一多维矢量特征的矢量维度，总共得到H×T/D个第一多维矢量特征。上述第二矢量神经元中可以包括L个分类矢量，T/D个第一多维矢量特征与上述L个分类矢量进行全连接，在全连接的过程中，通过矢量变换矩阵，将第一多维矢量特征变换为第二多维矢量特征，上述第二多维矢量特征可以理解为第一分类预测，用于初步预测当前人脸空间特征对应的分类。上述第二多维矢量特征的数量为T/D个，矢量维度为D。将T/D个第二多维矢量特征通过动态耦合系数路由到第二矢量神经元层中，T/D个与对应的第二矢量神经元中的L个分类矢量进行全连接，得到第三多维矢量特征，其中，第三多维矢量特征的数量为T/D个，矢量维度为D，对T/D个第三多维矢量特征进行聚类，得到聚类情况，上述聚类可以是T/D个第三多维矢量特征中各个第三多维矢量特征之间的欧氏距离，第三多维矢量特征之间的欧氏距离小，则会聚集在一起，表示初步预测结果相似，指向相同的分类结果，将该分类结果对应的第三多维矢量特征求和与激活函数激活后，得到人脸时空特征，上述人脸时空特征可以理解为最终预测结果，上述人脸时空特征的数量为1，矢量维度为D。上述人脸时空特征的模长用于表示学生的学习状态分。上述过程可以通过下述式子(5)、(6)、(7)、(8)进行表示：

u

其中，上述的u

可选的，上述动态耦合系数可以根据临时变量进行动态调整，上述临时变量可以根据初步预测结果与最终预测结果进行计算，可以将上述临时变量理解为初步预测结果与最终预测结果的误差，误差越大，说明初步预测结果与最终预测结果越远，则动态耦合系数越小，误差越小，说明初步预测结果与最终预测结果越接近，则动态耦合系数越大。

进一步的，可以根据人脸时空特征(最终预测结果)与第二多维矢量特征(初步预测结果)的相似度，计算临时变量；根据上述临时变量，计算得到动态耦合系数；其中，上述临时变量可以具有初始值。

具体的，上述动态耦合系数c

其中，上述c

上述临时变量b

其中，上述v

通过上述迭代上述动态耦合系数c

104、通过预设的线性回归网络，对人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵。

在本发明实施例中，上述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。

在式子(8)中，人脸时空特征v

上述线性回归网络将人脸时空特征v

本发明实施例中，获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。通过对教室内所有学生人脸的空间信息和时间信息进行特征提取，得到教室内所有学生人脸的时空特征，并通过时空特征进行教学质量估计，同时考虑了学生在课堂上影响学习状态的时间因素和空间因素，能够客观反映课堂上的教学质量，提高教学质量评估准确度。

需要说明的是，本发明实施例提供的基于人脸时空特征的教学质量评估方法可以应用于可以进行图像处理的手机、监控器、计算机、服务器等设备。

可选的，请参见图2，图2是本发明实施例提供的一种基于人脸时空特征的教学质量评估模型的训练方法的流程图，基于人脸时空特征的教学质量评估模型包括：空间特征提取网络、时间特征提取网络以及线性回归网络，如图2所示，包括以下步骤：

201、获取训练集。

在本发明实施例中，上述训练集中包括样本人脸时空矩阵，上述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构。上述样本人脸时空矩阵中每个矩阵单元包括学生的人脸以及对应的标签，标签为学习状态分。

202、通过训练集对空间特征提取网络、时间特征提取网络以及线性回归网络进行训练。

在本发明实施例中，可以通过上述训练集对时间特征提取网络进行内部迭代，以训练更新动态耦合系数；通过上述训练集对空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新空间特征提取网络、时间特征提取网络以及线性回归网络的权重参数。

其中，上述新空间特征提取网络的权重参数包括卷积层的共享权重及偏置，线性层的线性权重及偏置，上述时间特征提取网络包括矢量变换矩阵(也称为权重矩阵)，上述线性回归网络的权重参数包括线性层的线性权重及偏置、以及回归层的权重及偏置。

可选的，上述外部迭代包括自适应矩估计优化(Adam，adaptive momentestimation)和试错法的误差反向传播(BP，Back Propagation)，误差反向传播训练的目标是最小化模型的损失函数，可以如下述式子(11)所示：

其中，T代表与训练样本相对应的历史时间点的集合，‖·‖

进一步的，为了加快参数收敛和降低模型误差，可以在反向训练过程中嵌入一种试错方法，具体地，每隔几个训练周期，从更新的备选学习率中选择出使预测误差最小的学习率，然后将其应用到下一次训练。

请参见图3，图3是本发明实施例提供的一种基于人脸时空特征的教学质量评估装置的结构示意图，如图3所示，所述装置包括：

第一获取模块301，用于获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；

第一提取模块302，用于通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；

第二提取模块303，用于通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应位置学生的学习状态；

输出模块304，用于通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。

可选的，如图4所示，所述第一获取模块301，包括：

获取子模块3011，用于获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；

处理子模块3012，用于通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；

构建子模块3013，用于根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；

添加子模块3014，用于将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。

可选的，如图5所示，所述预设的人脸检测网络包括卷积层以及线性层，所述第一提取模块302，包括：

提取子模块3021，用于通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；

展开子模块3022，用于通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。

可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。

可选的，如图6所示，所述第二提取模块303，包括：

编码子模块3031，用于将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；

变换子模块3032，用于通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；

路由子模块3033，用于将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；

确定子模块3034，用于根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。

可选的，如图7所示，所述第二提取模块303还包括：

第一计算子模块3035，用于根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；

第二计算子模块3036，用于根据所述临时变量，计算得到所述动态耦合系数；

其中，所述临时变量具有初始值。

可选的，如图8所示，所述装置还包括：

第二获取模块305，用于获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；

训练模块306，用于通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。

可选的，如图9所示，所述训练模块306，包括：

内部迭代子模块3061，用于通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；

外部迭代子模块3062，用于通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。

需要说明的是，本发明实施例提供的基于人脸时空特征的教学质量评估装置可以应用于可以进行基于人脸时空特征的教学质量评估方法的手机、监控器、计算机、服务器等设备。

本发明实施例提供的基于人脸时空特征的教学质量评估装置能够实现上述方法实施例中基于人脸时空特征的教学质量评估方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图10，图10是本发明实施例提供的一种电子设备的结构示意图，如图10所示，包括：存储器1002、处理器1001及存储在所述存储器1002上并可在所述处理器1001上运行的计算机程序，其中：

处理器1001用于调用存储器1002存储的计算机程序，执行如下步骤：

获取教室内所有学生的人脸时空矩阵，所述人脸时空矩阵包括人脸矩阵单元，一个所述人脸矩阵单元对应一个学生的座位位置以及人脸序列，所述人脸序列的时间维度为所述人脸时空矩阵的时间维度；

通过预设的空间特征提取网络，提取所述人脸时空矩阵中在时间维度上的人脸空间特征；

通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，每个所述人脸时空特征用于表征对应座位位置上学生的学习状态；

通过预设的线性回归网络，对所述人脸时空特征进行线性还原与回归，输出得到教学质量评估矩阵，所述教学质量评估矩阵包括评估矩阵单元，每个评估矩阵单元对应一个学生的学习状态分。

可选的，处理器1001执行的所述获取教室内所有学生的人脸时空矩阵，包括：

获取待处理图像序列，所述待处理图像序列包括教室内所有学生的人脸；

通过预设的人脸检测网络，对所述待处理图像序列进行人脸检测，并提取与学生对应的人脸图像序列或人脸特征序列；

根据学生的座位位置排列，构建二维空间张量矩阵，其中，所述二维空间张量矩阵包括有学生矩阵单元与填充矩阵单元，所述学生矩阵单元对应一个学生的座位位置；

将所述人脸图像序列或人脸特征序列添加到对应的学生矩阵单元中，得到所述人脸时空矩阵，所述人脸时空矩阵的时间维度与所述人脸图像序列或人脸特征序列对应的图像帧数相同。

可选的，所述预设的人脸检测网络包括卷积层以及线性层，所述通过预设的空间特征提取网络，处理器1001执行的提取所述人脸时空矩阵中在时间维度上的人脸空间特征，包括：

通过所述卷积层，提取所述人脸时空矩阵中不同时间维度的局部人脸空间特征；

通过所述线性层，将所述局部人脸空间特征进行线性展开为一维张量形式的人脸空间特征，所述一维张量形式的人脸空间特征与所述人脸时空矩阵具有相同的时间维度。

可选的，所述时间特征提取网络包括第一矢量神经元层与第二矢量神经元层，所述第一矢量神经元层与所述第二矢量神经元层之间通过动态耦合系数进行连接，第一矢量神经元层包括第一预设数量的第一矢量神经元，第一预设数量与所述人脸空间特征的时间维度相关，所述第二矢量神经元层包括第二预设数量的第二矢量神经元，所述第二预设数量与人脸时空矩阵中的人脸矩阵单元数量相关。

可选的，处理器1001执行的所述通过预设的时间特征提取网络，提取预设时间段内各个所述人脸空间特征之间的人脸时间信息，得到人脸时空特征，包括：

将所述人脸空间特征按时间维度编码到第一矢量神经层，通过对应的第一矢量神经元得到第一多维矢量特征；

通过矢量变换矩阵，将所述第一多维矢量特征变换为第二多维矢量特征；

将所述第二多维矢量特征通过动态耦合系数路由到所述第二矢量神经元层，通过对应的第二矢量神经元得到第三多维矢量特征；

根据所述第三多维矢量特征的聚类情况，确定所述人脸时空特征。

可选的，处理器1001还执行包括：

根据所述人脸时空特征与所述第二多维矢量特征的相似度，计算临时变量；

根据所述临时变量，计算得到所述动态耦合系数；

其中，所述临时变量具有初始值。

可选的，处理器1001还执行包括：

获取训练集，所述训练集中包括样本人脸时空矩阵，所述样本人脸时空矩阵与人脸时空矩阵具有相同矩阵结构；

通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练。

可选的，处理器1001执行的所述通过所述训练集对所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络进行训练，包括：

通过所述训练集对所述时间特征提取网络进行内部迭代，以更新所述动态耦合系数；

通过所述训练集对所述空间特征提取网络以及所述时间特征提取网络进行外部迭代，以更新所述空间特征提取网络、所述时间特征提取网络以及所述线性回归网络的权重参数。

需要说明的是，上述电子设备可以是可以应用于可以进行基于人脸时空特征的教学质量评估方法的手机、监控器、计算机、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中基于人脸时空特征的教学质量评估方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的基于人脸时空特征的教学质量评估方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。