一种基于人脸表情和人体动作的教学质量评估方法及系统

摘要

本发明提供一种基于人脸表情和人体动作的教学质量评估方法及系统，通过在第一目标对象展示教学内容时，对第二目标对象进行拍摄，得到待识别图像；然后第二目标对象进行人脸表情识别和人体动作识别，获取人脸表情识别结果和人体动作识别结果；将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；根据权重匹配结果计算所有第二目标对象的学习状态分数，评估第一目标对象在展示教学内容时的教学质量。本发明可以根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

说明书

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于人脸表情和人体动作的教学质量评估方法、系统、计算机设备及计算机可读介质。

背景技术

近年来，随着课堂信息化改革步伐的加快，学校管理人员或学科老师通常需要对教学课堂质量进行评估，方便了解学生对教学内容掌握情况，从而辅助学生提高学科成绩。

然而，现有的教育质量评估方式多是采用传统的方法，即由教育者向学生布置教学作业，根据学生完成教学作业的情况进行分析，了解学生的学习情况，然后根据学生的学习情况调整教学内容。而这种传统的教育质量评估方法存在如下缺点：1)无法了解学生在课堂上的实时学习状态；2)学生在完成教学作业时，可能会在网络上寻找答案，从而无法真实反应出学生对教学内容掌握情况，导致学校管理人员或学科老师不能准确地对教学质量进行评估。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于人脸表情和人体动作的教学质量评估方法及系统，用于解决现有技术中不能准确地对教学质量进行评估的问题。

为实现上述目的及其他相关目的，本发明提供一种基于人脸表情和人体动作的教学质量评估方法，所述方法包括以下步骤：

获取待识别图像，包括：在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到所述待识别图像；

对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；

对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；

将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；

根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量。

可选地，将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联前，所述方法还包括：

将所述待识别图像输入至预训练神经网络模型中进行特征标记，获取每个第二目标对象的特征标记结果；

基于所述特征标记结果关联同一个第二目标对象的人脸表情识别结果和人体动作识别结果；

其中，所述特征标记包括：人脸角度特征标记、人脸斜率特征标记、人脸面积特征标记和人脸距离特征标记。

可选地，对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果的过程包括：

对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取每个第二目标对象的面部肌肉分布；

将一个或多个面部肌肉作为一个动作单元，并将同一个人脸器官的动作单元进行组合，得到所有人脸器官的表情动作；

根据所述人脸器官的表情动作，确定出每个第二目标对象的人脸表情，得到对应的人脸表情识别结果；其中，所述人脸表情包括：害怕、无明显表情、生气、悲伤、困惑、厌恶、轻蔑、开心、惊奇、趋避度、疲劳度。

可选地，对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果的过程包括：

对所述待识别图像中的每个第二目标对象进行骨骼关键点提取，获取每个第二目标对象的所有人体骨骼关键点；

将所获取的人体骨骼关键点分为双臂关键点、双腿关键点和头颈部关键点，并根据所述双臂关键点、双腿关键点和头颈部关键点生成每个第二目标对象的人体动作特征向量；

根据每个第二目标对象的人体动作特征向量进行人体动作识别，获取对应的人体动作识别结果；其中，所述人体动作包括：趴着、玩手机、书写、伸懒腰和举手。

可选地，根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量的过程包括：

获取对人脸表情匹配的权重；包括：匹配权重值为0的害怕表情、无明显表情，匹配权重值为-1的生气表情、悲伤表情、困惑表情，匹配权重值为-2的厌恶表情、轻蔑表情，匹配权重值为1的开心表情，匹配权重值为2的惊奇表情，匹配权重值为3的趋避度表情、疲劳度表情；

获取对人体动作匹配的权重；包括：匹配权重值为-2的玩手机动作，匹配权重值为-1的趴着动作、伸懒腰动作，匹配权重值为1的书写动作，匹配权重值为2的举手动作；

计算第t个时刻下第二目标对象m的人脸表情分数，有：

E＝{害怕，无明显表情，生气，悲伤，困惑，厌恶，轻蔑，开心，惊奇，趋避度，疲劳度}；

计算第t个时刻下所述待识别图像的人脸表情分数，有：

计算第t个时刻下第二目标对象m的人体动作分数，有：

F＝{玩手机，趴着，伸懒腰，书写，举手}；

计算第t个时刻下所述待识别图像的人脸动作分数，有：

根据权重匹配结果计算所述待识别图像在第t个时刻下所有第二目标对象的学习状态分数，有：

Feame(m,t)＝Feame

将所述待识别图像在第t个时刻下的学习状态分数Feame(m,t)，作为评估所述第一目标对象在第t个时刻下展示教学内容时的教学质量评估分数；

式中，t表示第t个时刻；

m表示所述待识别图像中的第m个第二目标对象；

x表示第x个人脸表情；

y表示第y个人体动作。

可选地，所述第一目标对象包括教师，所述第二目标对象包括学生。

本发明还提供一种基于人脸表情和人体动作的教学质量评估系统，所述系统包括有：

图像采集模块，用于获取待识别图像，包括：在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到所述待识别图像；

人脸表情识别模块，用于对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；

人体动作识别模块，用于对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；

关联模块，用于将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；

教学质量评估模块，用于根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量。

可选地，所述教学质量评估模块根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量的过程包括：

获取对人脸表情匹配的权重；包括：匹配权重值为0的害怕表情、无明显表情，匹配权重值为-1的生气表情、悲伤表情、困惑表情，匹配权重值为-2的厌恶表情、轻蔑表情，匹配权重值为1的开心表情，匹配权重值为2的惊奇表情，匹配权重值为3的趋避度表情、疲劳度表情；

获取对人体动作匹配的权重；包括：匹配权重值为-2的玩手机动作，匹配权重值为-1的趴着动作、伸懒腰动作，匹配权重值为1的书写动作，匹配权重值为2的举手动作；

计算第t个时刻下第二目标对象m的人脸表情分数，有：

F＝{害怕，无明显表情，生气，悲伤，困惑，厌恶，轻蔑，开心，惊奇，趋避度，疲劳度}；

计算第t个时刻下所述待识别图像的人脸表情分数，有：

计算第t个时刻下第二目标对象m的人体动作分数，有：

F＝{玩手机，趴着，伸懒腰，书写，举手}；

计算第t个时刻下所述待识别图像的人脸动作分数，有：

根据权重匹配结果计算所述待识别图像在第t个时刻下所有第二目标对象的学习状态分数，有：

Feame(m,t)＝Feame

将所述待识别图像在第t个时刻下的学习状态分数Feame(m,t)，作为评估所述第一目标对象在第t个时刻下展示教学内容时的教学质量评估分数；

式中，t表示第t个时刻；

m表示所述待识别图像中的第m个第二目标对象；

x表示第x个人脸表情；

y表示第y个人体动作。

本发明还提供一种计算机设备，包括：

处理器；和

存储有指令的计算机可读介质，当所述处理器执行所述指令时，使得所述设备执行如上述中任一所述的方法。

本发明还提供一种计算机可读介质，其上存储有指令，所述指令由处理器加载并执行如上述中任一所述的方法。

如上所述，本发明提供一种基于人脸表情和人体动作的教学质量评估方法、系统、计算机设备及计算机可读介质，具有以下有益效果：

本发明通过在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到待识别图像；然后对待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；以及对待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；再将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；最后根据权重匹配结果计算待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估第一目标对象在展示教学内容时的教学质量。其中，本发明中的第一目标对象可以是教师，第二目标对象可以是学生。由此可知，本发明通过在教师展示教学内容时，对一个或多个学生进行拍摄，得到待识别图像；然后再对待识别图像中的学生进行人脸表情和人体动作识别，最后根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

附图说明

图1为一实施例提供的基于人脸表情和人体动作的教学质量评估方法的流程示意图；

图2为一实施例提供的人体表情识别的框架结构示意图；

图3为一实施例提供的人脸面部肌肉分布示意图；

图4为一实施例提供的人体动作识别的框架结构示意图；

图5为一实施例提供的举手动作示意图；

图6为一实施例提供的伸懒腰动作示意图；

图7为一实施例提供的趴着动作示意图；

图8为一实施例提供的玩手机动作示意图；

图9为一实施例提供的书写动作示意图；

图10为一实施例提供的基于人脸表情和人体动作的教学质量评估系统的硬件结构示意图；

图11为一实施例提供的计算机设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于人脸表情和人体动作的教学质量评估方法，该方法包括以下步骤：

S100，获取待识别图像，包括：在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到所述待识别图像；

S200，对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；以及，对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；

S300，将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；

S400，根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量。具体地，根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量的过程包括：

获取对人脸表情匹配的权重；包括：匹配权重值为0的害怕表情、无明显表情，匹配权重值为-1的生气表情、悲伤表情、困惑表情，匹配权重值为-2的厌恶表情、轻蔑表情，匹配权重值为1的开心表情，匹配权重值为2的惊奇表情，匹配权重值为3的趋避度表情、疲劳度表情；

获取对人体动作匹配的权重；包括：匹配权重值为-2的玩手机动作，匹配权重值为-1的趴着动作、伸懒腰动作，匹配权重值为1的书写动作，匹配权重值为2的举手动作；

计算第t个时刻下第二目标对象m的人脸表情分数，有：

E＝{害怕，无明显表情，生气，悲伤，困惑，厌恶，轻蔑，开心，惊奇，趋避度，疲劳度}；

计算第t个时刻下所述待识别图像的人脸表情分数，有：

计算第t个时刻下第二目标对象m的人体动作分数，有：

F＝{玩手机，趴着，伸懒腰，书写，举手}；

计算第t个时刻下所述待识别图像的人脸动作分数，有：

根据权重匹配结果计算所述待识别图像在第t个时刻下所有第二目标对象的学习状态分数，有：

Feame(m,t)＝Feame

将所述待识别图像在第t个时刻下的学习状态分数Feame(m,t)，作为评估所述第一目标对象在第t个时刻下展示教学内容时的教学质量评估分数；

式中，t表示第t个时刻；

m表示所述待识别图像中的第m个第二目标对象；

x表示第x个人脸表情；

y表示第y个人体动作。

其中，本实施例中的第一目标对象可以是教师，第二目标对象可以是学生。由此可知，本实施例通过在教师展示教学内容时，对一个或多个学生进行拍摄，得到待识别图像；然后再对待识别图像中的学生进行人脸表情和人体动作识别，最后根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

根据上述记载，在一示例性实施例中，将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联前，该方法还包括：将所述待识别图像输入至预训练神经网络模型中进行特征标记，获取每个第二目标对象的特征标记结果；基于所述特征标记结果关联同一个第二目标对象的人脸表情识别结果和人体动作识别结果；其中，所述特征标记包括：人脸角度特征标记、人脸斜率特征标记、人脸面积特征标记和人脸距离特征标记。本实施例通过对同一个第二目标对象进行人脸角度特征标记、人脸斜率特征标记、人脸面积特征标记以及人脸距离特征标记，可以在后续关联同一个第二目标对象的人脸表情识别结果和人体动作结果时，能够基于上面的所有特征标记结果同时进行关联，从而保证关联人脸表情识别结果和人体动作识别结果的正确率。

在一示例性实施例中，如图2和图3所示，对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果的过程包括：对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取每个第二目标对象的面部肌肉分布；将一个或多个面部肌肉作为一个动作单元，并将同一个人脸器官的动作单元进行组合，得到所有人脸器官的表情动作；根据所述人脸器官的表情动作，确定出每个第二目标对象的人脸表情，得到对应的人脸表情识别结果；其中，所述人脸表情包括：害怕、无明显表情、生气、悲伤、困惑、厌恶、轻蔑、开心、惊奇、趋避度、疲劳度。图2中的框架结构由核心层、属性层、动作单元层、效价唤醒层组成，用于人脸属性识别、动作单元检测、效价唤醒评估。通过动作单元去评估效价唤醒强度，面部属性层将人脸分成眉毛、眼睛、嘴等区域，使用卷积神经网对面部属性层、核心层进行训练；对于动作单元层，通过脸部对相应动作单元区域进行训练动作单元层的训练，训练完，添加全连接层进行评估效价唤醒值。在训练中使用CelebA dataset来训练核心层和属性层，在面部属性识别时通过不同面部部分的属性卷积神经网络层去监督动作单元的检测，最后用动作单元和属性层进行识别。在识别人脸表情时，选用了Adam作为优化器，负梯度学习率设置0.01，梯度权值设置0.9进行训练。其中，本实施例对人脸面部肌肉分布如图3所示，在图3中，本实施例以面部解剖学原理为基础，将人脸划分为44个既相对独立又相互联系的运动单元(Action Unite，AU)，人脸在某一时刻所发生的局部肌肉动作都可以通过AU来进行表示，例如AU2代表眉毛外端上扬，AU3代表眉毛下垂等。在人脸发生表情变化时，每个AU单独或者以组合的形式进行编码便可以呈现出人脸的表情。

在一示例性实施例中，如图4所示，对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果的过程包括：对所述待识别图像中的每个第二目标对象进行骨骼关键点提取，获取每个第二目标对象的所有人体骨骼关键点；将所获取的人体骨骼关键点分为双臂关键点、双腿关键点和头颈部关键点，并根据所述双臂关键点、双腿关键点和头颈部关键点生成每个第二目标对象的人体动作特征向量；根据每个第二目标对象的人体动作特征向量进行人体动作识别，获取对应的人体动作识别结果；其中，所述人体动作包括：趴着、玩手机、书写、伸懒腰和举手。具体地，本实施例对待识别图像中的每个第二目标对象进行人体动作识别的框架结构示意图如图4所示。在图4中，数据训练模块将采集到的图像数据进行随机排序和划分，然后进行骨骼关键点的检测，将检测到的骨骼关键点进行特征向量的提取，然后通过支持向量机进行分类处理，最终形成学习行为分类模型；行为获取模块通过在课堂中设置的摄像头设备进行课堂图像数据的获取，然后对每一位学习进行骨骼关键点检测；行为识别模块中运用骨骼关键点关系特征提取法和骨骼关键点直接坐标法两种方法分别对相应的学习行为进行识别，其中骨骼关键点关系特征提取法通过对行为获取模块中检测到的学习骨骼关键点进行特征向量的提取，然后将提取到的特征向量输入到数据训练模块导入的模型中，进而完成了学习行为的识别。骨骼关键点直接坐标法通过对行为获取模块中检测到的学生骨骼关键点的不同行为的坐标关系进行学习行为的识别；数据分析模块将行为识别模块中的学习行为数据进行收集，然后通过数据分析将学生在课堂上的学习行为进行直观的数据展示。

具体地，数据训练模块首先获取大量的图片数据进行训练样本收集，本实施例对趴着、玩手机、书写三种学习行为动作的图像数据按照多数量、多姿态、多角度的标准进行采集。然后再运用opencv库编写通过摄像头自动获取图像的程序，该程序可以快速采集图像数据并且能够将采集到的图像数据进行分类别保存。再通过随机性选取多名不同身高和体型的学生，运行该程序分别对这些学生进行不同学习行为图像数据的采集。将采集到的每个类别的图像数据进行类别内的随机排序，同时将每类中的图像数据的70％划分为训练集，剩下的30％作为测试集。然后将准备好图像数据运用OpenPose模型进行骨骼关键点的检测，对双臂特征向量和头部与颈部特征向量进行提取，最后将提取到的特征向量作为支持向量机的输入进行分类训练。

行为获取模块通过在课堂中设置的摄像头对课堂的整体情况进行图像采集，采集间隔为每5秒采集一次，然后将采集到的图像进行骨骼关键点检测。对于趴着、玩手机、书写这三种动作，运用骨骼关键点关系特征提取法进行特征向量的提取，由于在课堂应用场景中需要对课堂上的每一位同学都进行学习行为的识别，课堂中每一位学生的体型和身高又都不相同，并且学生距离摄像头的远近也不同，所以对这三种动作进行关键点特征提取的过程中既要保证提取的特征向量能够区别这三种种学习行为，使得支持向量机能够进行有效的分类，又要满足特征向量可以适用于每一位同学，保证学习行为检测的不变性，同时为了提高分类的准确性，将人体的骨骼关键点分为三个部分，分别为双臂、双腿、头部与颈部，这三部分针对各自的骨骼关键点变化特征进行特征向量的构造，然后对这三部分中的骨骼关键点分别进行特征提取，通过这种分治法将这个人体的特征提取问题分为三个部分的特征提取问题，将关键点之间的位置关系转化为向量之间的关系，从而提取出特征向量。然后将提取到的特征向量导入数据训练模块训练出的模型中，进行动作分类，根据模型输出的结果标签可以确定为哪一类动作，从而完成学习行为的识别过程。由于举手和伸懒腰这两种动作的关键点之间具有明显的几何关系，所以直接通过骨骼关键点之间的坐标关系进行计算和比较，得出学习行为识别的结果。

数据分析模块将行为识别模块的识别结果数据进行收集并分析，将学习行为分为积极性学习行为和消极性学习行为两类，举手、书写为积极性学习行为，趴着、玩手机、伸懒腰为消极性学习行为。通过以上行为数据的分析对学生在课堂中的参与度及听课认真程度进行客观评测。在课堂教学过程中学生在课上的举手动作的次数是衡量学生课堂参与度的一项重要数据。本实施例对学生课堂参与度的衡量方式为将每位学生在整个上课过程中的举手次数总量与教师在上课过程中提问次数的总量进行比值，得到的即为每位学生在课堂上的参与度，将所有学生的参与度之和除以学生总人数即为课堂整体的学生参与度。学生在听课过程中的认真程度可以通过学生课上的消极性学习行为进行体现，本实施例对趴着、玩手机、伸懒腰三种消极性学习行为进行数据分析来衡量学生在课上的听课认真程度。本实施例每5秒采集一次图像数据，以30秒为一个判定区间，在30秒内如果有学生出现3次消极性学习行为则判定该学生没有认真听课，将学生总人数减去没有认真听课的人数即为认真听课的学生人数，将认真听课的学生人数除以学生总人数即为课堂整体的听课认真程度。课程结束之后会将每一位同学在整个上课过程中的每种学习行为次数、参与度、听课认真程度、课堂整体参与度、课堂整体听课认真程度分别进行可视化展示。

根据上述记载，作为一示例，如图5所示，当人体左手手部关键点高于鼻子关键点时，就可以确定为此时的动作为举左手，同理可以判断出举右手。具体计算方法如下：以图片的左上角为坐标原点，当图中存在左手手部关键点的情况下，手部关键点H的纵坐标的小于点N的纵坐标且右手手部关键点纵坐标大于N时，判定此时的动作为举左手。

根据上述记载，作为另一示例，如图6所示，当人体的左右手手部关键点都高于鼻子关键点时，就可以确定此时的动作为伸懒腰。具体计算方法如下：以图片的左上角为坐标原点，当图中存在左右手手部关键点的情况下，手部关键点H1与H2的纵坐标都小于N1时，判定此时的动作为伸懒腰。

根据上述记载，作为另一示例，如图7所示，本实施例通过将手臂上的三个关键点表示为两个向量，将关键点之间的位置关系转化为向量之间的关系，从而提取出特征向量。趴着时的特征向量的具体计算方法如下：

其中，本实施例将图7中左臂的三个关键点S1、E1、H1分别用向量

根据上述记载，作为另一示例，如图8所示，玩手机时的特征向量的具体计算方法如下：

将颈部与头部之间的关键点用向量

根据上述记载，作为另一示例，图9展示了书写姿态的骨骼关键点，其中，书写姿态的特征向量的具体计算方法参见上述实施例，本实施例不再进行赘述。

综上所述，本发明申请提供一种基于人脸表情和人体动作的教学质量评估方法，通过在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到待识别图像；然后对待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；以及对待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；再将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；最后根据权重匹配结果计算待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估第一目标对象在展示教学内容时的教学质量。其中，本方法中的第一目标对象可以是教师，第二目标对象可以是学生。由此可知，本方法通过在教师展示教学内容时，对一个或多个学生进行拍摄，得到待识别图像；然后再对待识别图像中的学生进行人脸表情和人体动作识别，最后根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

如图10所示，本实施例提供一种基于人脸表情和人体动作的教学质量评估系统，该系统包括有：

图像采集模块M10，用于获取待识别图像，包括：在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到所述待识别图像；

人脸表情识别模块M20，用于对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；

人体动作识别模块M30，用于对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；

关联模块M40，用于将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；

教学质量评估模块M50，用于根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量。其中，教学质量评估模块M50根据权重匹配结果计算所述待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估所述第一目标对象在展示教学内容时的教学质量的过程包括：

获取对人脸表情匹配的权重；包括：匹配权重值为0的害怕表情、无明显表情，匹配权重值为-1的生气表情、悲伤表情、困惑表情，匹配权重值为-2的厌恶表情、轻蔑表情，匹配权重值为1的开心表情，匹配权重值为2的惊奇表情，匹配权重值为3的趋避度表情、疲劳度表情；

获取对人体动作匹配的权重；包括：匹配权重值为-2的玩手机动作，匹配权重值为-1的趴着动作、伸懒腰动作，匹配权重值为1的书写动作，匹配权重值为2的举手动作；

计算第t个时刻下第二目标对象m的人脸表情分数，有：

E＝{害怕，无明显表情，生气，悲伤，困惑，厌恶，轻蔑，开心，惊奇，趋避度，疲劳度}；

计算第t个时刻下所述待识别图像的人脸表情分数，有：

计算第t个时刻下第二目标对象m的人体动作分数，有：

F＝{玩手机，趴着，伸懒腰，书写，举手}；

计算第t个时刻下所述待识别图像的人脸动作分数，有：

根据权重匹配结果计算所述待识别图像在第t个时刻下所有第二目标对象的学习状态分数，有：

Feame(m,t)＝Feame

将所述待识别图像在第t个时刻下的学习状态分数Feame(m,t)，作为评估所述第一目标对象在第t个时刻下展示教学内容时的教学质量评估分数；

式中，t表示第t个时刻；

m表示所述待识别图像中的第m个第二目标对象；

x表示第x个人脸表情；

y表示第y个人体动作。

其中，本实施例中的第一目标对象可以是教师，第二目标对象可以是学生。由此可知，本实施例通过在教师展示教学内容时，对一个或多个学生进行拍摄，得到待识别图像；然后再对待识别图像中的学生进行人脸表情和人体动作识别，最后根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

根据上述记载，在一示例性实施例中，将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联前，该系统还包括：将所述待识别图像输入至预训练神经网络模型中进行特征标记，获取每个第二目标对象的特征标记结果；基于所述特征标记结果关联同一个第二目标对象的人脸表情识别结果和人体动作识别结果；其中，所述特征标记包括：人脸角度特征标记、人脸斜率特征标记、人脸面积特征标记和人脸距离特征标记。本实施例通过对同一个第二目标对象进行人脸角度特征标记、人脸斜率特征标记、人脸面积特征标记以及人脸距离特征标记，可以在后续关联同一个第二目标对象的人脸表情识别结果和人体动作结果时，能够基于上面的所有特征标记结果同时进行关联，从而保证关联人脸表情识别结果和人体动作识别结果的正确率。

在一示例性实施例中，如图2和图3所示，对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果的过程包括：对所述待识别图像中的每个第二目标对象进行人脸表情识别，获取每个第二目标对象的面部肌肉分布；将一个或多个面部肌肉作为一个动作单元，并将同一个人脸器官的动作单元进行组合，得到所有人脸器官的表情动作；根据所述人脸器官的表情动作，确定出每个第二目标对象的人脸表情，得到对应的人脸表情识别结果；其中，所述人脸表情包括：害怕、无明显表情、生气、悲伤、困惑、厌恶、轻蔑、开心、惊奇、趋避度、疲劳度。图2中的框架结构由核心层、属性层、动作单元层、效价唤醒层组成，用于人脸属性识别、动作单元检测、效价唤醒评估。通过动作单元去评估效价唤醒强度，面部属性层将人脸分成眉毛、眼睛、嘴等区域，使用卷积神经网对面部属性层、核心层进行训练；对于动作单元层，通过脸部对相应动作单元区域进行训练动作单元层的训练，训练完，添加全连接层进行评估效价唤醒值。在训练中使用CelebA dataset来训练核心层和属性层，在面部属性识别时通过不同面部部分的属性卷积神经网络层去监督动作单元的检测，最后用动作单元和属性层进行识别。在识别人脸表情时，选用了Adam作为优化器，负梯度学习率设置0.01，梯度权值设置0.9进行训练。其中，本实施例对人脸面部肌肉分布如图3所示，在图3中，本实施例以面部解剖学原理为基础，将人脸划分为44个既相对独立又相互联系的运动单元(Action Unite，AU)，人脸在某一时刻所发生的局部肌肉动作都可以通过AU来进行表示，例如AU2代表眉毛外端上扬，AU3代表眉毛下垂等。在人脸发生表情变化时，每个AU单独或者以组合的形式进行编码便可以呈现出人脸的表情。

在一示例性实施例中，如图4所示，对所述待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果的过程包括：对所述待识别图像中的每个第二目标对象进行骨骼关键点提取，获取每个第二目标对象的所有人体骨骼关键点；将所获取的人体骨骼关键点分为双臂关键点、双腿关键点和头颈部关键点，并根据所述双臂关键点、双腿关键点和头颈部关键点生成每个第二目标对象的人体动作特征向量；根据每个第二目标对象的人体动作特征向量进行人体动作识别，获取对应的人体动作识别结果；其中，所述人体动作包括：趴着、玩手机、书写、伸懒腰和举手。具体地，本实施例对待识别图像中的每个第二目标对象进行人体动作识别的框架结构示意图如图4所示。在图4中，数据训练模块将采集到的图像数据进行随机排序和划分，然后进行骨骼关键点的检测，将检测到的骨骼关键点进行特征向量的提取，然后通过支持向量机进行分类处理，最终形成学习行为分类模型；行为获取模块通过在课堂中设置的摄像头设备进行课堂图像数据的获取，然后对每一位学习进行骨骼关键点检测；行为识别模块中运用骨骼关键点关系特征提取法和骨骼关键点直接坐标法两种方法分别对相应的学习行为进行识别，其中骨骼关键点关系特征提取法通过对行为获取模块中检测到的学习骨骼关键点进行特征向量的提取，然后将提取到的特征向量输入到数据训练模块导入的模型中，进而完成了学习行为的识别。骨骼关键点直接坐标法通过对行为获取模块中检测到的学生骨骼关键点的不同行为的坐标关系进行学习行为的识别；数据分析模块将行为识别模块中的学习行为数据进行收集，然后通过数据分析将学生在课堂上的学习行为进行直观的数据展示。

具体地，数据训练模块首先获取大量的图片数据进行训练样本收集，本实施例对趴着、玩手机、书写三种学习行为动作的图像数据按照多数量、多姿态、多角度的标准进行采集。然后再运用opencv库编写通过摄像头自动获取图像的程序，该程序可以快速采集图像数据并且能够将采集到的图像数据进行分类别保存。再通过随机性选取多名不同身高和体型的学生，运行该程序分别对这些学生进行不同学习行为图像数据的采集。将采集到的每个类别的图像数据进行类别内的随机排序，同时将每类中的图像数据的70％划分为训练集，剩下的30％作为测试集。然后将准备好图像数据运用OpenPose模型进行骨骼关键点的检测，对双臂特征向量和头部与颈部特征向量进行提取，最后将提取到的特征向量作为支持向量机的输入进行分类训练。

行为获取模块通过在课堂中设置的摄像头对课堂的整体情况进行图像采集，采集间隔为每5秒采集一次，然后将采集到的图像进行骨骼关键点检测。对于趴着、玩手机、书写这三种动作，运用骨骼关键点关系特征提取法进行特征向量的提取，由于在课堂应用场景中需要对课堂上的每一位同学都进行学习行为的识别，课堂中每一位学生的体型和身高又都不相同，并且学生距离摄像头的远近也不同，所以对这三种动作进行关键点特征提取的过程中既要保证提取的特征向量能够区别这三种种学习行为，使得支持向量机能够进行有效的分类，又要满足特征向量可以适用于每一位同学，保证学习行为检测的不变性，同时为了提高分类的准确性，将人体的骨骼关键点分为三个部分，分别为双臂、双腿、头部与颈部，这三部分针对各自的骨骼关键点变化特征进行特征向量的构造，然后对这三部分中的骨骼关键点分别进行特征提取，通过这种分治法将这个人体的特征提取问题分为三个部分的特征提取问题，将关键点之间的位置关系转化为向量之间的关系，从而提取出特征向量。然后将提取到的特征向量导入数据训练模块训练出的模型中，进行动作分类，根据模型输出的结果标签可以确定为哪一类动作，从而完成学习行为的识别过程。由于举手和伸懒腰这两种动作的关键点之间具有明显的几何关系，所以直接通过骨骼关键点之间的坐标关系进行计算和比较，得出学习行为识别的结果。

数据分析模块将行为识别模块的识别结果数据进行收集并分析，将学习行为分为积极性学习行为和消极性学习行为两类，举手、书写为积极性学习行为，趴着、玩手机、伸懒腰为消极性学习行为。通过以上行为数据的分析对学生在课堂中的参与度及听课认真程度进行客观评测。在课堂教学过程中学生在课上的举手动作的次数是衡量学生课堂参与度的一项重要数据。本实施例对学生课堂参与度的衡量方式为将每位学生在整个上课过程中的举手次数总量与教师在上课过程中提问次数的总量进行比值，得到的即为每位学生在课堂上的参与度，将所有学生的参与度之和除以学生总人数即为课堂整体的学生参与度。学生在听课过程中的认真程度可以通过学生课上的消极性学习行为进行体现，本实施例对趴着、玩手机、伸懒腰三种消极性学习行为进行数据分析来衡量学生在课上的听课认真程度。本实施例每5秒采集一次图像数据，以30秒为一个判定区间，在30秒内如果有学生出现3次消极性学习行为则判定该学生没有认真听课，将学生总人数减去没有认真听课的人数即为认真听课的学生人数，将认真听课的学生人数除以学生总人数即为课堂整体的听课认真程度。课程结束之后会将每一位同学在整个上课过程中的每种学习行为次数、参与度、听课认真程度、课堂整体参与度、课堂整体听课认真程度分别进行可视化展示。

根据上述记载，作为一示例，如图5所示，当人体左手手部关键点高于鼻子关键点时，就可以确定为此时的动作为举左手，同理可以判断出举右手。具体计算方法如下：以图片的左上角为坐标原点，当图中存在左手手部关键点的情况下，手部关键点H的纵坐标的小于点N的纵坐标且右手手部关键点纵坐标大于N时，判定此时的动作为举左手。

根据上述记载，作为另一示例，如图6所示，当人体的左右手手部关键点都高于鼻子关键点时，就可以确定此时的动作为伸懒腰。具体计算方法如下：以图片的左上角为坐标原点，当图中存在左右手手部关键点的情况下，手部关键点H1与H2的纵坐标都小于N1时，判定此时的动作为伸懒腰。

根据上述记载，作为另一示例，如图7所示，本实施例通过将手臂上的三个关键点表示为两个向量，将关键点之间的位置关系转化为向量之间的关系，从而提取出特征向量。趴着时的特征向量的具体计算方法如下：

其中，本实施例将图7中左臂的三个关键点S1、E1、H1分别用向量

根据上述记载，作为另一示例，如图8所示，玩手机时的特征向量的具体计算方法如下：

将颈部与头部之间的关键点用向量

根据上述记载，作为另一示例，图9展示了书写姿态的骨骼关键点，其中，书写姿态的特征向量的具体计算方法参见上述实施例，本实施例不再进行赘述。

综上所述，本发明申请提供一种基于人脸表情和人体动作的教学质量评估系统，通过在第一目标对象展示教学内容时，对一个或多个第二目标对象进行拍摄，得到待识别图像；然后对待识别图像中的每个第二目标对象进行人脸表情识别，获取对应的人脸表情识别结果；以及对待识别图像中的每个第二目标对象进行人体动作识别，获取对应的人体动作识别结果；再将同一个第二目标对象的人脸表情识别结果和人体动作识别结果进行关联，并对关联结果进行权重匹配；最后根据权重匹配结果计算待识别图像中所有第二目标对象的学习状态分数，并基于学习状态分数结果评估第一目标对象在展示教学内容时的教学质量。其中，本系统中的第一目标对象可以是教师，第二目标对象可以是学生。由此可知，本系统通过在教师展示教学内容时，对一个或多个学生进行拍摄，得到待识别图像；然后再对待识别图像中的学生进行人脸表情和人体动作识别，最后根据识别结果得到当前教师在展示教学内容时，学生对当前教学内容的掌握程度，从而可以真实地反应出当前教师的课堂质量，辅助学校管理人员或学科老师准确地对把控教学质量和教学进度。

本申请实施例还提供了一种计算机设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。图11示出了一种计算机设备1000的结构示意图。参阅图11所示，计算机设备1000包括：处理器1010、存储器1020、电源1030、显示单元1040、输入单元1060。

处理器1010是计算机设备1000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1020内的软件程序和/或数据，执行计算机设备1000的各种功能，从而对计算机设备1000进行整体监控。本申请实施例中，处理器1010调用存储器1020中存储的计算机程序时执行如图1所述的方法。可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用等，调制解调处理器主要处理无线通信。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、各种应用等；存储数据区可存储根据计算机设备1000的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。

计算机设备1000还包括给各个部件供电的电源1030(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及计算机设备1000的各种菜单等，本发明实施例中主要用于显示计算机设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1050。显示面板1050可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight-Emitting Diode，OLED)等形式来配置。

输入单元1060可用于接收用户输入的数字或字符等信息。输入单元1060可包括触控面板1070以及其他输入设备1080。其中，触控面板1070，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1070上或在触控面板1070附近的操作)。

具体的，触控面板1070可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器1010，并接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1070。其他输入设备1080可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

当然，触控面板1070可覆盖显示面板1050，当触控面板1070检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板1050上提供相应的视觉输出。虽然在图11中，触控面板1070与显示面板1050是作为两个独立的部件来实现计算机设备1000的输入和输出功能，但是在某些实施例中，可以将触控面板1070与显示面板1050集成而实现计算机设备1000的输入和输出功能。

计算机设备1000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述计算机设备1000还可以包括摄像头等其它部件。

本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有指令，当一个或多个处理器执行所述指令时，使得上述设备能够执行本申请中如图1所述的方法。

本领域技术人员可以理解的是，图11仅仅是计算机设备的举例，并不构成对该设备的限定，该设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时，可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的，应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可应用至通用计算机、专用计算机、嵌入式处理机或其他可编程基于人脸表情和人体动作的教学质量评估设备的处理器中以产生一个机器，使得通过计算机或其他可编程基于人脸表情和人体动作的教学质量评估设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程基于人脸表情和人体动作的教学质量评估设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程基于人脸表情和人体动作的教学质量评估设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当理解的是，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。