一种基于情绪识别的学习者线上学习效率评估系统

摘要

本发明公开了一种基于情绪识别的学习者线上学习效率评估系统，包括基于系统架构的实时摄像监控模块、图像收集模块、图像处理模块、统计分析模块，实时摄像监控模块用于关键数据的获取；图像处理模块用于数据的分析处理；统计分析模块用于对构建的模型数据进行统计分析。本发明与现有技术相比的优点在于：通过线上授课过程中自带的高清摄像头实时读取学习者头部特征，将脸部表情特征、头部姿态与手部骨骼行为进行有机的结合，三点一体通过科学的权重计算，综合得出学习者的学习效率，从而有效降低仅仅从非生理性信号进行情绪识别的失误率，提高容错率。

说明书

技术领域

本发明涉及教育领域，具体是指一种基于情绪识别的学习者线上学习效率评估系统。

背景技术

情绪识别原本是指个体对于他人情绪的识别，现多指AI通过获取个体的生理或非生理信号对个体的情绪状态进行自动辨别，是情感计算的一个重要组成部分，是综合了人的感觉、思想和行为的一种状态，在人与人的交流中发挥着重要作用。常见的情绪识别方法主要分成两大类：基于非生理信号的识别和基于生理信号的识别。而基于情绪识别的应用也是愈发的广泛，比如在医学领域，情绪识别能为精神疾病的诊断治疗提供依据；在用户体验方面，对产品进行调研时，获取用户的情绪变化，有利于发现产品存在的问题；在交通领域中，及时检测那些需要高度集中注意力进行操作的工作人员的情绪状态是避免事故发生的一种有效手段。

目前，基于情绪识别的技术也逐步应用于教育领域。作为非生理信号识别的基础——监控技术除了用来侦察是否考试作弊以及纠正不规范的上课行为之外，更在更深层次的方面有了结合，比如蜜枣网与微软亚研院的合作，可以对学习者进行长时间、全面的分析，进行教学效率的评估。但是仍具有诸多不足，基于非生理信号的情绪识别基础可靠性较低，而在上述合作中仅仅通过面部表情的判断来确定学习者的学习效率，可靠性差，准确率低。而本方案主要提出了一种基于非生理性的情绪识别方法，通过头部姿态检测、情绪识别与骨骼检测判断学习者线上学习效率的评估系统，大幅提高检测准确率。

发明内容

本发明目的是提供一种基于情绪识别的学习者线上学习效率评估系统。

为解决上述技术问题，本发明提供的技术方案为：一种基于情绪识别的学习者线上学习效率评估系统，包括基于系统架构的实时摄像监控模块、图像收集模块、图像处理模块、统计分析模块，所述实时摄像监控模块用于关键数据的获取；所述图像处理模块用于数据的分析处理；所述统计分析模块用于对构建的模型数据进行统计分析；

一种基于情绪识别的学习者线上学习效率评估系统的工作步骤如下：

1)基于视频图像的人脸检测，给定一个视频影像，要求定位和检测出一个人的头部姿态、人脸位置、颈部以及手臂、五指的屈伸与姿态，即三个部分，图像分割、检测物锁定、特征提取；

2)面部表情的分析判断，基于纹理特征的方向梯度直方图(HOG)对图片降维进行特征提取，提高模型提取特征效率，从输入层次上提高性能，并结合线性插值进行加权运算，充分的表现图像细节和整体特征，并将CBAM添加到网络中；

3)特征定义，通过表情特征将学习者情感状态主要划分为三类，分别是“开心”、“中性”、“无聊”，通过面部表情结合扭转角度与头部姿态来判断这三种状态。

本发明与现有技术相比的优点在于：本方案通过线上授课过程中自带的高清摄像头实时读取学习者头部特征，将脸部表情特征、头部姿态与手部骨骼行为进行有机的结合，三点一体通过科学的权重计算，综合得出学习者的学习效率，从而有效降低仅仅从非生理性信号进行情绪识别的失误率，提高容错率。

进一步的，实时摄像监控模块通过对网课过程中笔记本及电脑摄像头的控制，实现对学生在屏幕前的学习状态的实时监控，并将取到的视频信号实时传入计算机主控运算中心。

进一步的，实时摄像监控模块包括人脸检测功能、表情识别功能、头部姿态分析功能、躯体行为判断功能。

进一步的，图像收集模块通过调整设备的读取频率，在一定时间内数据化的次数，自动收集需要的音频与视频，作为数据材料，为后续模块运行提供数据基础。

进一步的，图像处理模块实现图像目标的人脸检测，提取脸部特征区域，划分为468个关键点，并根据模型实时追踪学习者手臂、五指等躯体行为，为下一模块提供参考数据。

进一步的，统计分析模块通过上一模块提供的数据支持，输入模型进行比对，得到学生对课程内容的关注度、参与度，并当某一时刻参与度较低时，进行时间上的记录与实时的提醒。

附图说明

图1是本发明的的架构示意图。

图2是本发明的人脸特征点提取的框图。

图3(a)是本发明的对于学生个体的特写图像示意图。

图3(b)是本发明的侧面局部图像对人脸特征点的检测结果的示意图。

图3(c)是本发明的部分肢体器官的检测的示意图。

图4是本发明的基于表情的初步判断框架图。

图5是本发明的线上教学中常见的学生心理和面部特征分析示意图。

图6是实施例中表情特征识别的数据示意图。

图7(a)是实施例中一种面部表情的判断示意图。

图7(b)是实施例中另一种面部表情的判断示意图。

图8是实施例中对表情特征的实时追踪示意图。

图9(a)是实施例中正脸与头部姿态转角α状态下系统观察正脸的表情特征示意图。

图9(b)是实施例中头部与头部姿态转角α状态下系统观察侧脸的表情特征示意图。

图9(c)是实施例中正脸与头部姿态仰角β状态下系统观察正脸的表情特征示意图。

图9(d)是实施例中正脸与头部姿态仰角β状态下观察仰脸的表情特征示意图。

图10是本发明的的系统功能示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

本发明在具体实施时，如图1所示的实施例中，提出一种基于表情识别与姿态行为的学生课堂参与度评估系统，内部板块主要包括视频录取板块、数据获取板块、头部姿态、表情、躯体行为识别板块与实验分析评价板块，具体的：1)实施摄像监控板块，通过对网课过程中笔记本及电脑摄像头的控制，保证在网课期间对学生在屏幕前的学习状态进行实时的监控。并将取到的视频信号实时传入计算机主控运算中心，初步采用多方位姿态处理办法，既要得到脸部表情特征，又要的得到躯体姿态、五指特征。但是智能分析判断时既可以只通过面部表情特征姿态识别，又可以结合躯体姿态进行识别。

2)图像收集板块。通过调整设备的读取频率，在一定时间内数据化的次数，自动收集需要的音频与视频，作为数据材料，为后续模块运行提供数据基础。

3)图像处理板块。实现图像目标的人脸检测，提取脸部特征区域，划分为468个关键点，并根据模型实时追踪学习者手臂、五指等躯体行为，为下一模块提供参考数据。

4)统计分析模块。通过上一模块提供的数据支持，输入模型进行比对，得到学生对课程内容的关注度、参与度，并当某一时刻参与度较低时，进行时间上的记录与实时的提醒。

在本发明的一个实施例中，如图2、图3(a)、图3(b)、图3(c)、图4图5所示，本系统的具体工作步骤如下：

(一)基于视频图像的人脸检测方法

在目前的线上教学过程中，学习者会呈现不同的姿态、表情与行为，且受于线上教学的影响，每位学习者上课环境不同，因此监控视频影像中的场景较为复杂多变。但是也正是因为线上教学，学习者与学习屏幕之间的距离不会超出一定的范围，而自带的摄像头通常可以完成较为清晰的对目标的连续拍摄，所以可以有效捕捉学习者的人脸信息。

给定一个视频影像，要求定位和检测出一个人的头部姿态、人脸位置、颈部以及手臂、五指的屈伸与姿态，即三个部分，图像分割、检测物锁定、特征提取。由于人脸的差异性与环境的复杂性使得面部与肢体特征点的定位与跟踪变得非常具有挑战性。目前，基于模型的定位是主流的定位方法，XGBoost(eXtreme Gradient Boosting)极致梯度提升，是一种基于GBDT的算法或者说工程实现，因为其高效、灵活、轻便的特点成为了推荐系统、数据挖掘等领域得到了广泛的应用。本文在引入XGBoost模型的基础上，结合RESnet的机理实现人脸特征的提取。基于现有的XGBoost方法，结合现有模型与数据，在网课中进行多姿态人脸特征的提取。

如图3(a)所示对于学生个体的特写图像，本方法可有效地识别其头部转角，以及脸部特征区域，对于眼镜、手部，乃至口罩的遮挡都通过有效的降噪算法进行了优化，体现了其稳定性与健壮性。图3(b)为针对侧面局部图像对人脸特征点的检测结果，除了个别脸部偏转或者遮挡过大的情况会无法准确识别其特征点。图3(c)为对部分肢体器官的检测，锁定期手部特征，观察其细节行为。

(二)面部表情的分析判断方法

表情是情绪的外在体现与表达，更是研究人类的一种客观指标，美国著名心理学专家保罗·艾克曼的面部感情记录技术可以测量出愉快、惊奇、厌恶、愤怒、惧怕、悲伤6种情绪(孟昭兰，1987)。毋庸置疑的是这六种表情不能很好的适用于教育，但是本文从中截取其特色，使之可以更好的适用于教育领域。在正常的上课体验中，学生的表情给老师传递大量的情感信息，反映了学生对这门课的理解程度，表现了其听懂、困惑等情感特征。学生在能听懂的基础上表现出来的面部表情是轻松愉快的，头部状态是紧盯老师的，跟着老师的节奏移动，这代表了他对当前学习内容很感兴趣，参与度很高。而当学生对该内容表现出无聊甚至是抗拒的表现，而行为特征也表现为长期低头，左顾右盼，又或者眉头紧锁，甚至是趴下睡觉，多数是参与度较低或者学习者不能听懂教师所讲的内容。

表情是基于生理的一种自然表达，从人类本能出发，不受大脑的控制，所以不能掩饰、更不能伪装。表情有诸多方面的应用，比如在司法领域刑侦方面的应用，判断犯罪嫌疑人是否说谎；可以用于有关精神方面的病情治防领域，帮助对患者进行疾病的治疗；更可以应用于教育领域，帮助教师更好的了解学习者的情感状况，从而进行情感弥补，使学生更好的学习，提高学习效率。

基于纹理特征的方向梯度直方图(HOG)对图片降维进行特征提取，提高模型提取特征效率，从输入层次上提高性能，并结合线性插值进行加权运算，充分的表现图像细节和整体特征。将CBAM(注意力模块)添加到网络中，以提高准确率。卷积注意力模块(Convolutional BlockAttention Module，CBAM)，是由SanghyunWoo等人在2018年提出，这是一种用于前馈卷积神经网络的简单而有效的注意力模块。给定一个中间特征图，CBAM模块依次从通道和空间两个不同的维度推算注意力图，然后将注意力图与输入特征图相乘，以此进行自适应特征优化。针对不同表情有各自不同的特征，我们创新性地提出了在不同表情上采取不同的注意力学习算法机制，采用空间变换网络聚焦，使网络能够集中于脸部的重要部位，既减少了参数量，减轻梯度爆炸的影响，还以此来增加学习的效率和准确率，可以更好地应用于智慧教育。

给定一张人脸图像或人脸视频，并非人脸的所有部分在检测特定情绪方面都很重要，在许多情况下，我们只需关注特定区域即可感知潜在情绪。基于这一观察，同时受到“因材施教”思想的启发，我们自主提出添加一种注意机制，不同表情上采取不同的注意力学习算法，通过空间变换网络转换为我们的框架，以关注重要的面部区域。

在线上教学的环境中，我们引入了姿态识别与人脸表情识别技术，加上头部、肢体姿态检测，分析表情在客观上的状态与学习者主观行为下的心理状态，根据计算机智能分析得到参与度，并且可以在参与度长时较低情况下进行”Alarm”，其次，也可以方便教师掌握教学情况。

(三)特征定义

我们通过表情特征将学习者情感状态主要划分为三类，分别是开心、中性、无聊。依据伊扎德面部编码系统，通过面部表情结合扭转角度与头部姿态来判断这四种状态，具体如图5所示。

进一步的，在本发明的一个实施例中，本实施例将学习者头部姿态及面部表情行为相结合，通过计算机的高性能运算的优势，对线上教育进行了有效的跟防，使线上学习效率得到提高，也使教师对学生学习状况得到了解，从而针对薄弱环节进行督促与教学补偿。通过对学生面部表情与头部姿态转角进行分析，记录学生的状态，及时帮助学生调整自己的学习方式和学习方法，制定具有针对性的方案，实现学生能力和学生个性化的不断发展。同时，若能在教学和交流中，准确地把握学生对课堂的参与度，则可以有效提高管理效率，了解学生的真实心理情况，辨别学生在平时的表现中是否存在说谎行为，及时调整管理思路和工作方法，建立和学生之间的信任感，同时对可能发生的突发事件做好充足的准备。

系统的操作流程具体包括：

(一)表情特征识别

越深的网络结构，其拟合能力应该越强，然而，当网络的深度达到一定程度时，网络的性能不升反降。常规的神经网络，是将卷积层、全连接层等结构按照一定的顺序简单地连接到一起，每层结构仅接受来自上一层的信息，并在本层处理后传递给下一层。当网络层次加深后，这种单一的连接方式会导致神经网络性能退化。当引入Residual残差学习时，这种不足就能得以改善，所谓的残差学习，就是在上述的单一连接方式的基础上，加入了“短连接”(shortcutconnections)。而ResNet中最重要的是残差学习单元，残差网络是在网络上加上skipconnections(跳过连接层)。

同时，由于在网络中每一次的反向传播过程，所有的权重会同时更新，导致层间配合“缺乏默契”，而且层数越多，相互配合越困难，还需要对每层输入的分布有所控制。我们应用了BatchNormalization(批归一化)，BatchNormalization具有某种正则作用，使用了这个方法之后，就不需要使用dropout方法了，同时还减少了过拟合。

而作为智能分析的基础分类，对脸部表情的判断尤为重要，经过在ResNet、GoogLeNet、AlexNet、VGG等诸多模型的实验比对下，我们选择了效果最佳的ResNet模型，把实验的准确率提升到最高，我们在训练集上的实验正确率高达97.59％，如图6所示。设输出函数为H(x)，F(x)为残差函数，x为输入则：

H(x)＝F(x)+x

通过深度学习训练模型，可以得到有关面部表情的判断，如图7(a)与图7(b)所示。并且可以随时间的实时展现，对表情特征的实时追踪如图8所示：

(二)头部姿态判断

引入在两个方向的夹角α与β，对头部姿态进行状态跟踪。当学生本身处于开心或者设初始参与度系数为α(t)＝-1，β(t)＝-1，t为实时变化的时间，当夹角α随时间变化的度数|α(t)|不超过30°、β随时间变化的度数|β(t)|不超过15°时，关注度系数a(t)＝1、β(t)＝1，否则关注度系数即为0。则基于线上课堂的参与度的判断具体见计算公式(1)：

而当学生本身处于消极的一种状态属性，或者面部检测认定失败，又或者角度偏转大于三十度则可基本定义为没有参与课堂行为，当持续超过一个标准的时间则由该系统进行提醒。的计算公式如课堂参与时间的计算公式T见公式(2)：

其中N线上上课中学习者一共被检测的次数，而n为其中检测报告为积极参与课堂的次数，T

为了有效观察人脸的表情特征，针对脸部特征点对其头部姿态转角α，如图9(a)与图9(b)所示，正脸与扭转之间的夹角为头部姿态转角α。如图9(c)与图9(d)所示，正脸与仰视之间的夹角为头部姿态仰角β，针对头部姿态转角α、头部姿态仰角β等参数进行细致的分析与判断。

以上显示和描述了本发明的基本原理和主要特征以及发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。