课堂场景下学习者情感识别研究

摘要

课堂上学生的面部表情和姿态是学习状态的一种自然流露,能够反映出学习者当前的学习状态。而传统的情感识别方法存在识别准确率低、特征提取困难以及实时性差等问题。针对上述问题,本文提出了一种基于表情和姿态的双模态情感识别模型。该模型主要由二部分构成:一是针对学习者的表情和姿态识别,在TinyYOLOv3目标检测算法基础上,通过加入注意力机制SEBlock,改进原模型的卷积结构,并采用GIoU loss改进损失函数,利用K-means算法在自主构建的数据集上聚类,得到适合学习者情感识别的anchor,最终得到适合于学习者情感识别的ERTinyYOLOv3模型。二是针对多模态采用决策层融合方法,进行最终结果的判定,提出针对课堂学习者的融合方法。实验结果表明,该模型相比于TinyYOLOv3,mAP@0.5提升了17%,Precision提升了35%,F1分数提升了22.6%。