融合脸部外观和多行为特征的学生专注度识别网络

摘要

在线学习环境中,专注度是衡量用户学习体验的重要指标。提高专注度识别的准确率可以帮助老师及时获得课程反馈,提升用户的学习体验。然而大多数现有的基于视频的专注度识别方法都只利用用户面部外观信息。除了面部外观信息之外,头部姿态和注视角度以及眨眼频率在内的细粒度行为线索也和学习专注度密切相关,但是,前人在专注度识别任务中没有很好地综合考虑以上特征。因此,本文提出一种新的专注度识别模型。该方法结合深度残差网络(ResNet)提取的脸部特征和基于OpenFace捕获的行为特征,这些特征输入到时序卷积网络(TCN)用于分析视频帧时空上的变化,以此识别出学习专注度。我们的模型在大型公开的专注度检测数据集DAiSEE上训练,在专注度四分类达到61.4%的准确率,实验结果表明,我们的方法超过DAiSEE上专注度识别的最先进方法。