基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测

摘要

课程教学质量是衡量学校教学水平的一项核心内容,其教学效果可以从学生听课状态进行直观反映。为提升学生上课状态,督促课堂纪律,本文提出一种基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测的方法。首先,利用浙江农林大学监控视频进行手工标注图片,并利用数据增强方式增加图片规模,建立常见学生课堂行为数据集;然后,以预训练的Inception-ResNet-v2网络用于特征提取,目标检测框架选用Faster R-CNN,通过迁移学习方式实现对正常学习、睡觉、低头等课堂行为的检测;最后,通过多路特征融合方式,在拥有丰富语义信息的深层中融入更多细节信息的浅层特征,得到改进的学生课堂表现检测模型。实验结果显示:该模型的查准率均值可达76.32%,在原有算法基础上提升了12.22个百分点,取得较好的检测效果。该模型对学生课堂行为具有较高的查准率,表明多路特征融合的Faster R-CNN在学生课堂行为检测具有一定的应用前景,可为提高课堂教学质量提供新的参考。