一种基于机器视觉的客观评价学生课堂表现的方法及系统

摘要

本发明涉及人工智能技术领域，具体涉及一种基于机器视觉的客观评价学生课堂表现的方法及系统，包括构建课堂行为判定模型；基于监控数据生成教室座位背景基准图；对学生人脸、人体数据进行识别和追踪，得到座位对应关系；将座位对应关系填充在教室座位背景基准图中，得到课堂行为抓拍图；将课堂行为抓拍图输入课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果，通过学生人脸数据判断学生的课堂参与情况、课堂活动情况、发言情况和出勤表现，解决现有的评价学生课堂表现的方法评价出的平时成绩真实性较低的问题。

说明书

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于机器视觉的客观评价学生课堂表现的方法及系统。

背景技术

在大多数高校中，学生每门课的总成绩由考试成绩和平时成绩组成，平时成绩包括课堂学生参与课堂活动情况和发言情况和出勤表现。

考勤时会要求学生使用手机扫码签到，并且网上签到学生可不用真实姓名，因此存在帮他人签到的情况，所以考勤的真实性无法实时确定，因此并不能客观、公正的给出学生的平时成绩，降低了平时成绩的真实性。

发明内容

本发明的目的在于提供一种基于机器视觉的客观评价学生课堂表现的方法及系统，旨在解决现有的评价学生课堂表现的方法评价出的平时成绩真实性较低的问题。

为实现上述目的，第一方面，本发明提供了一种基于机器视觉的客观评价学生课堂表现的方法，包括以下步骤：

构建课堂行为判定模型；

基于监控数据生成教室座位背景基准图；

对学生人脸、人体数据进行识别和追踪，得到座位对应关系；

将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；

将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果。

其中，所述构建课堂行为判定模型的具体方式为：

构建行为分析网络、训练数据集和测试数据集；

基于半监督学习方式使用所述训练数据集对所述行为分析网络进行训练，得到训练模型；

使用所述测试数据集对所述训练模型进行评估并优化，得到课堂行为判定模型。

其中，所述基于监控数据生成教室座位背景基准图的具体方式为：

获取监控数据；

对所述监控数据的目标区域进行角度和宽高比判断，得到判断结果；

基于所述判断结果对所述目标区域的图像进行校正，得到背景基准图。

其中，所述对学生人脸、人体数据进行识别和追踪，得到座位对应关系的具体方式为：

基于所述监控数据识别教室内的学生人脸数据；

将所述学生人脸数据与人脸数据库进行对比，得到学生信息；

基于所述学生信息记录对应的学生的衣帽特征信息；

基于所述衣帽特征信息追踪所述学生的入座行为和座位编号，得到入座情况；

基于所述入座情况生成所述学生信息与座位的对应关系。

所述学生信息包括学生姓名、学号和课表信息。

其中，在步骤将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果之后，所述方法还包括：

基于预设时间段将所述课堂表现评价结果生成课堂氛围趋势图；

基于所述课堂氛围趋势图进行分析，得到分析结果；

基于所述分析结果对教师课堂管教效果进行调整。

第二方面，本发明提供了一种基于机器视觉的客观评价学生课堂表现的系统，包括构建模块、生成模块、追踪模块、填充模块和判定模块，所述构建模块、所述生成模块、所述追踪模块、所述填充模块和所述判定模型依次连接；

所述构建模块，用于构建课堂行为判定模型；

所述生成模块，基于监控数据生成教室座位背景基准图；

所述追踪模块，用于对学生人脸、人体数据进行识别和追踪，得到座位对应关系；

所述填充模块，用于将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；

所述判定模块，用于将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果。

本发明的一种基于机器视觉的客观评价学生课堂表现的方法，通过构建课堂行为判定模型；基于监控数据生成教室座位背景基准图；对学生人脸、人体数据进行识别和追踪，得到座位对应关系；将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果，通过学生人脸数据判断学生的课堂参与情况、课堂活动情况、发言情况和出勤表现，解决现有的评价学生课堂表现的方法评价出的平时成绩真实性较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于机器视觉的客观评价学生课堂表现的方法的流程图。

图2是课堂行为判定模型的工作流程图。

图3是监控数据校正前后的对比图。

图4是课堂行为抓拍图的结构示意图。

图5是是本发明提供的一种基于机器视觉的客观评价学生课堂表现的结构示意图。

1-构建模块、2-生成模块、3-追踪模块、4-填充模块、5-判定模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图4，第一方面，本发明提供一种基于机器视觉的客观评价学生课堂表现的方法，包括以下步骤：

S1构建课堂行为判定模型；

具体方式为：

S11构建行为分析网络、训练数据集和测试数据集；

具体的，构建训练数据集和测试数据集的具体方式为：构建课堂行为数据，并将所述课堂行为数据按常规数据分析比例划分为训练数据集和测试数据集，课堂行为至少包括上课、做笔记、睡觉、玩手机、缺席、新入。所述行为分析网络以YOLOv5为骨干框架训练而成。

S12基于半监督学习方式使用所述训练数据集对所述行为分析网络进行训练，得到训练模型；

具体的，基于半监督学习方式使用所述训练数据集对所述行为分析网络进行网络的迭代训练和反复评估，当达到预设训练次数或达到预设效果，结束训练，得到训练模型。

S13使用所述测试数据集对所述训练模型进行评估并优化，得到课堂行为判定模型。

具体的，在使用所述测试数据集对所述训练模型进行评估并优化，得到优化模型；使用真实场景中收集的不限于各类尺度、大小、光照、角度类型数据对所述优化模型进行效果验证，确认所述优化模型的泛化性、鲁棒性，得到课堂行为判定模型。

S2基于监控数据生成教室座位背景基准图；

具体方式为：

S21获取监控数据；

具体的，所述监控数据为教室内摄像头采集到的数据。

S22对所述监控数据的目标区域进行角度和宽高比判断，得到判断结果；

具体的，由于教室内绝大部分监控摄像头是安装在角落，视野对于座位方向是斜射的，因此需要对所述监控数据的目标区域进行角度和宽高比判断，得到判断结果。

S23基于所述判断结果对所述目标区域的图像进行校正，得到背景基准图。

具体的，当所述判断结果为斜射面时，对所述监控数据进行校正，得到背景基准图，当所述判断结果为正向面时，将所述监控数据作为背景基准图，在校正时，可以根据目标区域的宽高比和拍摄角度确定图像旋转角度从而完成修正，消除最终显示效果对观看者造成的不适感。如图3所示，图3中左图是校正前的监控数据，右图是校正后的背景基准图。

S3对学生人脸、人体数据进行识别和追踪，得到座位对应关系；

具体方式为：

S31基于所述监控数据识别教室内的学生人脸数据；

S32将所述学生人脸数据与人脸数据库进行对比，得到学生信息；

具体的，所述学生信息包括学生姓名、学号和课表信息。

S33基于所述学生信息记录对应的学生的衣帽特征信息；

S34基于所述衣帽特征信息追踪所述学生的入座行为和座位编号，得到入座情况；

S35基于所述入座情况生成所述学生信息与座位的对应关系。

S4将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；

具体的，将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图，并将所述课堂行为抓拍图在终端上展示。

S5将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果。

具体的，在上课(包括第一节和第二节)到下课(包括第一节和第二节)这段时间内，将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果，所述课堂表现行为至少包括是否缺勤、是否迟到、上课是否有睡觉或玩手机等不良行为和认真上课、做笔记等值得提倡的学习行为，以及是否缺席某一节课。如迟到还包含迟到时间，睡觉或玩手机包含持续时间，做笔记次数等。在终端上(不限于教学设备、智能眼镜等终端显示屏)基于所述课堂行为抓拍图可直接喊出学生姓名答题或者基于所述课堂表现评价结果识别出的课堂不良行为向学生给予警告等干预行为。对于缺勤的学生信息可及时自动推送给辅导员，以确认学生是否安全或行踪明确。

考勤数据或信息自动记录保存，包括缺勤、中间离席(第一节课来第二节课离开)、换座、新入(第二节课进课堂)等情况。

数据资源准备，该方法运用的数据来源于教务系统和监控机房，要对接的数据源有教师及其授课信息，至少包括授课老师姓名和工号、班级、学生学号、授课教室、周次、节次和日期时间(与网络节假日安排表对接，自适应确定被冲掉的课程以提醒是否需要调课补课或提前规划)、人脸数据、摄像头编号(与教室对应)，通过学生信息中的课表信息与授课老师姓名、授课教室等信息相对比，还能够直接在终端直接的区分课堂学生与旁听学生，使授课老师更加了解课堂情况。

算法原理：算法网络(所述课堂行为判定模型)基于YOLOv5目标检测框架，通过堆叠的CSPNet,提取目标较强的语义特征，并与浅层纹理特征融合，提升做笔记和玩手机等(教室由于视野焦距远，目标偏小)小目标的检测能力；同时为了提升对小目标定位的准确性，又在后面接了一层自底向上的网络结构PAN，将底层的强定位特征传上去。最后对网络不同尺度层输出解码结果，获取回归的目标框坐标和目标置信度。

算法实现方案：

输入端：该网络的输入图像大小为N*M，该阶段通常包含图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。在网络训练阶段，为提升模型的鲁棒性和泛型能力，模型训练时采用复杂数据增强技术，让算法模型适用于模糊、反光、复杂姿态等场景，数据增强策略(程序驱动增加数据多样性或数量)包括但不限于：运动模糊、随机裁剪、随机旋转(角度-40～40°)、亮度颜色变化、随机缩放，Mosaic数据增强等。

基准网络(Focus+CSP)：所述课堂行为抓拍图的原始N*M*3的图像输入Focus结构，采用切片操作，先变成(N/2)*(M/2)*12的特征图，再经过一次32个卷积核的卷积操作，最终变成(N/2)*(M/2)*32的特征图；CSP结构：采用CSP1结构，使用跨阶段局部网络结构，即将feature map拆成两个部分，一部分进行卷积操作，另一部分和上一部分卷积操作的结果进行concate，将深层目标较强语义特征与浅层纹理特征融合，在缓解大量推理计算的同时，又能增强CNN的学习能力，还够在轻量化的同时保持准确性。

Neck网络：位于基准网络和头部网络之间，采用借鉴CSPnet设计的CSP2结构(PAN:Botton-Up)，加强网络特征融合的能力。

Head(头部网络)输出端：将多尺度的特征融合，完成检测行为的输出。

S6基于预设时间段将所述课堂表现评价结果生成课堂氛围趋势图；

具体的，可选定某一时间段的课堂所述课堂表现评价结果生成课堂氛围趋势图。

S7基于所述课堂氛围趋势图进行分析，得到分析结果；

S8基于所述分析结果对教师课堂管教效果进行调整。

请参阅图5，第二方面，本发明提供了一种基于机器视觉的客观评价学生课堂表现的系统，包括构建模块1、生成模块2、追踪模块3、填充模块4和判定模块5，所述构建模块1、所述生成模块2、所述追踪模块3、所述填充模块4和所述判定模型依次连接；

所述构建模块1，用于构建课堂行为判定模型；

所述生成模块2，基于监控数据生成教室座位背景基准图；

所述追踪模块3，用于对学生人脸、人体数据进行识别和追踪，得到座位对应关系；

所述填充模块4，用于将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；

所述判定模块5，用于将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果。

具体的，所述构建模块1构建课堂行为判定模型；所述生成模块2基于监控数据生成教室座位背景基准图；所述追踪模块3对学生人脸、人体数据进行识别和追踪，得到座位对应关系；所述填充模块4将所述座位对应关系填充在所述教室座位背景基准图中，得到课堂行为抓拍图；所述判定模块5将所述课堂行为抓拍图输入所述课堂行为判定模型判定学生的课堂表现行为，得到课堂表现评价结果，通过学生人脸数据判断学生的课堂参与情况、课堂活动情况、发言情况和出勤表现，解决现有的评价学生课堂表现的方法评价出的平时成绩真实性较低的问题。

以上所揭露的仅为本发明一种基于机器视觉的客观评价学生课堂表现的方法及系统较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。