基于特征模型的课堂学情实时监测方法与系统

摘要

本发明涉及教育教学技术领域，具体涉及一种基于特征模型的课堂学情实时监测方法与系统，包括：教师管理端设置数据采集参数，并将设置的参数发送给学生用户终端；学生用户终端根据教师管理端的设置参数实时采集学生上课状态的视频/图像数据，进行人脸特征提取、压缩，并上传给数据服务器进行存储；逻辑服务器调用接口模块提取数据服务器中的特征信息和已有经验信息，通过特征模型进行处理后输出学生上课状态描述信息，并将描述信息发送给教师管理端，教师管理端将学生上课状态描述信息在显示屏上显示以供教师使用者监测学情情况。本发明能够实现课堂学情的实时监测。

说明书

技术领域

本发明涉及教育教学技术领域，具体涉及一种基于特征模型的课堂学情实时监测方法与系统。

背景技术

近年来，时代的发展和科技的进步促进了现代化教学手段的应用，课堂环境和教学手段都产生了巨大变化。

目前高校课堂学习和管理仍然存在一些问题，很大一部分高校的学生缺少自控能力，抵制不住手机的诱惑，或者受周围同学的影响，听课效率低，学习效果差；需要教师在课堂上进行管控，才能改善学习情况；其次部分高校因为师资匮乏，实行大课堂教学，普遍存在学生人数多、教学任务重，课堂教学内容多、上课时间短等问题，从而导致教师忽视课堂的管理；最后在高校的课程考核中，课程平时学习成绩往往占课程考核的30％以上，而课堂考核又是课程平时成绩考核比较关键的一环，课堂考核存在不公平，不规范，不及时等问题。

当前，许多高校利用人脸识别技术对高校学生进行课堂考勤管理，但在学生课堂学习管理方面的应用极少，更是缺少一种实时的系统来帮助教师对学生进行课堂的实时管理。

发明内容

为了解决上述问题，本发明提供一种基于特征模型的课堂学情实时监测方法与系统，基于学生用户终端，利用人脸识别技术，能够帮助教师管理学生的课堂学习状态，并及时反馈学生的学习情况，提醒学生在课堂中保持良好的学习状态。

一种基于特征模型的课堂学情实时监测方法，包括以下步骤：

S1、教师用户在教师管理端设置数据采集参数，设置的数据采集参数包括：调用学生用户终端摄像头的时间点、采集数据的时长，并根据所设置的参数向学生用户终端发送视频采集的指令；

S2、学生用户终端根据教师管理端发送指令实时采集学生上课状态的视频/图像数据(采集的视频/图像数据包括学生面部特征、坐姿特征信息)，进行数据筛选，筛选掉无用数据，并对筛选后的信息进行人脸特征提取，得到特征信息，对特征信息进行压缩，通过无线传输模块上传给数据服务器进行存储；

S3、逻辑服务器调用接口模块提取数据服务器中的特征信息和已有经验信息，将上述信息输入特征模型进行处理，特征模型处理完毕后输出学生上课状态描述信息，并将描述信息发送给教师管理端，教师管理端将根据学生上课状态描述信息进行判断，并根据判断结果自动选择备用的消息发送给学生，以便达到实时提醒学生调整学习状态的效果。

进一步的，所述特征模型基于SeetaFace人脸识别引擎完成人脸检测、人脸对齐、及人脸特征提取与比对，输出学生上课状态描述信息。

进一步的，特征模型的处理过程包括：

S21、首先是特征点对齐，特征点对齐包括宏观对齐和微观对齐，宏观对齐主要是对额头、肩膀、手臂位置进行比对，保证学生坐姿正确；从微观对齐主要是对眼睛、鼻子、嘴巴进行比对，用于分析学生听课行为；

S22、根据对齐的特征点进行姿势对比，根据学生额头的角度判断学生是否面向黑板，根据肩膀和手臂的位置判断学生是否坐姿正确；

S23、面部识别主要是对学生上课过程中的面部表情进行特征提取和表情变化感知，最终以文本形式输出表情识别结果；

S24、面部表情感知，将采用面部特征识别方法来进行，需要同时进行面部特征的提取和上下文信息的动态比对，来实现面部表情变化感知；并将感知到的表情进行表情定义，以便进行学生听课行为分析；

S25、表情定义：采用抽象特征的方式抽象出面部特征的共性特征，与标准模板进行比对，实现表情的定义过程，通过大数定律，能够在行为表现分值上一定程度弥补不同个体精准度的损失；

S26、即时表情特征定义，对当前人脸表情进行特征的抽象提取和存储，并与表情模板库进行比对后，定义此刻表情，定义后的数据也会同步送入分析模块进行分析计算；

S27、对连续视频进行处理时，将下一刻采集图像进行特征提取后，与即时表情进行比对，对于一直无变化的，持续提取特征信息，将最新信息进行临时存储；对于人脸离开的情况，需重新进行人脸定位和识别过程；对于感知到变化的，进行新表情的记录，并进行表情定义；

S28、新表情定义，感知到新表情后，需要重复特征抽象提取和表情定义过程，并送入分析模块进行分析；同时，将新表情存入即时表情库，将不同表情进行分析计算，得出宏观学生听课行为的最佳面部表情；

S29、主要依据识别到的面部表情和感知到的表情变化，按照模型进行行为认定后，对不同状态图片进行分析计算得出数值，并进行数值动态计算，最后得出文字描述的模型；对于学生不同的行为模型，要求感知的表情需要满足不同的数据量才予以认定。

一种基于特征模型的课堂学情实时监测系统，包括：学生客户终端、服务器、教师管理端，其中，学生客户终端主要用于采集视频/图片数据并将采集数据上传至服务器用于学情监测，并接收教师端实时反馈的学情情况分析结果，教师管理端设置数据采集参数并接收服务器端的学情分析结果，实时的将结果反馈给学生客户终端。

进一步的，学生客户终端包括视频采集模块、数据预处理模块、无线网络传输模块、存储模块，所述视频采集模块受教师管理端发送的指令触发工作，用于根据触发指令采集视频/图像数据；所述数据预处理模块用于对视频采集模块采集的数据进行预处理(预处理主要包括：筛选掉无用数据、压缩视频帧、人脸特征提取)；所述无线网络传输模块用于与数据服务器和教师管理端进行数据交互；所述存储模块用于存储交互过程中获得的数据，视频采集模块采集的数据以及中间处理过程的数据。

进一步的，所述视频服务器包括数据服务器、逻辑服务器和接口模块，所述数据服务器中包括存储模块，存储模块用于存储数据；所述逻辑服务器中包括深度学习模块，深度学习模块主要用于分析学生的上课状态并输出；数据服务器和逻辑服务器之间通过接口模块进行数据传输和调用。

进一步的，所述接口模块包括第一接口和第二接口，所述第一接口设置于数据服务器上，所述第二接口设置于逻辑服务器上，数据服务器和逻辑服务器通过有线连接第一接口和第二接口实现数据交互。

进一步的，所述接口模块采用face-detect接口。

进一步的，所述教师管理端包括时钟模块、通信模块和显示屏，所述时钟模块用于设置发送触发指令的间隔；所述通信模块用于向服务器和学生客户终端数据通信，主要用于发送触发指令，接收服务器学情分析结果并实时向学生用户终端反馈学情结果；所述显示屏用于显示课情情况数据，便于实时监测。

本发明的有益效果：

1)在上课过程中，学生用户终端放置在固定位置，并按照要求登陆学生用户终端，学生用户终端设备根据教师管理端发出的指令，拍摄学生上课过程的视频以及图片并将采集信息上传至服务器，服务器的计算分析过程中也针对某一个学生进行分析对比，因此学生上课学情情况分析具有针对性和个性化的特点。

2)视频服务器端分为数据服务器和逻辑服务器，避免冗余数据庞大导致的通信链路堵塞的情况，提高了计算效率；逻辑服务器利用训练好的特征模型采集的视频数据进行实时处理并计算，计算结果更加精确，并将计算结果及时反馈给教师，教师管理端能够根据结果向学生反馈消息，提醒学生上课注意听讲，便于教师实时管理学生上课的状态，提高学习效率。

3)教师管理端可以由教师在上课前先随机设定采集视频的时间点，同时可以设定采集视频的时长，或者抓拍学生上课状态图片，比如课中10分钟、25分钟、30分钟这几个时间点，录制30秒，或者抓拍几张图片，在学生上课过程中，不知不觉就进行了操作，避免学生单纯为了录制规范视频而摆拍，数据分析结果具有真实性，汇总结果可以作为平时课堂成绩的依据。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1为本发明实施例的一种课堂学情实时监测系统的结构示意图；

图2为本发明实施例的一种课堂学情实时监测系统总体设计框架示意图；

图3为本发明实施例的一种学课堂学情实时监测系统主要工作流程图；

图4为本发明实施例的学生用户终端主要工作流程图；

图5为本发明实施例的教师管理端主要工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图3所示，本发明提供一种基于特征模型的课堂学情实时监测方法，包括但不限于以下步骤：

S1、教师用户在教师管理端设置数据采集参数，设置的数据采集参数包括：调用学生用户终端摄像头的时间点、采集数据的时长等，并根据所设置的参数向学生用户终端发送视频/图像采集的指令；

S2、学生用户终端根据教师管理端发送的指令实时采集学生上课状态的视频数据(采集的视频数据包括学生面部特征、坐姿特征……等信息)，进行数据筛选，筛选掉无用数据，并对筛选后的信息进行人脸特征提取，得到特征信息，对特征信息进行压缩，通过无线传输模块上传给数据服务器；

S3、逻辑服务器调用接口模块提取数据服务器中的特征信息和已有经验信息，将上述信息输入训练好的特征模型进行处理，训练好的特征模型处理完毕后输出学生上课状态描述信息，并将描述信息发送给教师管理端，教师管理端将学生上课状态描述信息在显示屏上显示以供教师使用者监测学情情况。此外，教师管理端可以根据学生上课状态的描述信息判断学生是否在认真听课，若没有认真听课，则自动选择相应的提示信息发送到学生用户端，以便达到实时提醒学生调整学习状态的效果。

进一步的，在一些实施例中，视频采集技术主要用到的是OpenCV(Open sourceComputer Vision)是一个基于BSD许可发行的跨平台计算机视觉库，OpenCV最初是由英特尔公司Gary Bradski领导的团队开发。可用于检测和识别人脸，识别对象，分类视频中的人为操作，跟踪相机移动，跟踪移动物体，提取物体的3D模型，从立体相机生成3D点云，将图像拼接在一起来生成高分辨率的整个场景的图像，从图像数据库中找到相似的图像，从使用闪光灯拍摄的图像中去除红眼，跟踪眼球运动，识别景物并建立标记等。

在一些实施例中，步骤S3中的特征模型通过深度学习训练得到，所述特征模型主要是基于SeetaFace人脸识别引擎来完成人脸检测、人脸对齐、及人脸特征提取与比对，在此基础上根据采集的视频或者图像，将其测评范围扩大到学生在课桌以上的身体部分。特征模型的处理过程包括：

S21、首先是特征点对齐，一方面从宏观对齐，额头、肩膀、手臂位置进行比对，保证学生坐姿正确，另一方面是从微观对齐，眼睛、鼻子、嘴巴进行比对，主要分析学生听课行为；

S22、姿势对比，根据学生额头的角度，判断学生是否是面向黑板，根据肩膀和手臂的位置，判断学生是否坐姿正确；

S23、面部识别主要是对面部表情感知，是对学生上课过程中的面部表情进行特征提取和表情变化感知，以采集学生上课时的行为表现，提取视频信息或者抓拍的图片进行实时面部分析，获取明显表情特征，包括打哈欠、闭眼、嘴部咀嚼、离开视频区域、低头这几类特征进行表情识别，持续识别的表情将会被分析为学生是否真正在持续认真听课，并将分析的结果以文本形式输出，返回教师管理端。

S24、面部表情感知，将采用面部特征识别方法来进行，需要同时进行面部特征的提取和上下文信息的动态比对，来实现面部表情变化感知。并将感知到的表情进行表情定义，以便进行学生听课行为分析。

S25、表情定义，本实例可采用抽象特征的方式，不对个体面部特征做分析，仅抽象出共性特征，与标准模板进行比对，实现表情的定义过程，通过大数定律，能够在行为表现分值上一定程度弥补不同个体精准度的损失。

S26、即时表情特征定义，对当前人脸表情进行特征的抽象提取和存储，并与表情模板库进行比对后，定义此刻表情，定义后的数据也会同步送入分析模块，进行分析计算。

S27、对连续视频进行处理时，将下一刻采集图像进行特征提取后，与即时表情进行比对，对于一直无变化的，持续提取特征信息，将最新信息进行临时存储；对于人脸离开的情况，需重新进行人脸定位和识别过程；对于感知到变化的，进行新表情的记录，并进行表情定义。

S28、新表情定义，感知到新表情后，需要重复特征抽象提取和表情定义过程，并送入分析模块进行分析。同时，将新表情存入即时表情库，将不同表情进行分析计算，得出宏观学生听课行为的最佳面部表情。

S29、主要依据识别到的面部表情和感知到的表情变化，按照模型进行行为认定后，对不同状态图片进行分析计算得出数值，并进行数值动态计算，最后得出文字描述的模型。对于学生不同的行为模型，要求感知的表情需要满足不同的数据量才予以认定。如：睡觉行为，要满足睡觉表情持续10s认定一次睡觉行为等。

如图1-3所示，本发明还提供一种基于特征模型的课堂学情实时分析系统，包括：学生用户终端、视频服务器、教师管理端，

学生用户终端包括视频采集模块、数据预处理模块、无线网络传输模块、存储模块。

所述视频采集模块受教师管理端发送的指令触发工作，用于采集学生上课的视频数据。教师管理端发送的指令中包括开启摄像头的时间点以及每次采集视频的时长，一条指令触发视频采集模块执行一次视频采集工作。

所述数据预处理模块主要用于对采集的视频数据进行预处理，得到预处理后的视频数据，预处理主要包括：筛选无用数据、去噪、人脸特征提取(提取的人脸特征包括眼睛、嘴巴等面部器官的形状变化等)、压缩视频数据等。

所述无线网络传输模块负责与数据服务器和教师管理端进行数据通信和交互。预处理后的视频数据通过无线网络传输模块传输给数据服务器。逻辑服务器通过此无线网络传输模块将计算出的学生上课状态发送给教师管理端。

所述存储模块用于暂存视频采集模块采集的视频数据、系统交互过程中获得的数据以及中间处理过程的数据，此外，还用于缓存教师管理端发送的指令通信协议和与逻辑服务器之间的通信协议。

图2是学情分析系统总体设计框架示意图，图中记录了此系统中三部分之间的关系以及数据的流向，表明此系统主要的功能是利用学生手机实时检测学生的学习状态，及时提醒学生调整学习状态。

如图4所示为学生用户终端主要工作流程图，图中记录了学生用户端工作的主要流程，表明通过此流程可以达到随机录取学生上课状态的视频效果。学生用户终端的主要功能是识别指令、采集学生上课视频数据、对视频数据进行压缩，并实时上传到视频服务器端，同时能够实时接收教师管理端反馈的实时信息。

视频服务器主要包括逻辑服务器、数据服务器和接口模块，数据服务器用于存储和管理学生用户终端预处理后的特征信息数据；逻辑服务器中包括训练好的特征模型，用于对预处理后的视频数据与已有的经验数据进行实时对比分析计算，并将计算结果传输给教师管理端；接口模块用于逻辑服务器与数据服务器之间的通信。

进一步的，在一个优选实施例中，所述数据服务器中包括存储模块，存储模块用于存储数据；所述逻辑服务器中包括深度学习模块，深度学习模块主要用于分析学生的上课状态并输出。

进一步的，在一个优选实施例中，所述接口模块包括第一接口和第二接口，所述第一接口设置于数据服务器上，所述第二接口设置于逻辑服务器上，数据服务器和逻辑服务器通过有线连接第一接口和第二接口实现数据交互。

进一步的，所述接口模块采用face-detect接口。

进一步的，数据服务器中还存储有特征模型训练时的经验数据和经验描述，除此之外，数据服务器中还存储有已经注册的人脸图像集，注册人脸标签库，人脸特征数据等。

视频服务器中的逻辑服务器的主要工作是对获取的学生坐姿、面部特征等进行样本标注、模型训练和对比分析。包括学生脸部检测模型训练，头部角度检测模型评估，坐姿特征点标定模型训练，坐姿特征点标定模型评估，实时视频截取，实时定位，坐姿特征点对齐，实时面部表情识别，实时头部角度识别，然后对特征点进行标定样本计算。

视频服务器中的数据服务器的主要工作是存储从学生视频采集端获取的视频或者图像，保存视频计算分析结果等。数据服务器主要功能是对采集的数据资源和学生行为状态分析结果进行管理和维护，管理已经注册的人脸图像集，注册人脸标签库，人脸特征数据。

在一个实施例中，数据服务器与逻辑服务器之间通过接口模块进行数据传输，优选的，逻辑服务器通过调用face-detect接口从数据服务器中获取特征数据，以便于后续的计算。

逻辑服务器从数据服务器中获取的数据包括特征信息和已有经验信息，逻辑服务器从数据服务器获取到数据后，执行的任务包括：样本标注、采用训练好的特征模型对特征数据进行分析处理，最后输出学生的上课状态。所述样本标注具体包括以下实施过程：

S11、利用视频标注工具Vatic进行视频的标注，比如一个25fps的视频，只需要隔100帧左右手动标注面部主要部位如眼睛、嘴巴等的位置和状态以及头部的角度，肩部的位置等，标注的目的是用头部的角度、肩部的位置或者手臂的位置判断学生是否坐姿正确，眼睛的状态变化判断学生是否在听课。利用编程工具以及标注得到的文件，解析出学生正确坐姿轮廓坐标，通过opencv的pointPolygonTest方法，区分学生坐姿内部的像素点和外部像素点，得到大量的mask图片。

S12、在采用训练好的模型进行分析处理时，需要首先载入训练好的模型权重，根据训练模型时候的配置，从Config类中继承创建一个新类，根据前面的类，新建一个专门用于对比的类，载入图像，进行分析计算。

S13、模型数据中存储有学生认真听课的坐姿、面部表情的数据，这些数据可采集各大高校课堂学生上课视频，进行分类，讲视频根据学生平时课堂成绩以及期末成绩的优、差进行分类分析，获取学生认真听课的视频模型数据和不认真听课学生模型数据，具体数据的获取方法利用前面的模型训练过程进行获取，将此数据作为基本的经验数据。

S14、将计算的特征数据与已有的经验数据进行对比分析，匹配度越高，可判断学生在认真听课，返回学生认真听课的结果；匹配度越低，学生就没有认真认真听课，返回学生不认真听课的结果。

S15、上述结果会自动发送到教师管理端，教师管理端会根据结果，自动选择合适的消息发送到学生用户端。

在一些实施例中，逻辑服务器中所采用的特征模型的结构包括学生坐姿是否正确、学生脸部角度是否正确以及学生眼睛的状态；特征模型主要用来与采集的数据进行对比匹配分析，特征模型的输入数据是人脸特征，特征模型输出的数据是学生的上课状态。

教师管理端包括时钟触发控制模块、数据处理模块、通信模块、显示屏。

所述时钟触发控制模块主要用于设置视频数据采集时间点和视频数据采集时长，该时钟触发控制模块与显示屏连接，教师用户在显示屏上设置采集数据的参数信息，通过相关电路将设置数据传输至时钟触发控制模块；时钟触发控制模块和通信模块连接，时钟触发控制模块向通信模块发送指令触发通信模块向学生用户终端发送一次采集数据的信号，学生用户终端接收信号后，根据教师用户设置的采集时间点和采集时长进行数据采集。时钟触发控制模块每向通信模块发送一次指令后随即进入休眠状态，直到下一次指令的发送时间到来，进行下一次指令的发送。

所述通信模块用于向学生用户终端发送指令。

所述显示屏主要用于显示服务器发送的分析结果、形成的学情分析报告以及学生的采集数据，方便教师用户实时监测学生用户的上课状态情况，对教师用户本门课程最终成绩的认定提供真实资料参考；同时，教师用户还可以在显示屏上输入反馈信息反馈给学生用户，提醒学生用户及时调整状态认真听课。

在一个优选实施例中，所述教师管理端还包括关系库存储模块，所述关系库存储模块中存储的内容包括：学情情况描述信息与自动回复的备用消息之间的对应关系，用于教师管理端自动回复。

如图5所示是教师管理端主要工作流程图，图中记录了教师管理端工作的主要流程，表明通过此流程利用教师收到服务器的结果实时给学生发送提醒消息，提醒学生及时调整上课状态。教师管理端主要是对学生用户进行验证、管理，对视频采集时间点和时长的设定、管理，对服务器分析计算后的结果能实时自动反馈给学生，还能够对服务器中的视频和图像以及结果进行随时查看和统计。

当介绍本申请的各种实施例的元件时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。

需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。