公开/公告号CN113095259A
专利类型发明专利
公开/公告日2021-07-09
原文格式PDF
申请/专利权人 上海松鼠课堂人工智能科技有限公司;
申请/专利号CN202110426371.6
发明设计人 崔炜;
申请日2021-04-20
分类号G06K9/00(20060101);G06K17/00(20060101);G06Q50/20(20120101);
代理机构
代理人
地址 200233 上海市徐汇区宜州路188号2幢9层、10层
入库时间 2023-06-19 11:45:49
技术领域
本发明在线教学技术领域,尤其涉及一种远程在线课程教学管理方法。
背景技术
随着计算机技术的发展,网络在线教学已成为一种新兴的教学方式。目前的在线教学中,学生、教师分别通过自身客户端登录服务器,通过网络连接客户端和服务器实现在线教学。相对于线下教学方式,远程在线教学方式具有上课方便灵活,节省学生往返学校的时间的优点。
但是,现有的直播式在线教学中,一般是学生端能看到教师的教学直播视频,但是教师端无法看到或无法同时看到诸多在线学生端的学生视频,因此教师无法得知学生是在认真听课还是在打瞌睡或走神,存在教学课堂管理不便、无法实时监督每个学生学习专注情况的缺点。
发明内容
有鉴于此,本发明实施例提供一种远程在线课程教学管理方法,用于解决现有的远程在线教学课堂管理不便、无法实时监督每个学生学习专注情况的问题。本发明能够实现实时监督学生听课状态、提高学生学习效率的目的。
本发明实施例提供一种远程在线课程教学管理方法,包括以下步骤:
在线教学学生客户端采集当前登录学生的人脸数据,识别所述人脸数据对应的学生标识;
在在线教学过程中,所述在线教学学生客户端按预定周期采集当前学生的头部图像,并将当前学生的头部图像及其对应的学生标识上传至远程服务器;
所述远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的听课动作信息;
所述远程服务器根据各在线学生的听课动作信息,确定各在线学生的上课专注度;
所述远程服务器根据所有在线学生的上课专注度,对所有在线学生标识进行排序,并将排序结果提供给在线教学教师客户端。
在一可选实施例中,所述听课动作信息包括但不限于:眼睛闭合度和头部姿态。
在一可选实施例中,所述远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的眼睛闭合度,包括:
所述远程服务器利用预定人脸检测算法检测收到的每幅头部图像中的人脸,并对检测到的人脸中的眼睛进行定位;
所述远程服务器获取定位到的眼睛的眼睑长度和眼睛宽度;其中,所述眼睑长度为上眼睑定位点与下眼睑定位点之间的长度,所述眼睛宽度为左眼角定位点与右眼角定位点之间的距离;
所述远程服务器根据以下公式计算各在线学生的眼睛闭合度值:
其中,E
在一可选实施例中,所述远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的头部姿态,包括:
所述远程服务器通过Dlib库检测收到的头部图像中各在线学生的左眼的左角、右眼的右角、鼻尖、下巴、左嘴角、右嘴角特征点;
所述远程服务器根据检测出的特征点,通过OpenCV的solvePnP函数计算出各在线学生头部对应的旋转向量;
所述远程服务器根据各在线学生头部对应的旋转向量,计算各在线学生的头部在三维空间中的滚转角,俯仰角和偏航角。
在一可选实施例中,所述远程服务器根据各在线学生头部对应的旋转向量,计算各在线学生的头部在三维空间中的滚转角,俯仰角和偏航角,包括:
所述远程服务器根据所述第i位在线学生头部对应的旋转向量,构造满足条件x
所述远程服务器根据以下公式计算第i位在线学生的头部在三维空间中的滚转角,俯仰角和偏航角:
其中,
在一可选实施例中,所述远程服务器根据各在线学生的听课动作信息,确定各在线学生的上课专注度,包括:
根据以下公式计算各在线学生的上课专注度:
其中:S
在一可选实施例中,所述远程服务器根据所有在线学生的上课专注度,对所有在线学生标识进行排序,包括:
所述远程服务器根据所有在线学生的上课专注度,计算各在线学生的专注度排位值;
所述远程服务器根据各在线学生的专注度排位值的大小,对所有在线学生标识进行排序。
在一可选实施例中,所述远程服务器根据所有在线学生的上课专注度,计算各在线学生的专注度排位值,包括:
所述远程服务器根据以下公式计算各在线学生的专注度排位值:
其中,D
本发明提供的远程在线课程教学管理方法,按预定周期采集当前学生的头部图像,并将当前学生的头部图像及其对应的学生标识上传至远程服务器,所述远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的听课动作信息,并根据各在线学生的听课动作信息,确定各在线学生的上课专注度,从而对所有在线学生标识进行排序,并将排序结果提供给在线教学教师客户端。能够实现实时监督学生听课状态提供给教师,以使教师根据学生听课状态来进行相应的课堂管理,该方法增加了远程在线教学系统的自动管理功能,管理方法简单有效,能够提高学生用户的学习效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的远程在线课程教学管理方法流程图;
图2为远程服务器根据头部图像得到在线学生的眼睛闭合度的方法流程图;
图3为远程服务器根据头部图像得到在线学生的头部姿态的方法流程图;
图4为步骤S105的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的远程在线课程教学管理方法流程图。参见图1,该方法包括如下步骤:
S101:在线教学学生客户端采集当前登录学生的人脸数据,识别所述人脸数据对应的学生标识。
本发明实施例中,学生通过学生客户端登录远程在线教学系统后,学生客户端通过预置摄像头等摄像设备采集学生的人脸图像数据,通过预设人脸识别算法对采集的人脸图像数据进行人脸识别,将识别出的人脸数据与预先存储的若干学生标识对应的人脸数据进行匹配,将匹配到的人脸数据对应的学生标识作为当前登录学生的学生标识。优选地,所述学生标识为学生姓名或者学生学号等唯一性标识。
S102:在在线教学过程中,在线教学学生客户端按预定周期采集当前学生的头部图像,并将当前学生的头部图像及其对应的学生标识上传至远程服务器。
本实施例中,开始上课后,在线教学学生客户端按预定周期采集当前学生的头部图像。优选地,学生客户端每十分钟捕获一次学生的头部图像,随后将学生的头部图像和对应的学生标识上传至远程服务器。
S103:远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的听课动作信息。
优选地,所述听课动作信息包括但不限于:眼睛闭合度和头部姿态。
在一可选实施例中,如图2所示,远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的眼睛闭合度的方法,包括如下步骤S201-S203:
S201:远程服务器利用预定人脸检测算法检测收到的每幅头部图像中的人脸,并对检测到的人脸中的眼睛进行定位。
优选地,本步骤中,利用AdaBoost算法检测每幅头部图像中的人脸,并定位到人脸中的眼睛,定位时,会产生若干识别定位点,这些定位点的连线形成定位出的眼睛边缘。
S202:远程服务器获取定位到的眼睛的眼睑长度和眼睛宽度。
其中,所述眼睑长度为上眼睑定位点与下眼睑定位点之间的长度,所述眼晴宽度为左眼角定位点与右眼角定位点之间的距离。
S203:远程服务器根据公式(1)计算各在线学生的眼睛闭合度值:
其中,E
在一可选实施例中,如图3所示,远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的头部姿态的方法,包括如下步骤S301-S302:
S301:远程服务器通过Dlib库检测第i位在线学生的头部图像中该学生的左眼的左角、右眼的右角、鼻尖、下巴、左嘴角、右嘴角特征点;
S302:远程服务器根据检测出的第i位在线学生的特征点,通过OpenCV的solvePnP函数计算出第i位在线学生头部对应的旋转向量;
本步骤中,对于第i位在线学生,计算出的旋转向量的方向即为旋转轴的方向,所述旋转轴为一个单位向量,记做n=[n
S303:远程服务器根据第i位在线学生头部对应的旋转向量,计算该学生的头部在三维空间中的滚转角,俯仰角和偏航角。
在一可选实施例中,步骤S303可以包括如下步骤A1-A2:
步骤A1,远程服务器根据所述第i位在线学生头部对应的旋转向量,构造满足条件x
步骤A2,远程服务器根据以下公式(2)计算第i位在线学生的头部在三维空间中的滚转角,俯仰角和偏航角:
其中,
本实施例中,利用正交投影迭代变换算法进行学生头部姿态识别,计算学生头部偏转情况,以判断学生听讲状态是否集中。
S104:远程服务器根据各在线学生的听课动作信息,确定各在线学生的上课专注度。
本实施例中,根据学生的听课动作信息,计算一个升的上课专注度评估值,用于量化体现学生上课的专注度高低。
在一可选实施例中,可以根据以下公式(3)计算各在线学生的上课专注度:
其中:S
S105:远程服务器根据所有在线学生的上课专注度,对所有在线学生标识进行排序,并将排序结果提供给在线教学教师客户端。
本步骤中,根据所有在线学生的上课专注度,对所有在线学生标识进行排序,并将排序结果提供给在线教学教师客户端,能够使教师对学生的上课专注度高低一目了然,以在最短时间内掌握学生的情况,对专注度不高的同学进行适时提问,达到提醒同学认真听讲的目的,同时能够让老师更好的掌控课堂,提高课堂教学效率。
在一可选实施例中,上述步骤S102-S104的执行主体也可以为学生客户端,即:在在线教学过程中,在线教学学生客户端按预定周期采集当前学生的头部图像后,可以在本地对本地登录学生的头部图像进行实时图像处理,得到该在线学生的听课动作信息,随后根据该在线学生的听课动作信息,确定该在线学生的上课专注度,再将计算出的本地在线学生的上课专注度发送给远程服务器进行排序,此处不再赘述。
如图4所示,步骤S105,可以包括如下步骤S401-S403:
S401:远程服务器根据所有在线学生的上课专注度,计算各在线学生的专注度排位值;
优选地,远程服务器根据以下公式(4)计算各在线学生的专注度排位值:
其中,D
S402:远程服务器根据各在线学生的专注度排位值的大小,对所有在线学生标识进行排序。
优选地,将各在线学生的专注度排位值按照由大到小的顺序进行排序,即:将专注度排位值越大(对应上课专注度越低)的学生标识排在前面。
S403:将排序结果提供给在线教学教师客户端展示。
本步骤中,若排序结果中没有排序并列(排位值相同)的学生标识,则可以在预定展示界面窗口中按照预定格式展示排序结果,例如可以在展示窗口中由上到下展示学生标识,排在最上面的学生的上课专注度最低;若排序结果中有排序并列(排位值相同)的学生标识,则可以在预定展示界面窗口中将排位值相同的学生标识并列展示,例如若在展示窗口中由上到下展示学生标识,排在最上面一行的学生的上课专注度最低,排位值相同的学生标识展示在同一行中。
本发明提供的远程在线课程教学管理方法,按预定周期采集当前学生的头部图像,并将当前学生的头部图像及其对应的学生标识上传至远程服务器,所述远程服务器对各学生客户端上传的头部图像进行实时图像处理,得到各在线学生的听课动作信息,并根据各在线学生的听课动作信息,确定各在线学生的上课专注度,从而对所有在线学生标识进行排序,并将排序结果提供给在线教学教师客户端。能够实现实时监督学生听课状态提供给教师,以使教师根据学生听课状态来进行相应的课堂管理,该方法增加了远程在线教学系统的自动管理功能,管理方法简单有效,能够提高学生用户的学习效率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
机译: 远程文件管理方法及其图像形成系统,该远程图像管理方法和图像形成系统具有使用因特网的基于Web的分布式授权和版本服务器的图像形成设备中能够远程管理文件的能力
机译: 在线商品管理,在线商品管理系统中使用的服务器系统,在线商品管理系统中使用的终端设备,在线商品管理系统中的管理方法以及具有程序的计算机可读记录介质,该程序使计算机执行该程序此处记录的方法
机译: 在线商品管理系统,在线商品管理系统中使用的服务器系统,在线商品管理系统中使用的终端设备,在线商品管理系统中的管理方法以及计算机可读记录介质