一种学生注意力的评估方法、装置和电子设备

摘要

本发明提供了一种学生注意力的评估方法、装置和电子设备，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，保证上课的教学质量。

说明书

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种学生注意力的评估方法、装置和电子设备。

背景技术

目前，随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学的呈现出爆发性的增长。学生注意力集中是保证课堂质量的前提之一，与传统课堂不同，网课场景中，老师只能通过视频的方式与学生沟通，在同一时间，老师能注意到的学生视频数目较少，很难掌握学生在上课时的注意力情况。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种学生注意力的评估方法、装置和电子设备。

第一方面，本发明实施例提供了一种学生注意力的评估方法，包括：

获取当前的学生头部图像，对所述学生头部图像进行处理，得到学生头部图像的关键点坐标；

基于所述关键点坐标，计算所述学生的课堂专注度数值；

根据计算得到的所述学生的课堂专注度数值，对所述学生进行提示。

第二方面，本发明实施例还提供了一种学生注意力的评估装置，包括：

获取模块，用于获取当前的学生头部图像，对所述学生头部图像进行处理，得到学生头部图像的关键点坐标；

计算模块，用于基于所述关键点坐标，计算所述学生的课堂专注度数值；

提示模块，用于根据计算得到的所述学生的课堂专注度数值，对所述学生进行提示。

第三方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括有存储器，处理器以及一个或者一个以上的程序，其中所述一个或者一个以上程序存储于所述存储器中，且经配置以由所述处理器执行上述第一方面所述的方法的步骤。

本发明实施例上述第一方面提供的方案中，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，与相关技术中教师在上课过程中很难掌握学生在上课时的注意力情况的方式相比，可以在上课过程中根据采集到的学生头部图像，对学生在上课时的专注度(注意力)进行评估，并根据评估的结果，对上课时不专注(即注意力不集中)的学生进行提示，保证上课的教学质量。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例1所提供的一种学生注意力的评估方法的流程图；

图2示出了本发明实施例1所提供的学生注意力的评估方法中，眼睛周围关键点坐标的示意图；

图3示出了本发明实施例2所提供的一种学生注意力的评估的结构示意图；

图4示出了本发明实施例3所提供的一种电子设备的结构示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

随着互联网技术的发展，在线教育在教育产业中占据的份额也越来越大，以视频方式进行的网络教学的呈现出爆发性的增长。学生注意力集中是保证课堂质量的前提之一，与传统课堂不同，网课场景中，老师只能通过视频的方式与学生沟通，在同一时间，老师能注意到的学生视频数目较少，很难掌握学生的全体情况。而如果可以通过自动检测的方式，针对注意力不集中的情况，对老师和学生给与提示，在提升教学质量，加强老师和学生之间课堂交流等方面，都有较为重要的意义。

相关技术中，对于学生注意力的评估，在课堂上一般由老师通过经验来判断，除人工判断以外，还没有一个比较标准、普遍适用的度量方式。通常，在教学场景中，学生注意力不集中的表现一般包括：长时间发呆、不看黑板(不看教学视频)、睡觉(两眼闭合)等等。随着科技的发展，计算机技术可以用来辅助进行人脸特征、表情的提取，通过计算机技术，可以方便的对海量视频进行自动分析处理，得到人脸的关键点、表情等信息。但是，如何通过这些特征对学生的注意力进行度量，仍然是一个开放的课题。在教学活动中，学生注意力集中是保证课堂质量的前提之一，学生注意力不集中的表现一般包括：长时间发呆、不看黑板(不看教学视频)、睡觉(两眼闭合)等等。以此为出发点，在本申请中，综合考虑了注意力不集中的情况，结合图片特征点信息对学生专注度进行评价。首先通过计算机自动识别出视频图像中人脸的位置和关键点信息，再通过关键点信息判断学生是否发呆(前后帧之间关键点位移情况)、是否闭眼、是否没看视频(头部朝向其他地方)，将这些特征进行组合，得到学生的总体专注度，并以此为依据对老师、学生进行提示。

基于此，本实施例提出一种学生注意力的评估方法、装置和电子设备，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，可以在上课过程中根据采集到的学生头部图像，对学生在上课时的专注度(注意力)进行评估，并根据评估的结果(即课堂专注度数值)，对上课时不专注(即注意力不集中)的学生进行提示，保证上课的教学质量。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。

实施例1

参见图1所示的一种学生注意力的评估方法，包括以下具体步骤：

步骤100、获取当前的学生头部图像，对所述学生头部图像进行处理，得到学生头部图像的关键点坐标。

在上述步骤100中，采用人脸特征点和表情的联合模型(PFLD_EMO)对获取到的学生头部图像进行处理，得到学生头部图像的关键点坐标，具体过程是现有技术，这里不再赘述。

在一个实施方式中，学生头部图像的关键点坐标可以包括98个坐标；所以，当前的学生头部图像的关键点坐标可以如下表示：(x

步骤102、基于所述关键点坐标，计算所述学生的课堂专注度数值。

为了计算得到学生的课堂专注度数值，上述步骤102可以执行以下步骤(1)至步骤(7)：

(1)从所述关键点坐标中，得到关键点坐标中的关键点横坐标最大值和关键点横坐标最小值；

(2)利用得到的关键点横坐标最大值和关键点横坐标最小值，计算当前的学生头部图像的宽度；

(3)获取所述当前的学生头部图像的上一帧学生头部图像的关键点坐标；

(4)通过以下公式计算学生头部图像的关键点位移比例：

其中，dislm表示当前的学生头部图像的关键点位移比例；x

(5)根据关键点位移比例，计算所述学生的关键点位移比例参数值；

(6)分别计算所述学生的眼睛闭合参数值以及头部转向参数值；

(7)基于计算得到的所述学生的关键点位移比例参数值、眼睛闭合参数值以及头部转向参数值，对所述学生的课堂专注度数值进行计算。

在上述步骤(2)中，当前的学生头部图像的宽度width＝关键点横坐标最大值-关键点横坐标最小值。

在上述步骤(3)中，所述当前的学生头部图像的上一帧学生头部图像的关键点坐标，可以如下表示：(tx

在上述步骤(5)中，通过以下公式，计算所述学生的关键点位移比例参数值sc_dis：

在上述步骤(6)中，计算所述学生的眼睛闭合参数值的过程，包括以下具体步骤：

(61)从所述关键点坐标中，获取左眼眼角关键点坐标以及靠近左眼眼角位置的眼皮的关键点坐标、和右眼眼角关键点坐标以及靠近右眼眼角位置的眼皮的关键点坐标；

(62)根据左眼眼角关键点坐标以及靠近左眼眼角位置的眼皮的关键点坐标，计算左眼闭合比例，并根据右眼眼角关键点坐标以及靠近右眼眼角位置的眼皮的关键点坐标，计算右眼闭合比例；

(63)根据计算得到的左眼闭合比例和右眼闭合比例，计算所述学生的眼睛闭合参数值。

在上述步骤(61)中，眼睛周围关键点坐标如图2所示，左眼眼角关键点是标识60和64的坐标，即左眼眼角关键点坐标是(x

相应的，右眼眼角关键点坐标是(x

在上述步骤(62)中，根据左眼眼角关键点坐标以及靠近左眼眼角位置的眼皮的关键点坐标，计算左眼闭合比例，包括：

通过以下公式计算左眼闭合比例：

dis_lefteye＝(dis(61,67)+dis(63,65))/dis(60,64)

其中，dis_lefteye表示左眼闭合比例；dis(61,67)表示关键点坐标(x

进一步地，可以通过以下公式计算dis(61,67)、dis(63,65)、dis(60,64)：

相应的，通过以下公式计算右眼闭合比例：

dis_righteye＝(dis(69,75)+dis(71,73))/dis(68,72)

其中，dis_righteye表示右眼闭合比例；dis(69,75)表示关键点坐标(x

进一步地，可以通过以下公式计算dis(69,75)、dis(71,73)、dis(68,72)：

在上述步骤(63)中，利用计算得到的左眼闭合比例和右眼闭合比例，对眼睛闭合比例dis_eye进行计算：

dis_eye＝(dis_lefteye+dis_righteye)/2

然后，利用如下公式计算得到学生的眼睛闭合参数值sc_eye：

为了计算学生的眼睛闭合参数值以及头部转向参数值，可以执行以下步骤(601)至步骤(602)：

(601)基于所述关键点坐标，计算得到所述学生的头部转向角；

(602)根据计算得到的所述学生的头部转向角，计算所述学生的头部转向参数值。

在上述步骤(601)中，通过调用开源库OpenCV中的solvePnP模块，对关键点坐标进行处理，计算得到头部转向角yaw，具体过程是现有技术，这里不再赘述。

在上述步骤(602)中，通过以下计算所述学生的眼睛闭合参数值：

在得到所述学生的头部转向参数值、学生的眼睛闭合参数值、关键点位移比例参数值之后，可以继续执行上述步骤(7)，对所述学生的课堂专注度数值进行计算。

在上述步骤(7)中，通过以下公式对学生的课堂专注度数值sc_att进行计算：

sc_att＝100-sc_dis-sc_eye-sc_yaw

步骤104、根据计算得到的所述学生的课堂专注度数值，对所述学生进行提示。

在一个实施方式中，根据计算得到的所述学生的课堂专注度数值，对所述学生进行如下表1中描述的提示：

表1

综上所述，本实施例提出一种学生注意力的评估方法，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，与相关技术中教师在上课过程中很难掌握学生在上课时的注意力情况的方式相比，可以在上课过程中根据采集到的学生头部图像，对学生在上课时的专注度(注意力)进行评估，并根据评估的结果，对上课时不专注(即注意力不集中)的学生进行提示，保证上课的教学质量。

实施例2

本实施例一种学生注意力的评估装置，用于执行上述实施例1提出的学生注意力的评估方法。

参见图3所示的一种学生注意力的评估装置的结构示意图，本实施例提出一种学生注意力的评估装置，包括：

获取模块300，用于获取当前的学生头部图像，对所述学生头部图像进行处理，得到学生头部图像的关键点坐标；

计算模块302，用于基于所述关键点坐标，计算所述学生的课堂专注度数值；

提示模块304，用于根据计算得到的所述学生的课堂专注度数值，对所述学生进行提示。

具体地，所述计算模块，具体用于：

从所述关键点坐标中，得到关键点坐标中的关键点横坐标最大值和关键点横坐标最小值；

利用得到的关键点横坐标最大值和关键点横坐标最小值，计算学生头部图像的宽度；

获取所述当前的学生头部图像的上一帧学生头部图像的关键点坐标；

通过以下公式计算学生头部图像的关键点位移比例：

其中，dislm表示当前的学生头部图像的关键点位移比例；x

根据关键点位移比例，计算所述学生的关键点位移比例参数值；

分别计算所述学生的眼睛闭合参数值以及头部转向参数值；

基于计算得到的所述学生的关键点位移比例参数值、眼睛闭合参数值以及头部转向参数值，对所述学生的课堂专注度数值进行计算。

具体地，所述计算模块，用于计算所述学生的眼睛闭合参数值，包括：

从所述关键点坐标中，获取左眼眼角关键点坐标以及靠近左眼眼角位置的眼皮的关键点坐标、和右眼眼角关键点坐标以及靠近右眼眼角位置的眼皮的关键点坐标；

根据左眼眼角关键点坐标以及靠近左眼眼角位置的眼皮的关键点坐标，计算左眼闭合比例，并根据右眼眼角关键点坐标以及靠近右眼眼角位置的眼皮的关键点坐标，计算右眼闭合比例；

根据计算得到的左眼闭合比例和右眼闭合比例，计算所述学生的眼睛闭合参数值。

具体地，所述计算模块，用于计算所述学生的头部转向参数值，包括：

基于所述关键点坐标，计算得到所述学生的头部转向角；

根据计算得到的所述学生的头部转向角，计算所述学生的头部转向参数值。

综上所述，本实施例提出一种学生注意力的评估装置，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，与相关技术中教师在上课过程中很难掌握学生在上课时的注意力情况的方式相比，可以在上课过程中根据采集到的学生头部图像，对学生在上课时的专注度(注意力)进行评估，并根据评估的结果，对上课时不专注(即注意力不集中)的学生进行提示，保证上课的教学质量。

实施例3

本实施例提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述实施例1描述的学生注意力的评估方法的步骤。具体实现可参见方法实施例1，在此不再赘述。

此外，参见图4所示的一种电子设备的结构示意图，本实施例还提出一种电子设备，上述电子设备包括总线51、处理器52、收发机53、总线接口54、存储器55和用户接口56。上述电子设备包括有存储器55。

本实施例中，上述电子设备还包括：存储在存储器55上并可在处理器52上运行的一个或者一个以上的程序，经配置以由上述处理器执行上述一个或者一个以上程序用于进行以下步骤(1)至步骤(3)：

(1)获取当前的学生头部图像，对所述学生头部图像进行处理，得到学生头部图像的关键点坐标；

(2)基于所述关键点坐标，计算所述学生的课堂专注度数值；

(3)根据计算得到的所述学生的课堂专注度数值，对所述学生进行提示。

收发机53，用于在处理器52的控制下接收和发送数据。

其中，总线架构(用总线51来代表)，总线51可以包括任意数量的互联的总线和桥，总线51将包括由处理器52代表的一个或多个处理器和存储器55代表的存储器的各种电路链接在一起。总线51还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本实施例不再对其进行进一步描述。总线接口54在总线51和收发机53之间提供接口。收发机53可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发机53从其他设备接收外部数据。收发机53用于将处理器52处理后的数据发送给其他设备。取决于计算系统的性质，还可以提供用户接口56，例如小键盘、显示器、扬声器、麦克风、操纵杆。

处理器52负责管理总线51和通常的处理，如前述上述运行通用操作系统。而存储器55可以被用于存储处理器52在执行操作时所使用的数据。

可选的，处理器52可以是但不限于：中央处理器、单片机、微处理器或者可编程逻辑器件。

可以理解，本发明实施例中的存储器55可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本实施例描述的系统和方法的存储器55旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器55存储了如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：操作系统551和应用程序552。

其中，操作系统551，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序552，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序552中。

综上所述，本实施例提出一种电子设备和计算机可读存储介质，通过对学生头部图像进行处理后得到的学生头部图像的关键点坐标，计算所述学生的课堂专注度数值，然后根据计算得到的学生的课堂专注度数值，对学生进行提示，与相关技术中教师在上课过程中很难掌握学生在上课时的注意力情况的方式相比，可以在上课过程中根据采集到的学生头部图像，对学生在上课时的专注度(注意力)进行评估，并根据评估的结果，对上课时不专注(即注意力不集中)的学生进行提示，保证上课的教学质量。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。