一种基于视觉感知的学生违纪行为实时监测方法、装置及设备

摘要

本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的学生违纪行为实时监测方法、装置及设备。该方法通过采集图像，提取教师和学生姿态信息，进一步得到教师姿态特征向量和学生姿态特征向量。根据采集的图像检测教师人脸图像，获取教师身份信息。利用教师人脸图像和教师姿态特征向量得到教师情绪类别。根据姿态特征向量计算每个学生姿态偏差和总体姿态偏差，进一步根据教师身份信息、教师情绪类别和总体姿态偏差确定课堂氛围正常区间，判断每个学生实时姿态偏差是否在课堂氛围正常区间内，确定状态异常学生，进一步确定存在违纪行为的状态异常学生，降低漏检率，消除老师的状态信息对学生违纪行为监测的影响。

说明书

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的学生违纪行为实时监测方法、装置及设备。

背景技术

在课堂教学过程中，学生是否存在违纪行为直接影响课堂氛围以及学生的学习成绩。对学生违纪行为进行实时监测可以及时提醒违纪学生认真听讲，维持课堂纪律，保障教师的教学效率。

目前学生违纪行为的实时监测大多只是利用学生个体的姿态以及学生的整体姿态或面部信息来获取监测结果。

发明人在实践中，发现上述现有技术存在以下缺陷：

忽略课堂教学为一个交互式的场景，学生个体的姿态行为会影响教师的情绪，教师的姿态、情绪和课堂的氛围又会相互影响，使得学生的违纪行为的监测结果误差较大。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的学生违纪行为实时监测方法、装置及设备，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于视觉感知的学生违纪行为实时监测方法，该方法包括以下步骤：

采集图像，根据所述图像提取学生的姿态信息和教师姿态信息；通过所述图像检测教师的人脸图像，利用所述人脸图像获取教师身份信息；根据所述教师姿态信息获取教师姿态特征向量；结合所述人脸图像和所述教师姿态向量检测教师情绪以得到教师情绪类别；所述姿态信息包括不同类别的关键点信息；

根据每个学生所述姿态信息获取对应关键点的运动次数和每次运动的距离，根据所述运动次数和所述距离获取每类所述关键点的关注度；获取参考点到所述关键点之间的方向向量，根据每类关键点的所述关注度和所述方向向量进行加权求和得到每个学生的姿态特征向量；根据所述姿态特征向量获取每个学生的实时姿态偏差；

根据所述教师身份信息和教师情绪类别确认对应的课堂氛围正常区间，通过判断所述实时姿态偏差是否在所述课堂氛围正常区间内，确认状态异常学生；进而根据所述状态异常学生的所述姿态特征向量判断是否存在违纪行为，若存在所述违纪行为，确定该所述状态异常学生的身份信息；

进一步地，所述结合所述教师身份信息、所述教师的历史情绪类别和所述总体姿态偏差确定不同情况下的课堂氛围正常区间的方法，包括：

对应教师的身份信息，当所述教师情绪类别发生变化时，根据预设偏差区间对多个所述总体姿态偏差进行分类，以得到有效总体姿态偏差；

利用所述有效总体姿态偏差确定不同情况下的课堂氛围正常区间。

进一步地，所述获取总体姿态偏差的方法包括：

对每个学生的所述姿态特征向量取均值得到平均姿态；

根据每个学生的所述姿态特征向量和所述平均姿态的差值，得到每个学生的偏差向量；对所述每一个学生的偏差向量取均值的得到总体姿态偏差。

进一步地，所述进而根据所述状态异常学生的所述姿态特征向量判断是否存在违纪行为的方法，包括：

获取状态正常学生的正常行为姿态特征向量，构成正常行为数据集；

计算所述状态异常学生的姿态特征向量与所述正常行为数据集中每一个姿态特征向量的相似度，若多个所述相似度均大于设定的相似度阈值时，则认为该学生存在违纪行为。

进一步地，所述获取参考点的方法包括：

以每个学生的座位所对应的同类固定物作为参考物，选取所述参考物上的相同位置的同一固定点作为参考点；

或者，选取每个学生的同类关键点作为参考点。

进一步地，所述同类固定物为课桌，其中，以每个学生的座位所对应的同类固定物作为参考物，所述选取所述参考物上的相同位置的同一固定点作为参考点的方法包括：

获取所述每个学生对应的课桌桌面连通域信息；

对所述课桌桌面的连通域信息进行直线检测，筛选出两条斜率接近于1的直线，选择与像素坐标系横坐标上截距较小的所述直线作为最终直线；

以所述最终直线的连通域边缘的终点作为所述每个学生的固定点。

进一步地，所述根据所述姿态信息获取教师姿态特征向量的方法包括：

选择教师脖子的中心点作为参考点；

根据所述教师的姿态信息获取对应关键点，预设所述教师的对应关键点的关注度均为1；

利用所述参考点指向对应关键点的单位向量相加得到教师的姿态特征向量。

进一步地，所述有效总体姿态偏差的获取方法为K-means距离聚类算法。

第二方面，本发明另一个实施例提供了一种基于视觉感知的学生违纪行为实时监测装置，该装置包括：

图像采集单元，用于采集图像，根据所述图像提取学生的姿态信息和教师姿态信息；通过所述图像检测教师的人脸图像，利用所述人脸图像获取教师身份信息；根据所述教师姿态信息获取教师姿态特征向量；结合所述人脸图像和所述教师姿态向量检测教师情绪以得到教师情绪类别；所述姿态信息包括不同类别的关键点信息；

姿态偏差获取单元，用于根据每个学生所述姿态信息获取对应关键点的运动次数和每次运动的距离，根据所述运动次数和所述距离获取每类所述关键点的关注度；获取参考点到所述关键点之间的方向向量，根据每类关键点的所述关注度和所述方向向量进行加权求和得到每个学生的姿态特征向量；根据所述姿态特征向量获取每个学生的实时姿态偏差；

违纪行为监测单元，用于根据所述教师身份信息和教师情绪类别确认对应的课堂氛围正常区间，通过判断所述实时姿态偏差是否在所述课堂氛围正常区间内，确认状态异常学生；进而根据所述状态异常学生的所述姿态特征向量判断是否存在违纪行为，若存在所述违纪行为，确定该所述状态异常学生的身份信息。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任意一种方法的步骤。

本发明实施例至少还存在以下有益效果：考虑实际情况中课堂教学为一个交互式场景，学生违纪行为的判断与老师的姿态息息相关，本发明实施例利用全部学生的姿态信息和老师的姿态、情绪信息获得正常的课堂氛围区间，结合个体的姿态信息获得准确的违纪行为监测结果，降低漏检率，消除老师的状态信息对学生违纪行为监测的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于视觉感知的学生违纪行为实时监测方法流程图；

图2为本发明一个实施例所提供的一种基于视觉感知的学生违纪行为实时监测装置的结构框图；

图3为本发明一个实施例所提供的一种基于视觉感知的学生违纪行为实时监测电子设备示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的学生违纪行为实时监测方法、装置及设备，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例所针对的场景可以为课堂教学过程中需要监测是否有学生存在违纪行为的场景，具体场景为老师在讲台讲解，学生听讲的过程场景。

课堂教学过程中，学生个体的姿态行为会影响教师的情绪，教师的姿态、情绪和课堂的氛围又会相互影响，学生违纪行为监测结果误差较大，本发明实施例利用基于视觉感知的学生违纪行为实时监测方法，提高违纪行为监测精度，减小误差，保证良好的课堂氛围，提升教学效率。

下面结合附图具体的说明本发明所提供的一种基于视觉感知的学生违纪行为实时监测方法、装置及设备的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于视觉感知的学生违纪行为实时监测方法流程图。

该基于视觉感知的学生违纪行为实时监测方法包括:

步骤S110,采集图像，根据图像提取学生的姿态信息和教师姿态信息；通过图像检测教师的人脸图像，利用人脸图像获取教师身份信息；根据教师姿态信息获取教师姿态特征向量；结合人脸图像和教师姿态向量检测教师情绪以得到教师情绪类别；姿态信息包括不同类别的关键点信息。

分别部署第一相机和第二相机，第一相机用于采集教师的姿态信息和人脸图像；第二相机用于采集学生的姿态信息。

将第一相机和第二相机采集到的图像送入关键点检测网络，得到二维人体骨架。

姿态信息包括不同类别的关键点信息，考虑到课堂教学的实际场景，本发明实施例选取的人体关键点为左右眼睛、脖子中心点、左右肩膀、左右手肘、左右手共9类关键点，为保证检测的准确性，不考虑其他会被课桌或讲桌遮挡的人体关键点。

优选的，本发明实施例采用的关键点检测网络为Encoder-Decoder结构，输入第一相机和第二相机采集到的图像，输出选取人体关键点的热力图像(Heatmap)。在其他实施例中，关键点检测网络可以采用OpenPose、CPM等网络。

进一步地，对第一相机采集的图像进行人脸检测，利用目标检测网络得到教师的人脸包围框，将包围框进行裁剪得到教师的人脸图像，记为I

优选的，本发明实施例采用的目标检测网络为RetinaNet；在其他实施例中，目标检测网络可以采用Y0L0、SSD等网络。

进一步地，根据教师姿态信息获取教师姿态特征向量的方法为选择教师脖子的中心点作为参考点；根据教师的姿态信息获取对应关键点，预设教师的所有关键点的关注度均为1；利用参考点指向对应关键点的单位向量相加得到教师的姿态特征向量。

进一步地，结合教师人脸图像和教师姿态向量检测教师情绪以得到教师情绪类别的方法是将第一相机采集到的教师人脸图像I1及教师的姿态特征向量送入分类网络，得到教师情绪类别。

本发明实施例采用的分类网络为ResNet，分类网络为Encoder-FC结构，训练过程为：人为的为采集到的训练集数据打上类别标签，损失函数采用交叉熵函数，利用梯度下降法不断更新模型参数，完成训练；在其他实施例中，分类网络可以采用DenseNet。

优选的，本发明实施例将教师情绪分为情绪好、情绪坏的二分类。

步骤S120，根据每个学生姿态信息获取对应关键点的运动次数和每次运动的距离，根据运动次数和距离获取每类关键点的关注度；获取参考点到关键点之间的方向向量，根据每类关键点的关注度和方向向量进行加权求和得到每个学生的姿态特征向量；根据姿态特征向量获取每个学生的实时姿态偏差。

学生的姿态特征向量应满足对特定动作敏感，本发明实施例中特定动作指的是在课堂上经常出现的动作。得到每个学生的姿态特征向量的方法如下：

1)采集预设时间内课堂上多个学生的二维姿态信息，根据姿态信息获取对应关键点的运动次数和每次运动的距离。

优选的，预设时间为一个月的时间；多个学生为所有学生；每个学生的二维姿态包括9类关键点信息。

2)根据对应关键点的运动次数和每次运动的距离获取每类关键点的关注度，本发明实施例以第i类关键点的数据为例进行分析的方法如下：

a)获取第j个学生的第i类关键点在每一帧图像的位置，计算相邻帧的第i类关键点的变化情况。

具体的，当第i类关键点的位置发生变化时，将累加器

优选的，本发明实施例采用softArgmax函数获取学生j的关键点i的位置。

b)按照步骤a)的方法获得每一个学生在课堂上第i类关键点的运动次数和每次运动的距离，则第j个学生的第i类关键点的关注度w

其中，Num为学生的数量，

c)按照步骤b)的方法，获取每一类关键点的关注度，得到9类关键点的关注度，对关注度进行归一化处理得到新的关注度，第i类关键点的新关注展

3)获取参考点到每类关键点之间的方向向量，根据每类关键点的关注度和方向向量进行加权求和得到每个学生的姿态特征向量。

为避免学生身高对参考点的影响，每一个学生对应的参考点位置相同，保障连续平均

姿态的准确性。本发明实施例中以每个学生的座位所对应的同类固定物作为参考物，选取该参考物上的相同位置的同一固定点作为参考点。

优选的，同类固定物为课桌，以每个学生的座位所对应的课桌作为参考物，选取参考物上的相同位置的同一固定点作为参考点的方法如下：

利用颜色分割获取每个学生对应的课桌桌面连通域信息；对课桌桌面的连通域信息进行直线检测，筛选出两条斜率接近于1的直线，选择与像素坐标系横坐标上截距较小的直线作为最终直线；以最终直线的连通域边缘的终点作为每个学生的固定点。

作为另一个示例，本发明实施例中的参考还可以选取每个学生的同类关键点作为参考点。

需要说明的是，为了避免学生身高对特征向量的影响，本发明实施例将9个方向向量都设为单位基向量。

进一步地，将9个向量与对应的关键点的新关注度

将采集到的所有学生姿态特征向量进行参考点对齐，步骤3)中用课桌特征作为参考点保证了这里对齐的准确性。

具体的，对所有学生的姿态特征向量

其中，

进一步地，计算每一个学生姿态特征向量

步骤S130，根据教师身份信息和教师情绪类别确认对应的课堂氛围正常区间，通过判断实时姿态偏差是否在课堂氛围正常区间内，确认状态异常学生；进而根据状态异常学生的姿态特征向量判断是否存在违纪行为，若存在违纪行为，确定该状态异常学生的身份信息。

课堂氛围正常区间是根据预设时间段内多个学生的历史姿态偏差获取每个时刻对应的总体姿态偏差，结合教师身份信息、教师的历史情绪类别和总体姿态偏差确定不同情况下的课堂氛围正常区间。

需要说明的是，教师情绪的好坏和课堂氛围有关，每一个教师的教学风格和方式不同，其正常的课堂氛围区间也不同。为了得到准确的课堂氛围正常区间，本发明实施例对同一教师在授课过程中进行多次数据采集，以确保课堂氛围正常区间的精确性，保证学生违纪行为监测的准确性。

具体的，采集预设时间内的教师情绪由好变坏时刻t的每个学生的历史姿态特征向量取均值得到历史平均姿态；根据每个学生的历史姿态特征向量和历史平均姿态的差值，得到每个学生的历史偏差向量

其中，

需要说明的是，

当教师发现个别学生有违纪行为时，其同样会出现情绪的变化，即在教师授课过程中学生总体姿态偏差和个体姿态偏差均会影响教师的情绪，因此需要对采集到的

进一步地，对应教师的身份信息，当教师情绪类别发生变化时，根据预设偏差区间对多个总体姿态偏差进行分类，以得到有效总体姿态偏差；利用有效总体姿态偏差确定课堂氛围正常区间。

具体的，有效总体姿态偏差的获取方法为K-means距离聚类算法，步骤如下：

1)对采集到的总体姿态偏差α

2)考虑到授课过程中除学生状态之外的外界因素同样会引起教师情绪的变化，为了保证课堂氛围正常区间的准确性，本发明实施例将总体姿态偏差较小的类别Q

3)对总体姿态偏差适中的类别Q

其中，

设定方差阈值σ

需要说明的是，σ

计算Q

进一步地，判断每个学生的实时姿态偏差是否在课堂氛围正常区间，若不在该区间，说明该学生为状态异常学生。

状态异常的学生为个体姿态偏差较大的学生，考虑到状态异常可能是由于举手等正常行为产生的，为了避免出现误检，需进一步分析，根据状态异常学生的姿态特征向量判断是否存在违纪行为，方法如下：

获取状态正常学生的正常行为姿态特征向量，构成正常行为数据集；计算状态异常学生的姿态特征向量与正常行为数据集中每一个姿态特征向量的相似度，若多个相似度均大于设定的相似度阈值时，则认为该学生存在违纪行为。

优选的，相似度阈值设为1。

进一步地，根据参考点的位置信息，确定存在违纪行为的状态异常学生的身份信息，完成违纪行为的监测。

优选的，参考点的位置信息可以利用softArgmax函数获取。

综上所述，本发明实施例提供了一种基于视觉感知的学生违纪行为实时监测的方法，该方法通过采集图像，提取教师姿态信息和学生姿态信息，进一步得到教师姿态特征向量和学生姿态特征向量。根据采集的图像检测教师人脸图像，获取教师身份信息。利用教师人脸图像和教师姿态特征向量得到教师情绪类别。根据姿态特征向量计算每个学生姿态偏差和总体姿态偏差，进一步根据教师身份信息、教师情绪类别和总体姿态偏差确定课堂氛围正常区间，判断每个学生实时姿态偏差是否在课堂氛围正常区间内，确定状态异常学生，并根据正常行为姿态特征向量进一步确定存在违纪行为的状态异常学生，利用参考点位置信息确定其身份信息。

基于与上述方法相同的构思，本发明实施例提供了一种基于视觉感知的学生违纪行为实时监测的装置。

参照附图2，本发明实施例提供了一种基于视觉感知的学生违纪行为实时监测的装置，该装置包括：图像采集单元110、姿态偏差获取单元120、违纪行为监测单元130。

图像采集单元110，用于采集图像，根据图像提取学生的姿态信息和教师姿态信息；通过图像检测教师的人脸图像，利用人脸图像获取教师身份信息；根据教师姿态信息获取教师姿态特征向量；结合人脸图像和教师姿态向量检测教师情绪以得到教师情绪类别；姿态信息包括不同类别的关键点信息；

姿态偏差获取单元120，用于根据每个学生姿态信息获取对应关键点的运动次数和每次运动的距离，根据运动次数和距离获取每类关键点的关注度；获取参考点到关键点之间的方向向量，根据每类关键点的关注度和方向向量进行加权求和得到每个学生的姿态特征向量；根据姿态特征向量获取每个学生的实时姿态偏差；

违纪行为监测单元130，用于根据教师身份信息和教师情绪类别确认对应的课堂氛围正常区间，通过判断实时姿态偏差是否在课堂氛围正常区间内，确认状态异常学生；进而根据状态异常学生的姿态特征向量判断是否存在违纪行为，若存在违纪行为，确定该状态异常学生的身份信息。

进一步地，请参阅附图3，其示出了本发明实施例提供的一种电子设备的示意图。该实施例中的该电子设备包括：处理器、存储器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种基于视觉感知的学生违纪行为监测方法实施例中的步骤，例如图1所述的步骤。或者处理器执行计算机程序时实现上述一种基于视觉感知的学生违纪行为监测装置实施例中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个单元，其中一个或者多个单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。其中一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备中的执行过程。

该电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是该电子设备的示例，并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如该电子设备还可以包括输入输出设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，该处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。