一种基于表情图像的学生情绪分析系统

摘要

本发明公开了一种基于表情图像的学生情绪分析系统，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块；通过图像采集模块获取学生人脸图片和学生躯干图片，并将学生人脸图片与学生躯干图片进行网格化处理，然后将网格化的学生人脸图片与学生躯干图片分别进行面部关键点标注与躯干关键点标注，形成学生人脸基准参考模型和学生行为基准参考模型，通过对学生动态脸部图片和学生的动态躯干图片进行网格化处理，并分别进行面部关键点标注和躯干关键点标注，并获取所有的面部关键点与躯干关键点的变化，从而判断学生的情绪是否平稳。

说明书

技术领域

本发明涉及教育管理技术领域，具体为一种基于表情图像的学生情绪分析系统。

背景技术

随着社会的发展，人们的物质生活越来越丰富，但是，人们的幸福感并没有因为物质生活的满足而不断提升，相反，因为社会竞争所带来的各种压力，越来越多的负面情绪出现在我们的生活之中。

而对于学生来说，在学习的过程中，情绪的变化对于学生的学习和成长都会有很大的影响，而学生的情绪变化往往会被忽略；为此，我们提出一种基于表情图像的学生情绪分析系统。

发明内容

本发明的目的就在于提出一种基于表情图像的学生情绪分析系统，用以解决上述背景技术中需要解决的问题。

本发明的目的通过以下技术方案实现：一种基于表情图像的学生情绪分析系统，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块；

所述表情分析模块用于对学生的动态脸部照片进行分析，从而获取学生的情绪变化，具体分析过程包括以下步骤：

步骤N1：将所有学生的动态脸部照片进行网格化处理，并对学生的脸部进行面部关键点标注，同时将学生的鼻头作为第一标准点；

步骤N2：将学生的动态脸部照片上的面部关键点与人脸基准参考模型中的面部关键点进行对比；

步骤N3：对每张动态脸部照片中的面部关键点分别进行提取，以第一标准点为基准，获取每一个面部关键点与第一标准点之间的距离，并获取每一个面部关键点与第一标准点之间的距离在时间TL内的变化，并将变化过程生成相应的动态坐标曲线图，其中TL＞0；

步骤N4：将动态坐标曲线图在TL时间内的动态面积标记为Sm，将Sm代入公式Sc＝(Sm-S0)*α，获得面部关键点的波动值Sc，当Sc＞0时，则判定学生的存在情绪波动，且Sc的值越大，学生的情绪波动越大，其中S0为系统预设的面部关键点参照面积；α为比例系数，且α＞0；

所述行为分析模块用于对学生的动态行为进行分析，通过学生行为的变化，从而判断学生的情绪变化，具体过程包括以下步骤：

步骤M1：将所有学生的动态躯干照片进行网格化处理，并对学生背面躯干照片和学生正面躯干照片进行躯干关键点标注，同时将学生的胸口作为第二标准点；

步骤M2：将学生的动态躯干照片上的躯干关键点与行为基准参考模型中的躯干关键点进行对比；

步骤M3：对每张动态躯干照片中的躯干关键点进行提取，获取每一个躯干关键点与第二标准点之间的距离，并获取每一个躯干关键点与第二标准点之间的距离在时间TQ内的变化，并将变化生成相应的动态坐标曲线图，其中TQ＞0；

步骤M4：将动态坐标曲线图在TL时间内的动态面积标记为Sq，将Sq代入公式Sd＝(Sq-S1)*β，获得躯干关键点的波动值Sd，当Sd＞0时，则判定学生的存在情绪波动，Sd的值越高，则表示学生的情绪波动越剧烈，其中S1为系统预设的躯干关键点参照面积；β为比例系数，且β＞0。

进一步地，所述信息录入模块用于对学生的个人信息和老师的个人信息进行录入，所述学生的个人信息包括学生的姓名、学生的年龄、学生的所在班级、学生所在班级的班主任信息以及学生在教室内的座位位置，并将学生的个人信息上传至服务器内进行保存；所述老师的个人信息包括老师的姓名、老师所带科目、老师所带班级以及实名认证的手机号码，将实名认证的手机号码与系统进行绑定，同时将老师的个人信息上传至服务器中进行保存。

进一步地，所述登录验证模块用于老师进行登录系统，老师通过与系统所绑定的实名认证的手机号码直接进行验证登录，将收集号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至系统内进行登录。

进一步地，所述图像采集模块包括图像预采集单元和图像动态采集单元，所述图像预采集单元用于对学生进行标准图像采集，标准图像采集的具体过程如下：

步骤S1：采集学生人脸图片和学生躯干图片，并将学生人脸图片和学生躯干图片分别建立人脸识别模型与行为识别模型；

所述人脸识别模型的建立过程具体包括以下步骤；

步骤SS1：获取学生的正面人脸照片；

步骤SS2：将学生的正面人脸照片进行网格化处理；

步骤SS3：对进行网格化处理后的人脸照片进行面部关键点标注，将网格化处理后的人脸照片进行面部关键点的标注后，与原人脸照片进行重叠得到学生人脸模型照片，并作为学生的人脸基准参考模型，然后将人脸模型照片上传至服务器中进行保存；

所述行为识别模型的建立过程具体包括以下步骤：

步骤SS4：获取学生的正面躯干照片和背面躯干照片；

步骤SS5：将获取到的正面躯干照片和背面躯干照片进行网格化处理；

步骤SS6：分别对网格化后的学生正面躯干照片和学生背面躯干照片进行躯干关键点标注，对网格化后的学生正面躯干照片和学生背面躯干照片完成躯干关键点的标注后，将网格化处理后的学生正面躯干照片与原学生正面躯干照片进行重叠，得到学生正面躯干模型照片；将网格化处理后的学生背面躯干照片与原学生背面躯干照片进行重叠，得到学生背面躯干模型照片，并将学生正面躯干模型照片与学生背面躯干模型照片作为学生的行为基准参考模型，并将学生正面躯干模型照片与学生背面躯干模型照片上传至服务器中进行保存；

步骤S2：将步骤SS1-SS6中所获得的学生人脸模型照片、学生正面躯干照片以及学生背面躯干照片与学生的个人信息进行绑定，并形成独立的学生信息数据包；

所述图像动态采集单元用于对学生进行动态图像采集，动态图像的具体采集过程如下：

步骤S3：获取学生的动态脸部照片，记录所获取学生的动态脸部照片数量，并将学生的动态脸部照片数量标记为NL；

步骤S4：记录获取到NL张学生的动态脸部照片所花费的时间TL；

步骤S5：将步骤S3-S4所获得的数据上传至表情分析模块；

步骤S6：获取学生的动态躯干照片，记录所获取学生的动态躯干照片数量，并将学生的动态躯干照片数量标记为NQ；

步骤S7：记录获取到NQ张学生的动态躯干照片所花费的时间TQ；

步骤S8：将步骤S6-S7获得的数据上传至行为分析模块。

进一步地，所述人脸识别模块用于对图像动态采集单元所获取到的学生的动态脸部照片进行识别，通过识别学生的动态脸部照片，从而将学生的动态脸部照片与学生的个人信息进行匹配。

进一步地，所述查询模块用于老师对学生的情况进行查询，老师通过登录验证模块登录进入系统后，在查询模块内选择相应的时间段和学生信息，进而查询该学生在所选择时间段内的情绪变化情况。

进一步地，所述基于表情图像的学生情绪分析系统的工作方法具体包括以下步骤：

第一步：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与系统所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至系统内进行登录；

第二步：通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；

通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大，则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定。

与现有技术相比，本发明的有益效果是：一种基于表情图像的学生情绪分析系统设置有表情分析模块与行为分析模块，通过图像采集模块对学生进行标准图像采集，获取学生人脸图片和学生躯干图片，并将学生人脸图片与学生躯干图片进行网格化处理，然后将网格化的学生人脸图片与学生躯干图片分别进行面部关键点标注与躯干关键点标注，形成学生人脸基准参考模型和学生行为基准参考模型，再通过获取学生的动态脸部图片与学生的动态躯干图片，通过对学生动态脸部图片和学生的动态躯干图片进行网格化处理，并分别进行面部关键点标注和躯干关键点标注，并获取所有的面部关键点与第一标准点之间的距离变化和躯干关键点到第二标准点之间的距离变化，从而判断学生的情绪是否平稳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于表情图像的学生情绪分析系统的原理框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，一种基于表情图像的学生情绪分析系统，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块块；

所述信息录入模块用于对学生的个人信息和老师的个人信息进行录入，所述学生的个人信息包括学生的姓名、学生的年龄、学生的所在班级、学生所在班级的班主任信息以及学生在教室内的座位位置，并将学生的个人信息上传至服务器内进行保存；所述老师的个人信息包括老师的姓名、老师所带科目、老师所带班级以及实名认证的手机号码，将实名认证的手机号码与系统进行绑定，同时将老师的个人信息上传至服务器中进行保存。

所述登录验证模块用于老师进行登录系统，老师通过与系统所绑定的实名认证的手机号码直接进行验证登录，将收集号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至系统内进行登录。

所述图像采集模块包括图像预采集单元和图像动态采集单元，所述图像预采集单元用于对学生进行标准图像采集，标准图像采集的具体过程如下：

步骤S1：采集学生人脸图片和学生躯干图片，并将学生人脸图片和学生躯干图片分别建立人脸识别模型与行为识别模型；

所述人脸识别模型的建立过程具体包括以下步骤；

步骤SS1：获取学生的正面人脸照片；

步骤SS2：将学生的正面人脸照片进行网格化处理；

步骤SS3：对进行网格化处理后的人脸照片进行面部关键点标注，将网格化处理后的人脸照片进行面部关键点的标注后，与原人脸照片进行重叠得到学生人脸模型照片，并作为学生的人脸基准参考模型，然后将人脸模型照片上传至服务器中进行保存；

所述行为识别模型的建立过程具体包括以下步骤：

步骤SS4：获取学生的正面躯干照片和背面躯干照片；

步骤SS5：将获取到的正面躯干照片和背面躯干照片进行网格化处理；

步骤SS6：分别对网格化后的学生正面躯干照片和学生背面躯干照片进行躯干关键点标注，对网格化后的学生正面躯干照片和学生背面躯干照片完成躯干关键点的标注后，将网格化处理后的学生正面躯干照片与原学生正面躯干照片进行重叠，得到学生正面躯干模型照片；将网格化处理后的学生背面躯干照片与原学生背面躯干照片进行重叠，得到学生背面躯干模型照片，并将学生正面躯干模型照片与学生背面躯干模型照片作为学生的行为基准参考模型，并将学生正面躯干模型照片与学生背面躯干模型照片上传至服务器中进行保存；

步骤S2：将步骤SS1-SS6中所获得的学生人脸模型照片、学生正面躯干照片以及学生背面躯干照片与学生的个人信息进行绑定，并形成独立的学生信息数据包；

所述图像动态采集单元用于对学生进行动态图像采集，动态图像的具体采集过程如下：

步骤S3：获取学生的动态脸部照片，记录所获取学生的动态脸部照片数量，并将学生的动态脸部照片数量标记为NL；

步骤S4：记录获取到NL张学生的动态脸部照片所花费的时间TL；

步骤S5：将步骤S3-S4所获得的数据上传至表情分析模块；

步骤S6：获取学生的动态躯干照片，记录所获取学生的动态躯干照片数量，并将学生的动态躯干照片数量标记为NQ；

步骤S7：记录获取到NQ张学生的动态躯干照片所花费的时间TQ；

步骤S8：将步骤S6-S7获得的数据上传至行为分析模块。

所述人脸识别模块用于对图像动态采集单元所获取到的学生的动态脸部照片进行识别，通过识别学生的动态脸部照片，从而将学生的动态脸部照片与学生的个人信息进行匹配；

所述表情分析模块用于对学生的动态脸部照片进行分析，从而获取学生的情绪变化，具体分析过程包括以下步骤：

步骤N1：将所有学生的动态脸部照片进行网格化处理，并对学生的脸部进行面部关键点标注，同时将学生的鼻头作为第一标准点；

步骤N2：将学生的动态脸部照片上的面部关键点与人脸基准参考模型中的面部关键点进行对比；

步骤N3：对每张动态脸部照片中的面部关键点分别进行提取，以第一标准点为基准，获取每一个面部关键点与第一标准点之间的距离，并获取每一个面部关键点与第一标准点之间的距离在时间TL内的变化，并将变化过程生成相应的动态坐标曲线图，其中TL＞0；

步骤N4：将动态坐标曲线图在TL时间内的动态面积标记为Sm，将Sm代入公式Sc＝(Sm-S0)*α，获得面部关键点的波动值Sc，当Sc＞0时，则判定学生的存在情绪波动，且Sc的值越大，学生的情绪波动越大，其中S0为系统预设的面部关键点参照面积；α为比例系数，且α＞0；

所述行为分析模块用于对学生的动态行为进行分析，通过学生行为的变化，从而判断学生的情绪变化，具体过程包括以下步骤：

步骤M1：将所有学生的动态躯干照片进行网格化处理，并对学生背面躯干照片和学生正面躯干照片进行躯干关键点标注，同时将学生的胸口作为第二标准点；

步骤M2：将学生的动态躯干照片上的躯干关键点与行为基准参考模型中的躯干关键点进行对比；

步骤M3：对每张动态躯干照片中的躯干关键点进行提取，获取每一个躯干关键点与第二标准点之间的距离，并获取每一个躯干关键点与第二标准点之间的距离在时间TQ内的变化，并将变化生成相应的动态坐标曲线图，其中TQ＞0；

步骤M4：将动态坐标曲线图在TL时间内的动态面积标记为Sq，将Sq代入公式Sd＝(Sq-S1)*β，获得躯干关键点的波动值Sd，当Sd＞0时，则判定学生的存在情绪波动，Sd的值越高，则表示学生的情绪波动越剧烈，其中S1为系统预设的躯干关键点参照面积；β为比例系数，且β＞0。

所述查询模块用于老师对学生的情况进行查询，老师通过登录验证模块登录进入系统后，在查询模块内选择相应的时间段和学生信息，进而查询该学生在所选择时间段内的情绪变化情况。

所述基于表情图像的学生情绪分析系统的工作方法具体包括以下步骤：

第一步：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与系统所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至系统内进行登录；

第二步：通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；

第三步：通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大，则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

工作原理：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与系统所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至系统内进行登录；通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定，老师可以通过登录系统，输入时间段和学生信息后，即可查询学生该时间段内的情绪变化情况。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。