一种非接触式目标情绪识别的方法及系统

摘要

本发明涉及一种非接触式目标情绪识别的方法及系统，该方法包括：获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀；对视频中的人脸情绪特征进行提取，得到情绪特征信息序列；对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值；根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度；根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。本发明能够对被试人员进行高频率检测，根据预测结果及时发现其可能存在的情绪问题，实现对固定人群进行长期、连续的检测和跟踪，根据被试人员的情绪发展趋势来进行预警，因而具有较高的可信度和有效性。

说明书

技术领域

本发明涉及智能识别技术领域，尤其涉及一种非接触式目标情绪识别的方法及系统。

背景技术

微表情是人的内心流露与掩饰，是心理学名词，是人类行为学的一个分支。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部往往会“泄露”出其他的信息。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但这是种烦人的特性，很容易暴露情绪。微表情持续时间很短，通过机器捕捉要比人的眼睛捕捉更容易，深度学习算法的应用又使得对微表情的识别非常准确。

现有技术中对人的情绪识别的方法有依靠接触式检测得到被试人员的脉搏脉冲进而测量其产生的心理生理学信号的变化，或是采用非接触式检测得到被试人员的心理生理学信号，然后将其与设定的标准信号进行对比，进行情绪识别。

但是现有技术中得到情绪识别结果往往偏差较大，无法为情绪预测提供有效的判断依据。

该上述缺陷是本领域技术人员期望克服的。

发明内容

(一)要解决的技术问题

为了解决现有技术的上述问题，本发明提供一种非接触式目标情绪识别的方法及系统，进而至少在一定程度上克服现有技术中情绪识别结果的偏差造成无法为情绪预测提供有效的判断依据的问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

本发明的一实施例提供一种非接触式目标情绪识别的方法，包括：

S1、获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀；

S2、对视频中的人脸情绪特征进行提取，得到情绪特征信息序列；

S3、对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值，所述各项情绪至少包括攻击性、压力、紧张、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质；

S4、根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度；

S5、根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。

在本发明一实施例中，所述准静止状态为视频的图像中头颈和肩膀的位移幅度不超过允许位移，所述允许位移的取值范围为1～2.5cm。

在本发明一实施例中，步骤S1之前，还包括：

S0、抓取含有人脸的测试图像，对测试图像的图像质量进行判断，如果图像质量符合预设要求，则开始采集视频，并发出启动信号，提示被试人员在测试期间保持准静止状态，所述测试期间的时长为60秒。

在本发明一实施例中，步骤S0中测试图像的图像质量进行判断包括：

对测试图像的模糊度和有效比例进行判断，所述有效比例为测试图像中被试人员的人脸、头颈和肩膀所在区域的面积占测试图像总面积的比例。

在本发明一实施例中，其中对测试图像的模糊度进行判断包括：

通过将测试图像与已有图像对比进行模糊判断，如果模糊度小于或等于阈值则符合预设要求；或

直接判断测试图像中是否可以识别出人脸上的眉毛、眼睛、鼻子、嘴巴的位置和轮廓，如果能够识别则符合预设要求。

在本发明一实施例中，步骤S2包括：

将视频按照时间顺序划分为多帧图像；

对每一帧图像识别出人脸区域，并在人脸区域中标注面部特征点，所述面部特征点分布在人脸区域的鼻子、眉毛、眼睛和嘴巴的位置；

根据逐帧图像获取的面部特征点按照所在的不同位置进行分簇，得到情绪特征信息序列；

其中鼻子、眉毛、眼睛和嘴巴位置的面部特征点的比例为2：2：3：4。

在本发明一实施例中，步骤S3包括：

按照分簇后嘴巴、眉毛、眼睛的情绪特征信息序列进行分析，得到嘴巴分析信息、眉毛分析信息和眼睛分析信息；

根据嘴巴分析信息、眉毛分析信息和眼睛分析信息进行情绪判断，得到各项情绪的平均值和变异值；

其中嘴巴分析信息包括：嘴巴宽度与预设宽度的比例、嘴巴高度与预设高度的比例，眉毛分析信息包括眉毛特征点的分布趋势，眼睛分析信息包括眼睛睁开程度。

在本发明一实施例中，步骤S4包括：

根据被试人员各项情绪的平均值与标准平均值计算得到第一参数；

根据被试人员各项情绪的变异值与标准变异值计算得到第二参数；

根据第一参数和第二参数分配相应的系数进行加权计算，得到被试人员的身心健康度。

在本发明一实施例中，步骤S5之后还包括：

如果预测结果中的攻击性、压力、紧张的预测值超过上限则发出预警信息。

本发明的另一实施例提供一种非接触式目标情绪识别的系统，包括：

视频采集模块，用于获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀；

特征提取模块，用于对视频中的人脸情绪特征进行提取，得到情绪特征信息序列；

情绪分析模块，用于对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值，所述各项情绪至少包括攻击性、压力、紧张、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质；

综合计算模块，用于根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度；

情绪预测模块，用于根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。

(三)有益效果

本发明的有益效果是：本发明实施例提供的一种非接触式目标情绪识别的方法及系统，对视频中提取得到的情绪特征信息序列进行分析，得到各项情绪的平均值和变异值，然后通过综合计算得到身心健康度，再结合历史趋势对被试人员的情绪进行预测。该方法能够对被试人员进行高频率检测，根据预测结果及时发现其可能存在的情绪问题，实现对固定人群进行长期、连续的检测和跟踪，根据被试人员的情绪发展趋势来进行预警，因而具有较高的可信度和有效性。

附图说明

图1为本发明一实施例提供的一种非接触式目标情绪识别的方法的步骤流程图；

图2为本发明实施例图1中步骤S2的流程图；

图3为本发明实施例中对各项情绪的检测结果；

图4为本发明实施例中展示的历史趋势分布图；

图5为本发明实施例检测的界面示意图；

图6为本发明另一实施例提供的一种非接触式目标情绪识别的系统的组成示意图；

图7为本发明实施例用于实现情绪识别的系统架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

人的心理生理状态和身体运动之间有着直接联系。前庭情绪反射理论表明，当人紧张、焦虑时会伴随着不可控制的自体原发性紧张，在前庭系统的反射下导致头颈部发生微小运动。而且在不同的情绪下(如兴奋、静止、抑制)前庭放电率不同，导致头颈部的微小运动有差异。振动影像技术使用摄像机采集到人的头颈部视频，通过在多帧视频图像中累积帧差可测量出三维的头颈部微振动，从而可以发现人的情绪。本发明正式基于此提出一种非接触式目标情绪识别的方法及系统。

图1为本发明一实施例提供的一种非接触式目标情绪识别的方法的步骤流程图，如图1所示，包括以下步骤：

如图1所示，在步骤S1中，获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀；

如图1所示，在步骤S2中，对视频中的人脸情绪特征进行提取，得到情绪特征信息序列；

如图1所示，在步骤S3中，对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值，所述各项情绪至少包括攻击性、压力、紧张、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质；

如图1所示，在步骤S4中，根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度；

如图1所示，在步骤S5中，根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。

基于上述方法，能够对被试人员进行高频率检测，根据预测结果及时发现其可能存在的情绪问题，实现对固定人群进行长期、连续的检测和跟踪，根据被试人员的情绪发展趋势来进行预警，因而具有较高的可信度和有效性。

以下将结合图1所示，对该方法的各个步骤进行详细介绍：

在步骤S1中，获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀。

在本发明一实施例中，步骤S1采集视频之前，还包括：

步骤S0、抓取含有人脸的测试图像，对测试图像的图像质量进行判断，如果图像质量符合预设要求，则开始采集视频，并发出启动信号，提示被试人员在测试期间保持准静止状态。

非接触心理生理异常检测和跟踪系统为专用的便携式计算机设备，包括一台便携式计算机和一个微软高清摄像头。如果是单机版则该计算机设备不需要联网，只需要通过摄像头采集图像或视频信息；如果是网络版则需要接入多路网络摄像机，对每路摄像机监控范围内的人员进行5秒左右的情绪识别，识别的情绪来源于动态情绪检测和微表情分析，网络版情绪识别系统需要联网，可对固定人群进行检测也可对非固定人群进行检测，主要用于对异常情绪人员的快速筛查、预警。

然后将采集的视频或图像保存在计算机上，主要应用于对固定人群的情绪进行日常例行检测和情绪状态的跟踪，被试人员和操作员面对面坐着检测，测试期间需要被试人员保持准静止状态，所述测试期间的时长为60秒。

为了实现对固定人群的情绪跟踪，首先需要录入人脸，该步骤中通过图片导入、照片抓拍或检测现场抓拍的方式获取测试图像，以便录入人脸。

在本发明一实施例中，步骤S0中测试图像的图像质量进行判断包括：对测试图像的模糊度和有效比例进行判断，所述有效比例为测试图像中被试人员的人脸、头颈和肩膀所在区域的面积占测试图像总面积的比例。

其中对测试图像的模糊度进行判断包括：

通过将测试图像与已有图像对比进行模糊判断，如果模糊度小于或等于阈值则符合预设要求；或

直接判断测试图像中是否可以识别出人脸上的眉毛、眼睛、鼻子、嘴巴的位置和轮廓，如果能够识别则符合预设要求。这里的识别方法有Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数等。

其中，对有效比例的判断具体为该比例达到70％以上，以保证被试人员的头颈部在摄像头中占尽量大的比例，以便能够进行更加有效和准确的分析。

在本发明一实施例中，所述准静止状态为视频的图像中头颈和肩膀的位移幅度不超过允许位移，所述允许位移的取值范围为1～2.5cm。

除此之外，检测条件还有：被试人员的背景单一，没有反光；像头和被试人员面部保持水平；被试面部在VGA画面上达到200*200pix以上；摄像机的安装位置距离被试3～5米；摄像机的安装位置和被试面部夹角不大于30；试人员面部的表面照度在400Lx-800Lx之间；摄像头安装稳定，不得有振动等。

在步骤S2中，对视频中的人脸情绪特征进行提取，得到情绪特征信息序列。

图2为本发明实施例图1中步骤S2的流程图，如图2所示，具体包括以下步骤：

在步骤S21中，将视频按照时间顺序划分为多帧图像；

在步骤S22中，对每一帧图像识别出人脸区域，并在人脸区域中标注面部特征点，所述面部特征点分布在人脸区域的鼻子、眉毛、眼睛和嘴巴的位置；其中鼻子、眉毛、眼睛和嘴巴位置的面部特征点的比例为2：2：3：4。例如，共在人脸区域中标注88个面部特征点，则对于鼻子、眉毛、眼睛和嘴巴位置的特征点的个数分别为16、16、24、32，目的是对于表达情绪的部位(如眉毛、眼睛和嘴巴)选择更多的特征点，以便进行详细的分析。

在步骤S23中，根据逐帧图像获取的面部特征点按照所在的不同位置进行分簇，得到情绪特征信息序列。

该步骤主要是在上述步骤得到分散的面部特征点之后，按照鼻子、眉毛、眼睛和嘴巴位置进行分簇，以便形成相应的情绪特征信息序列，以某一位置分簇内的面部特征点的变化为对象进行分析。

在步骤S3中，对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值。所述各项情绪至少包括攻击性、压力、紧张、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质。

在本发明一实施例中，步骤S3包括：

按照分簇后嘴巴、眉毛、眼睛的情绪特征信息序列进行分析，得到嘴巴分析信息、眉毛分析信息和眼睛分析信息；

根据嘴巴分析信息、眉毛分析信息和眼睛分析信息进行情绪判断，得到各项情绪的平均值和变异值；

其中嘴巴分析信息包括：嘴巴宽度与预设宽度的比例、嘴巴高度与预设高度的比例，根据这些信息可以判断张嘴程度，如果张嘴则此时的情绪可能是吃惊或高兴，需要结合其他分析信息进一步判断被试人员是高兴还是吃惊；如果闭嘴则此时的情绪可能是正常或生气，也需要结合其他分析信息进一步判断被试人员是正常还是生气。眉毛分析信息包括眉毛特征点的分布趋势，判断被试人员是皱眉还是挑眉。眼睛分析信息包括眼睛睁开程度、眼珠移动频率等，进而判断被试人员是吃惊还是紧张等。

在本发明实施例中，变异值为测量变异性的数值，以某一次检测为例，图3为本发明实施例中对各项情绪的检测结果，示出每个情绪参数的上限、下限、测量平均值和测量变异性。

面部动作编码系统(FACS)是一种通过人脸上的外观对人体面部运动进行分类的系统，能够对情绪的物理表达进行分类，建立一套共同的标准。根据人脸的解剖学特点，将其划分成若干既相互独立又相互联系的运动单元(AU)，并分析这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情。本发明实施例中通过该系统计算得到各项情绪的平均值和变异值。

在步骤S4中，根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度。

步骤S4包括：根据被试人员各项情绪的平均值与标准平均值计算得到第一参数；根据被试人员各项情绪的变异值与标准变异值计算得到第二参数；根据第一参数和第二参数分配相应的系数进行加权计算，得到被试人员的身心健康度。

本实施例中通过从平均值和变异值的角度整体进行综合考虑，进而计算得到的身心健康度准确性更高。

在步骤S5中，根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。

通过图像或视频进行分析，得到检测结果，所述检测结果包括各项情绪的平均值和变异值，综合得到被试人员的身心健康度，所述各项情绪包括攻击性、压力、紧张/焦虑、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质。

步骤S5之后还包括：

如果预测结果中的攻击性、压力、紧张的预测值超过上限则发出预警信息。

例如，“超过上限”的具体含义为出现连续的攻击性、压力、紧张均超出上限时将进行预警；攻击性、压力、紧张中任一个在T1时间都超过预设值则进行预警；或是三个中有两个以上在T2时间内都超过预设值，则进行预警；且T1>T2。

本发明还可以对一个人进行多次测量，并对测量结果进行跟踪、统计。相对于一次情绪检测，依据情绪的历史趋势，跟踪情绪的发展变化，对一个人心理生理健康异常的发现更有意义。心理学认为，不同的人具有不同的常模，这个常模需要心理学专家通过经验来确定。该方法可以自动计算出常模并且可以根据算法自动调整，这充分体现人工智能的作用，把心理检测这个事情从只有经验丰富的心理学专家才能进行转变为任何人随时随地都可以进行心理检测，从而可以尽早的发现心理健康问题，及早地对情绪变化做出预测。

除了指标量化的方式不同(心理量表通过给问题的答案设置不同的分数来量化，情绪识别系统通过人工智能算法来量化)，对于单次情绪检测的流程、结果的分析，情绪识别系统和使用心理量表的方法非常类似。根据不同的情绪对应心理问题，再根据情绪的分值来判断心理问题的严重程度。

本发明一实施例中，还可以对多人情绪进行比较，可以更好消除系统性误差，更准确的发现某人的情绪异常，做出更精准的预测。

本发明对输入的人脸图像或者视频流进行监测，捕捉的是被试人员在0.2秒内发生的瞬间性表情，再通过心理学FACS面部行为识别符号来映射人像的内心活动。而情感人工智能主要是基于血谱光学成像(TOI)技术+专业的情感智能引擎分析系统来检测人实时的生理指标与心理指标变化情况，从而反映出真实的内心活动。

动态情绪识别技术基于运动的心理生理学，依据身体振动及庞大的基础数据，对振幅为0-1000μm、频率为0-10Hz的肌肉振动进行建模和分析，突破传统人脸识别技术的局限，覆盖无法检测的盲区。通过专用摄像机采集的视频，分析头颈及身体的振动频率和振幅，计算出攻击性、压力和紧张等参数，分析人员的精神状态(情绪)，用颜色条进行数字化可视化，得出可疑度，事先筛选出可疑人员并报警。

图4为本发明实施例中展示的历史趋势分布图，图5为本发明实施例检测的界面示意图，其中左侧显示基本信息和实时数据，给出当前检测的身心健康度和历史身心健康度。

本发明应用场景可以为以下几种：

第一种是固定人群心理生理健康状态监测：

建筑行业：海外工程人员长期远离祖国，远离亲人；

部队：驻岛官兵、舰船官兵长期远离大陆，活动范围狭小；

学校：部分学生心理脆弱；

监狱、看守所：管制人员容易出现大的情绪波动；

医院、心理诊所：对心理疾病患者进行治疗效果跟踪。

针对这些行业中的相关人群可以通过系统进行情绪的日常检测和长期跟踪，可以及时发现心理生理健康异常的人员，能够及时进行人为的干涉。

第二种是特殊岗位上岗前检测：

建筑行业：特殊岗位人员在进行特别重要的操作前检测其情绪是否在正常范围内；

交通行业：两客一危驾驶员在上岗前检测其情绪是否在正常范围内；

军队：新武器试验等操作前对操作人员进行情绪检测；

医院：对时间较长、危险性较大的手术大夫进行情绪检测。

第三种是实时安防预警：

四站一场：用于通道口异常情绪人员的快速筛查，可以实现通道口的快速、安全通行；

访客管理：对进入重点单位的访客进行情绪检测，筛查出可疑人员。

综上所述，采用本发明实施例提供的技术方案，采用基于人工智能的情绪分析技术，在非接触微表情研究、微表情与情绪关系的心理学研究理论基础上，介绍了基于微表情识别的灵敏、精准和鲁棒无感知情绪监测分析系统，并制定相应的预警策略，使其能够辅助人们理解和分析人员的动机，为社会安全风险控制提供预警与决策的潜在线索。该方法不同于心理量表无法反复测量，我们的系统可以高频率进行检测，以便及时发现心理生理问题。也不同于心电、脑电等可穿戴设备，我们的系统具有非接触、无感的特点，从而可以检测到被测人员无意识的反应。通过与人脸识别结合，可以实现对固定人群进行长期、连续的检测和跟踪，根据某个人的情绪发展趋势来进行预警，因而具有较高的信度和效度。在界面显示方面，可以通过双面屏对显示给操作人员和被测人员的信息进行分离，使得被测人员的体验更优，减少被测人员对心理检测的抵触。最终，该方法能够对被试人员进行高频率检测，根据预测结果及时发现其可能存在的情绪问题，实现对固定人群进行长期、连续的检测和跟踪，根据被试人员的情绪发展趋势来进行预警，因而具有较高的可信度和有效性

与上述情绪识别的方法相对应的，图6为本发明另一实施例提供的一种非接触式目标情绪识别的系统的组成示意图，如图6所示，该系统包括：视频采集模块610、特征提取模块620、情绪分析模块630、综合计算模块640和情绪预测模块650。

视频采集模块610用于获取被试人员准静止状态下的视频，所述视频中至少包含人脸、头颈和肩膀；特征提取模块620用于对视频中的人脸情绪特征进行提取，得到情绪特征信息序列；情绪分析模块630用于对情绪特征信息序列进行分析，得到各项情绪的平均值和变异值，所述各项情绪至少包括攻击性、压力、紧张、暴躁、平衡能力、魅力、活力、自我调节、抑郁、神经质；综合计算模块640用于根据各项情绪的平均值和变异值综合计算，确定被试人员的身心健康度；情绪预测模块650用于根据历史数据确定身心健康度的历史趋势，结合被试人员本次的身心健康度的平均值和变异值对未来情绪进行预测。

图7为本发明实施例用于实现情绪识别的系统架构示意图，通过在重要监控区域进行监控获取视频并上传给服务器，服务器进行人脸识别、微表情识别和动态情绪检测，发送到数据平台，最终进行情绪检测的展示、情绪历史趋势统计及预测，进行情绪预警。

需要说明的是，该系统通过Restful接口提供情绪检测的实时数据和统计数据，实时数据可用于二次建模，如疲劳度、注意力等指标的检测，统计数据可用于管理平台使用，如应急指挥系统、心理健康大数据平台、园区管理系统等。

基于上述方法的技术效果，该系统能够实现相同的技术效果，此处不再赘述。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。