一种人脸表情分析方法和系统及满意度分析方法和系统

摘要

本发明公开了一种人脸表情分析方法和系统，包括：获取待分析的人脸表情视频片段，并获取视频片段中的图片流；分析图片流中每帧画面的人脸表情指数，确定图片流所对应的人脸表情频谱图；根据人脸表情频谱图，确定人脸在自然状态下所对应的基准线，并基于基准线确定人脸在自然状态下所的自然情绪区域；以自然情绪区域为基准，将人脸表情频谱图划分为对应不同表情的多个情绪区域。本发明还提供了一种人脸表情满意度分析方法和系统。本发明利用了用户表情的完整视频信息，充分考虑了表情的波动，能够确定用户真实的情绪，并能够准确地确定用户的满意度。

说明书

技术领域

本发明涉及数据分析技术领域，具体而言，涉及一种人脸表情分析方法和系统及满意度分析方法和系统。

背景技术

相关技术中，在进行人脸表情分析时，大多只是根据训练数据以及对应的标注信息训练神经网络模型，把待预测的对象输入训练好的神经网络模型，得到人脸表情分析结果。而人脸表情是波动的，即脸部不会每一秒都一直持续保持着高兴、平静或者愤怒，这使得得到的人脸表情分析结果并不准确。

发明内容

为解决上述问题，本发明的目的在于提供一种人脸表情分析方法和系统及满意度分析方法和系统，利用了用户表情的完整视频信息，充分考虑了表情的波动，能够确定用户真实的情绪，并能够准确地确定用户的满意度。

本发明提供了一种人脸表情分析方法，包括：

S1，获取待分析的人脸表情视频片段，并获取视频片段中的图片流；

S2，分析图片流中每帧画面的人脸表情指数，确定图片流所对应的人脸表情频谱图；

S3，根据所述人脸表情频谱图，确定人脸在自然状态下所对应的基准线，并基于所述基准线确定人脸在自然状态下的自然情绪区域；

S4，以所述自然情绪区域为基准，将人脸表情频谱图划分为对应不同表情的多个情绪区域。

作为本发明进一步的改进，S1中，通过逐帧或固定间隔抽帧或抽取关键帧的方式获取视频片段中的图片流。

作为本发明进一步的改进，获取视频片段中的图片流，包括：将视频片段进行分割，得到多个视频子片段，随机或固定抽取各视频子片段中的至少一帧；

根据抽取的多个画面帧，确定视频片段中的图片流。

作为本发明进一步的改进，所述方法还包括：对所述图片流中的各帧画面进行人脸检测，获取各帧画面中的人脸图像。

作为本发明进一步的改进，S2包括：

S21，将人脸图像划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点；

S22，针对每帧画面分别确定包含的关键特征点，确定各区域对应的表情分值，并根据各区域对应的表情分值，确定每帧画面的人脸表情指数；

S23，根据所有画面的人脸表情指数获取图片流所对应的人脸表情频谱图。

作为本发明进一步的改进，S21包括：

对所述人脸图像进行人脸特征点识别，得到所述人脸图像的多个特征点；

从所述多个特征点中识别出用于确定人脸表情指数的多个关键特征点；

根据所述多个关键特征点，将人脸划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。

作为本发明进一步的改进，S22包括：

确定各区域中关键特征点连线之间的至少一个夹角，并根据所述至少一个夹角，确定各区域对应的表情分值；

确定各区域对应的权重；

根据各区域对应的表情分值以及各区域对应的权重，确定每帧画面的人脸表情指数。

作为本发明进一步的改进，S3包括：

S31，在人脸表情频谱图中，确定人脸表情指数出现频次最高的第一区间；

S32，根据所述第一区间，确定人脸在自然状态下所对应的基准线；

S33，以所述基准线为中心，将基准线上下一定宽度范围的第二区间作为人脸在自然状态下的自然情绪区域。

作为本发明进一步的改进，S32包括：

确定所述第一区间的水平中心线；

若所述水平中心线对应的人脸表情指数大于第一阈值，且小于第二阈值，则将所述水平中心线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数小于或等于第一阈值，则将所述第一阈值对应的水平线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数大于或等于第二阈值，则将所述第二阈值对应的水平线确定为人脸在自然状态下所对应的基准线。

作为本发明进一步的改进，S4中，在人脸表情频谱图中，将所述自然情绪区域以上的区域确定为积极情绪区域，所述自然情绪区域以下的区域确定为消极情绪区域。

本发明还提供了一种人脸表情满意度分析方法，采用前述的一种人脸表情分析方法之后，还包括：S5，在待分析的人脸表情视频片段中的每个时间段内，对人脸表情频谱图中对应不同表情的各情绪区域进行分析计算，确定该用户的满意度。

作为本发明进一步的改进，S5包括：

S51，将待分析的人脸表情视频片段划分为多个时间段，根据所述人脸表情频谱图，分别计算各时间段内不同表情所占的比例；

S52，确定各时间段对应的权重；

S53，根据各时间段内不同表情所占的比例以及各时间段对应的权重，确定满意度结果。

本发明还提供了一种人脸表情分析系统，采用前述所述的一种人脸表情分析方法，包括：

图片采集模块，其用于获取待分析的人脸表情的视频片段，并获取视频片段中的图片流；

表情频谱模块，其用于分析图片流中每帧画面的人脸表情指数，确定图片流所对应的人脸表情频谱图；

表情基准模块，其用于根据所述人脸表情频谱图，确定人脸在自然状态下所对应的基准线，并基于所述基准线确定人脸在自然状态下的自然情绪区域；

表情分区模块，其用于以所述自然情绪区域为基准，将人脸表情频谱图划分为对应不同表情的多个情绪区域。

作为发明进一步的改进，所述图片采集模块中，通过逐帧或固定间隔抽帧或抽取关键帧的方式获取视频片段中的图片流。

作为发明进一步的改进，所述图片采集模块在获取人脸表情视频片段中的图片流时，包括：

将视频片段进行分割，得到多个视频子片段，随机或固定抽取各视频子片段中的至少一帧；

根据抽取的多个画面帧，确定视频片段中的图片流。

作为发明进一步的改进，所述一种人脸表情分析系统还包括：人脸检测模块，其用于对所述图片流中的各帧画面进行人脸检测，获取各帧画面中的人脸图像。

作为发明进一步的改进，所述表情频谱模块包括：

人脸区域划分模块，其用于将人脸图像划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点；

表情指数确定模块，其用于针对每帧画面分别确定各区域包含的关键特征点，确定各区域对应的表情分值，并根据各区域对应的表情分值，确定每帧画面的人脸表情指数；

表情频谱图确定模块，其用于根据所有画面的人脸表情指数获取图片流所对应的人脸表情频谱图。

作为发明进一步的改进，所述人脸区域划分模块包括：

对所述人脸图像进行人脸特征点识别，得到所述人脸图像的多个特征点；

从所述多个特征点中识别出用于确定人脸表情指数的多个关键特征点；

根据所述多个关键特征点，将人脸划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。

作为发明进一步的改进，所述表情指数确定模块包括：

确定各区域中关键特征点连线之间的至少一个夹角，并根据所述至少一个夹角，确定各区域对应的表情分值；

确定各区域对应的权重；

根据各区域对应的表情分值以及各区域对应的权重，确定每帧画面的人脸表情指数。

作为发明进一步的改进，所述表情基准模块包括：

频次区间确定模块，其用于在人脸表情频谱图中，确定人脸表情指数出现频次最高的第一区间；

基准线确定模块，其用于根据所述第一区间，确定人脸在自然状态下所对应的基准线；

自然情绪区域确定模块，其用于以所述基准线为中心，将基准线上下一定宽度范围内的第二区间作为人脸在自然状态下的自然情绪区域。

作为发明进一步的改进，所述基准线确定模块包括：

确定所述第一区间的水平中心线；

若所述水平中心线对应的人脸表情指数大于第一阈值，且小于第二阈值，则将所述水平中心线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数小于或等于第一阈值，则将所述第一阈值对应的水平线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数大于或等于第二阈值，则将所述第二阈值对应的水平线确定为人脸在自然状态下所对应的基准线。

作为发明进一步的改进，所述表情分区模块中，在人脸表情频谱图中，将所述自然情绪区域以上的区域确定为积极情绪区域，所述自然情绪区域以下的区域确定为消极情绪区域。

本发明还提供了一种人脸表情满意度分析系统，采用前述的一种人脸表情分析系统，还包括：

满意度计算模块，其用于在待分析的人脸表情视频片段中的每个时间段内，对人脸表情频谱图中对应不同表情的各情绪区域进行分析计算，确定该用户的满意度。

作为发明进一步的改进，所述满意度计算模块包括：

时间段表情占比计算模块，其用于将待分析的人脸表情视频片段划分为多个时间段，根据所述人脸表情频谱图，分别计算各时间段内不同表情所占的比例；

时间段权重确定模块，其用于确定各时间段对应的权重；

满意度结果计算模块，其用于根据各时间段内不同表情所占的比例以及各时间段对应的权重，确定满意度结果。

本发明还提供了一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器执行以实现所述的人脸表情分析方法和人脸表情满意度分析方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现所述的人脸表情分析方法和人脸表情满意度分析方法。

本发明的有益效果为：

利用了用户表情的完整视频信息，充分考虑了表情的波动，并充分考虑了用户个体的自然状态差异，基于频次分析获取对应自然状态的基准线，能够确定用户真实的情绪。

根据用户的基准线设定对应自然状态的基准区间，避免全程为积极表情或消极表情的情况。

通过基准区域实现用户的情绪分层，并对用户视频片段的时间段划分权重，综合考虑了用户的情绪种类和时间权重，能够更为准确地确定用户的满意度。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例所述的一种人脸表情分析方法的流程示意图；

图2为本公开一实施例所述的一种人脸表情满意度分析方法的流程示意图；

图3为本公开一实施例所述的图片流所对应的人脸表情频谱图的示意图；

图4为本公开一实施例所述的用于确定基准线的基准区间的示意图；

图5为本公开一实施例所述多个情绪区域的示意图；

图6为本公开一实施例所述的每个时间段的积极、自然、消极三种情绪频次和百分比的示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明，若本公开实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本公开的描述中，所用术语仅用于说明目的，并非旨在限制本公开的范围。术语“包括”和/或“包含”用于指定所述元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本公开所述实施例的说明。附图仅出于说明的目的用来描绘本公开所述实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本公开所述原理的情况下，可以采用本公开所示结构和方法的替代实施例。

本公开实施例所述的一种人脸表情分析方法，如图1所示，包括：

S1，获取待分析的人脸表情视频片段，并获取视频片段中的图片流。

一种可选的实施方式中，在获取图片流时，可以通过逐帧(即每一帧都抽取出来)或固定间隔抽帧(例如每一秒抽一帧)或抽取关键帧(即按照画面的变化抽取i帧)的方式获取视频片段中的图片流。本实施例中，在获取视频片段中的图片流时，可以将视频片段进行分割，得到多个视频子片段，随机或固定抽取各视频子片段中的至少一帧，根据抽取的多个画面帧，确定视频片段中的图片流。采集包含用户表情的完整视频信息，充分考虑了人脸表情的波动，避免单独通过一帧图像来确定用户情绪的片面性及不准确性。

S2，分析图片流中每帧画面的人脸表情指数，确定图片流所对应的人脸表情频谱图。

举例来说，人脸表情指数范围为0～100，指数越高表示表情越偏积极，即更倾向于高兴、惊喜等情绪。指数越低表示表情越偏消极，即更倾向于愤怒、害怕等情绪。指数靠近中间表示表情处于自然状态。例如，按照图片流中各帧画面的时间戳信息，根据各帧画面的人脸表情指数以及对应的时间信息，生成人脸表情频谱图。通过生成的人脸表情频谱图能直观的显示用户表情的波动过程。

一种可选的实施方式中，在分析图片流中每帧画面的人脸表情指数之前，还包括：对所述图片流中的各帧画面进行人脸检测，获取各帧画面中的人脸图像，再对每帧画面的人脸表情指数进行分析获取人脸表情频谱图。

在进行人脸检测时，人脸检测算法例如可选用MTCNN、SSD、YOLOV3等，但不仅限于列举的几种，可以根据需求进行选择。

通过分析每帧画面，输出一个人脸表情指数。

一种可选的实施方式中，S2包括：

S21，将人脸图像划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。

可选的，对人脸图像进行人脸特征点识别，得到人脸图像的多个特征点，从多个特征点中识别出用于确定人脸表情指数的多个关键特征点；根据多个关键特征点，将人脸划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。如果直接利用所有特征点来确定人脸表情指数，会加大计算量，通过关键特征点识别，在保证人脸表情指数准确度的同时能减少计算量。例如，人脸图像上有106个特征点，从这106个特征点中识别出用于确定人脸表情指数的部分关键特征点，比如嘴部关键特征点、眼部关键特征点、眉毛关键特征点等。在识别所述多个特征点时，可以基于训练好的神经网络模型进行特征点识别。当然并不仅限于上述方式，可以进行适应性选择和调整。

在一种可选的实施方式中，还可以对人脸图像进行关键特征点识别，得到用于确定人脸表情指数的多个关键特征点。例如，关键特征点为嘴部关键特征点、眼部关键特征点、眉毛关键特征点，可以用训练得到的神经网络模型对人脸图像进行处理，例如，将人脸图像输入至训练好的神经网络模型中处理，得到各帧人脸图像中的嘴部关键特征点、眼部关键特征点、眉毛关键特征点。

可选的，还可以根据参考面部器官的区域，对人脸图像进行划分得到人脸图像的多个区域，分别对各区域的人脸图像进行关键特征点提取，得到各区域包括的多个关键特征点。例如，参考面部器官包括嘴部、眼部以及眉毛，可以得到人脸图像的三个区域，可以将三个区域的图像分别输入嘴部关键特征点检测模型、眼部关键特征点检测模型以及眉毛关键特征点检测模型，分别得到各区域包含的多个关键特征点。

S22，针对每帧画面分别确定各区域包含的关键特征点，确定各区域对应的表情分值，并根据各区域对应的表情分值，确定每帧画面的人脸表情指数。

可选的，确定各区域中关键特征点连线之间的至少一个夹角，并根据所述至少一个夹角，确定各区域对应的表情分值；确定各区域对应的权重；根据各区域对应的表情分值以及各区域对应的权重，确定每帧画面的人脸表情指数。例如，在对各夹角及所在区域进行计算时，每个区域对应一权重，各区域权重可以不同，所有区域的权重和为1，每个区域内包含至少一个夹角，每个夹角对应一表情分值(例如，百分制)，对夹角和区域进行加权计算得到人脸表情指数。由于人脸区域的特征点较多，如对两两特征点连线的夹角进行都计算会加大计算量，筛选出用于加权计算人脸表情指数的关键特点后，可以直接对这些关键特征点计算连线夹角，减小了计算量。其中，一个区域的关键特征点互相间可有很多连线，可以选择目标连线来计算夹角，比如相邻关键特征点连线之间的夹角，两端关键特征点与中间关键特征点连线的夹角等。这样，能在保证人脸表情指数准确度的基础上，减少计算量，提高处理效率。

在一种可选的实施方式中，还可以根据各区域包含的关键特征点，确定各区域包含的面部器官的轮廓信息，并根据各区域包含的面部器官的轮廓信息，分别确定各区域对应的表情分值。

S23，根据所有画面的人脸表情指数获取图片流所对应的人脸表情频谱图。

经过上述加权计算后得到每帧画面所对应的人脸表情指数，进而得到图片流所对应的人脸表情频谱图，如图3所示。

S3，根据所述人脸表情频谱图，确定人脸在自然状态下所对应的基准线，并基于基准线确定人脸在自然状态下的自然情绪区域。

由于每个人自然状态下的表情都是不同的，有的人天生苦瓜脸，有的人天生脸带笑意，所以每个人的自然状态的基准线是不同的，通过找到基准线，能够较准确地根据用户的基准线，确定其真实的情绪，从而有效提高人脸表情识别的准确度。

一种可选的实施方式中，S3包括：

S31，在人脸表情频谱图中，确定人脸表情指数出现频次最高的第一区间。人在接收服务的过程中大部分时间是处于自然状态的，可以将出现频次最高的点所在的水平线为基准线。但每个点的数值不可能完全一样，所以需要找到一个基准区间(即第一区间)，即频次最高的区间。例如，可以预设一个区间宽度，并根据该区间宽度，确定人脸表情频谱图中人脸表情指数出现频次最高的第一区间。

S32，根据第一区间，确定人脸在自然状态下所对应的基准线。

人脸表情频谱图中人脸表情指数出现频次最高的第一区间能够较真实地反应当前用户在自然状态下的表情状态，据此确定得到的基准线能够准确反应当前用户自然状态下的表情。

可选的，S32包括：

确定第一区间的水平中心线；

若水平中心线对应的人脸表情指数大于第一阈值，且小于第二阈值，则将水平中心线确定为人脸在自然状态下所对应的基准线；

若水平中心线对应的人脸表情指数小于或等于第一阈值，则将第一阈值对应的水平线确定为人脸在自然状态下所对应的基准线；

若水平中心线对应的人脸表情指数大于或等于第二阈值，则将第二阈值对应的水平线确定为人脸在自然状态下所对应的基准线。

如图4所示，例如可以将区间宽度设置为20，在确定基准线的过程中，用这个区间从下往上扫描人脸表情频谱图，找到频次最高的区间，基准线即为该区间的水平中心。所确定的基准线的示意图如图3所示。

，如图3所示，为避免全程都是积极情绪或消极情绪的情况，例如，可以将基准线设定在30-60之间，若实际测得的基准线高于60，则设定为60，若实际测得的基准线低于30，则设定为30，以此来避免全程都是积极情绪或消极情绪的特殊情况。当然，基准线的第一阈值、第二阈值的设定值可以适应性调整，并不仅限于上述数值。

S33，以基准线为中心，将基准线上下一定宽度范围内的第二区间作为人脸在自然状态下的自然情绪区域。

如图4所示，获取到基准线后，例如，可以将上下15，总宽30的区域代表人脸表情处于自然状态，即人脸在自然状态下的自然情绪区域。当然，自然情绪区域的宽度可以适应性调整，并不仅限于上述数值。

S4，以所述自然情绪区域为基准，将人脸表情频谱图划分为对应不同表情的多个情绪区域。

如图5所示，在人脸表情频谱图中，可以将自然情绪区域以上的区域确定为积极情绪区域，自然情绪区域以下的区域确定为消极情绪区域。通过基准区域即自然情绪区域，可以实现用户的情绪分层，避免全程都是积极或消极的情绪。

本公开实施例所述的一种人脸表情满意度分析方法，如图2所示，在采用前述的一种人脸表情分析方法之后，还包括：S5，在待分析的人脸表情视频片段中的每个时间段内，对人脸表情频谱图中对应不同表情的各情绪区域进行分析计算，确定该用户的满意度。

一种可选的实施方式中，S5包括：

S51，将待分析的人脸表情视频片段划分为多个时间段，根据人脸表情频谱图，分别计算各时间段内不同表情所占的比例；

S52，确定各时间段对应的权重；

S53，根据各时间段内不同表情所占的比例以及各时间段对应的权重，确定满意度结果。

由于“哭着来笑着走”比“笑着来哭着走”的满意度肯定要高，因此不同情绪在时间上的权重需要设计成不同。例如权重可以设置为：前20％时间情绪占10％权重，最后10％的情绪占60％权重，中间部分占余下的30％权重。当然，时间权重可以进行适当调整。根据前述S4步骤中所述的方法获取多个情绪区域后，分别统计不同时间段内各情绪区域在人脸表情频谱图中所占比例。在每个时间段内，根据各情绪区域在人脸表情频谱图中所占比例确定各情绪区域对应的权重，再对每个时间段的权重和每个时间段内各情绪区域的权重进行加权计算，得到用户的满意度系数。用户满意度系数可通过积极情绪的加权值减去消极情绪的加权计算值获得。对用户视频片段的时间段划分权重，并结合情绪区域在每个时间段内的占比，综合考虑了用户的情绪种类和时间权重，能够更为准确地确定用户的满意度。

如图6所示，本实施例中，可以看到用户积极情绪逐渐增多，消极情绪逐渐减少。按照图6所示的示例，可以计算出用户的满意度系数＝(31％*10％+28％*30％+37％*60％)-(31％*10％+22％*30％+11％*60％)＝0.174。

可选的，可以根据满意度系数确定满意度结果。例如，当满意度系数大于或等于满意阈值时，满意度结果为满意。当满意度系数小于或等于不满意阈值时，满意度结果为不满意。当满意度系数大于不满意阈值，且小于满意度阈值时，满意度结果为一般。例如，可以设定大于或等于0.1为满意，小于或等于-0.1为不满意，-0.1-0.1之间为一般。其中，满意阈值、不满意阈值均可适应性调整。

本公开实施例所述的一种人脸表情分析系统，包括：图片采集模块、表情频谱模块、表情基准模块和表情分区模块。

图片采集模块被配置为获取待分析的人脸表情视频片段，并获取视频片段中的图片流。

一种可选的实施方式中，在获取图片流时，可以通过逐帧(即每一帧都抽取出来)或固定间隔抽帧(例如每一秒抽一帧)或抽取关键帧(即按照画面的变化抽取i帧)的方式获取视频片段中的图片流。本实施例中，在获取视频片段中的图片流时，可以将视频片段进行分割，得到多个视频子片段，随机或固定抽取各视频子片段中的至少一帧，根据抽取的多个画面帧，确定视频片段中的图片流。采集包含用户表情的完整视频信息，充分考虑了人脸表情的波动，避免单独通过一帧图像来确定用户情绪的片面性及不准确性。

表情频谱模块被配置为分析图片流中每帧画面的人脸表情指数，确定图片流所对应的人脸表情频谱图。

举例来说，人脸表情指数范围为0～100，指数越高表示表情越偏积极，即更倾向于高兴、惊喜等情绪。指数越低表示表情越偏消极，即更倾向于愤怒、害怕等情绪。指数靠近中间表示表情处于自然状态。例如，按照图片流中各帧画面的时间戳信息，根据各帧画面的人脸表情指数以及对应的时间信息，生成人脸表情频谱图。通过生成的人脸表情频谱图能直观的显示用户表情的波动过程。

一种可选的实施方式中，在分析图片流中每帧画面的人脸表情指数之前，还包括人脸检测模块，被配置为对图片流中的各帧画面进行人脸检测，获取各帧画面中的人脸图像，再对每帧画面的人脸表情指数进行分析获取人脸表情频谱图。

在进行人脸检测时，人脸检测算法例如可选用MTCNN、SSD、YOLOV3等，但不仅限于列举的几种，可以根据需求进行选择。通过分析每帧画面，输出一个人脸表情指数。

一种可选的实施方式中，表情频谱模块可以包括人脸区域划分模块、表情指数确定模块和表情频谱图确定模块。

人脸区域划分模块，被配置为将人脸图像划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。

一种可选的实施方式中，人脸区域划分模块包括：对人脸图像进行人脸特征点识别，得到人脸图像的多个特征点，从多个特征点中识别出用于确定人脸表情指数的多个关键特征点；根据多个关键特征点，将人脸划分为多个区域，每个区域内包含用于确定人脸表情指数的多个关键特征点。如果直接利用所有特征点来确定人脸表情指数，会加大计算量，通过关键特征点识别，在保证人脸表情指数准确度的同时能减少计算量。例如，人脸图像上有106个特征点，从这106个特征点中识别出用于确定人脸表情指数的部分关键特征点，比如嘴部关键特征点、眼部关键特征点、眉毛关键特征点等。在识别所述多个特征点时，可以基于训练好的神经网络模型进行关键特征点识别。当然并不仅限于上述方式，可以进行适应性选择和调整。

在一种可选的实施方式中，人脸区域划分模块还可以对人脸图像进行关键特征点识别，得到用于确定人脸表情指数的多个关键特征点。例如，关键特征点为嘴部关键特征点、眼部关键特征点、眉毛关键特征点，可以用训练得到的神经网络模型对人脸图像进行处理，例如，将人脸图像输入至训练好的神经网络模型中处理，得到各帧人脸图像中的嘴部关键特征点、眼部关键特征点、眉毛关键特征点。

可选的，人脸区域划分模块还可以根据参考面部器官的区域，对人脸图像进行划分得到人脸图像的多个区域，分别对各区域的人脸图像进行关键特征点提取，得到各区域包括的多个关键特征点。例如，参考面部器官包括嘴部、眼部以及眉毛，可以得到人脸图像的三个区域，可以将三个区域的图像分别输入嘴部关键特征点检测模型、眼部关键特征点检测模型以及眉毛关键特征点检测模型，分别得到各区域包含的多个关键特征点。

表情指数确定模块，被配置为针对每帧画面分别确定各区域包含的关键特征点，确定各区域对应的表情分值，并根据各区域对应的表情分值，确定每帧画面的人脸表情指数。

一种可选的实施方式中，表情指数确定模块包括：确定各区域中关键特征点连线之间的至少一个夹角，并根据至少一个夹角，确定各区域对应的表情分值；确定各区域对应的权重；根据各区域对应的表情分值以及各区域对应的权重，确定每帧画面的人脸表情指数。例如，在对各夹角及所在区域进行计算时，每个区域对应一权重，各区域权重不同，所有区域的权重和为1，每个区域内包含至少一个夹角，每个夹角对应一表情分值(例如，百分制)，对夹角和区域进行加权计算得到人脸表情指数。由于人脸区域的特征点较多，如对两两特征点连线的夹角计算会加大计算量，筛选出用于加权计算人脸表情指数的关键特点后，可以直接对这些关键特征点计算连线夹角，减小了计算量。其中，一个区域的关键特征点互相间可有很多连线，可以选择目标连线来计算夹角，比如相邻关键特征点连线之间的夹角，两端关键特征点与中间关键特征点连线的夹角等。这样，能在保证人脸表情指数准确度的基础上，减少计算量，提高处理效率。

在一种可选的实施方式中，表情指数确定模块还可以根据各区域包含的关键特征点，确定各区域包含的面部器官的轮廓信息，并根据各区域包含的面部器官的轮廓信息，分别确定各区域对应的表情分值。

表情频谱图确定模块，被配置为根据所有画面的人脸表情指数获取图片流所对应的人脸表情频谱图。该表情频谱图确定模块在经过人脸表情指数加权计算后得到每帧画面所对应的人脸表情指数，进而得到图片流所对应的人脸表情频谱图，如图3所示。

表情基准模块，被配置为根据所述人脸表情频谱图，确定人脸在自然状态下所对应的基准线，并基于基准线确定人脸在自然状态下的自然情绪区域。

由于每个人自然状态下的表情都是不同的，有的人天生苦瓜脸，有的人天生脸带笑意，所以每个人的自然状态的基准线是不同的，通过找到基准线，能够较准确地根据用户的基准线，确定其真实的情绪，从而有效提高人脸表情识别的准确度。

一种可选的实施方式中，表情基准模块包括频次区间确定模块、基准线确定模块和自然情绪区域确定模块。

频次区间确定模块，被配置为在人脸表情频谱图中，确定人脸表情指数出现频次最高的第一区间。

人在接收服务的过程中大部分时间是处于自然状态的，可以将出现频次最高的点所在的水平线为基准线。但每个点的数值不可能完全一样，所以需要找一个基准区间(即第一区间)，即需要找到频次最高的区间。例如，可以预设一个区间宽度，并根据该区间宽度，确定人脸表情频谱图中人脸表情指数出现频次最高的第一区间。

基准线确定模块被配置为根据所述第一区间，确定人脸在自然状态下所对应的基准线。

人脸表情频谱图中人脸表情指数出现频次最高的第一区间能够较真实地反应当前用户在自然状态下的表情状态，据此确定得到的基准线能够准确反应当前用户自然状态下的表情。

一种可选的实施方式，基准线确定模块包括：

确定所述第一区间的水平中心线；

若所述水平中心线对应的人脸表情指数大于第一阈值，且小于第二阈值，则将所述水平中心线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数小于或等于第一阈值，则将所述第一阈值对应的水平线确定为人脸在自然状态下所对应的基准线；

若所述水平中心线对应的人脸表情指数大于或等于第二阈值，则将所述第二阈值对应的水平线确定为人脸在自然状态下所对应的基准线。

如图4所示，例如可以将区间宽度设置为20，在确定基准线的过程中，用这个区间从下往上扫描人脸表情频谱图，找到频次最高的区间，基准线即为该区间的水平中心。基准线的示意图如图3所示。

如图3所示，为避免全程都是积极情绪或消极情绪的情况，例如，可以将基准线设定在30-60之间，若实际测得的基准线高于60，则设定为60，若实际测得的基准线低于30，则设定为30，以此来避免全程都是积极情绪或消极情绪的特殊情况。当然，基准线的第一阈值、第二阈值的设定值可以适应性调整，并不仅限于上述数值。

自然情绪区域确定模块，被配置为以基准线为中心，将基准线上下一定宽度范围内的第二区间作为人脸在自然状态下的自然情绪区域。

如图4所示，获取到基准线后，例如，可以将上下15，总宽30的区域代表表情处于自然状态，即人脸在自然状态下的自然情绪区域。当然，自然情绪区域的宽度可以适应性调整，并不仅限于上述数值。

表情分区模块被配置为以所述自然情绪区域为基准，将人脸表情频谱图划分为对应不同表情的多个情绪区域。如图5所示，在人脸表情频谱图中，可以将自然情绪区域以上的区域确定为积极情绪区域，自然情绪区域以下的区域确定为消极情绪区域。通过基准区域即自然情绪区域，可以实现用户的情绪分层，避免全程都是积极或消极的情绪。

本公开实施例所述的一种人脸表情满意度分析系统，采用前述的一种人脸表情分析系统，不同之处在于，还包括满意度计算模块。满意度计算模块被配置为在待分析的人脸表情视频片段中的每个时间段内，对人脸表情频谱图中对应不同表情的各情绪区域进行分析计算，确定该用户的满意度。

一种可选的实施方式中，满意度计算模块包括：

时间段表情占比计算模块，被配置为将待分析的人脸表情视频片段划分为多个时间段，根据所述人脸表情频谱图，分别计算各时间段内不同表情所占的比例。

时间段权重确定模块，被配置为确定各时间段对应的权重。

满意度结果计算模块，被配置为根据各时间段内不同表情所占的比例以及各时间段对应的权重，确定满意度结果。

由于“哭着来笑着走”比“笑着来哭着走”的满意度肯定要高，因此不同情绪在时间上的权重需要设计成不同。例如权重可以设置为：前20％时间情绪占10％权重，最后10％的情绪占60％权重，中间部分占余下的30％权重。当然，时间权重可以进行适当调整。根据前述表情分区模块所获取各个情绪区域后，分别统计不同时间段内各情绪区域在人脸表情频谱图中所占比例。在每个时间段内，根据各情绪区域在人脸表情频谱图中所占比例确定各情绪区域对应的权重，再对每个时间段的权重和每个时间段内各情绪区域的权重进行加权计算得到用户的满意度。用户满意度可通过积极情绪的加权值减去消极情绪的加权值获得。对用户视频片段的时间段划分权重，并结合情绪区域在每个时间段内的占比，综合考虑了用户的情绪种类和时间权重，能够更为准确地确定用户的满意度。

如图6所示，本实施例中，可以看到用户积极情绪逐渐增多，消极情绪逐渐减少。按照图6所示的示例，可以计算出用户的满意度系数＝(31％*10％+28％*30％+37％*60％)-(31％*10％+22％*30％+11％*60％)＝0.174。

可选的，可以根据满意度系数确定满意度结果。例如，当满意度系数大于或等于满意阈值时，满意度结果为满意。当满意度系数小于或等于不满意阈值时，满意度结果为不满意。当满意度系数大于不满意阈值，且小于满意度阈值时，满意度结果为一般。例如，可以设定高于0.1为满意，低于-0.1为不满意，-0.1-0.1之间为一般。其中，满意阈值、不满意阈值均可适应性调整。

本公开的一种人脸表情分析方法和系统及满意度分析方法和系统，利用了用户表情的完整视频信息，充分考虑了人脸表情的波动，并充分考虑了用户个体的自然状态差异，基于频次分析获取对应自然状态的基准线，能够确定用户真实的情绪。根据用户的基准线设定对应自然状态的基准区间，避免全程为积极表情或消极表情的情况。通过基准区域实现用户的情绪分层，并对用户视频片段的时间段划分权重，综合考虑了用户的情绪种类和时间权重，能够更为准确地确定用户的满意度。

本公开还涉及一种电子设备，包括服务器、终端等。该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；以及与存储介质通信连接的通信组件，所述通信组件在处理器的控制下接收和发送数据；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行以实现上述实施例中的人脸表情分析方法和人脸表情满意度分析方法。

在一种可选的实施方式中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸表情分析方法和人脸表情满意度分析方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的人脸表情分析方法和人脸表情满意度分析方法。

上述产品可执行本申请实施例所提供的人脸表情分析方法和人脸表情满意度分析方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的人脸表情分析方法和人脸表情满意度分析方法。

本公开还涉及一种计算机可读存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的人脸表情分析方法和人脸表情满意度分析方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本领域技术人员应理解，尽管已经参考示例性实施例描述了本公开，但是在不脱离本公开的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本公开的实质范围的情况下，可进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开不限于所公开的特定实施例，而是本公开将包括落入所附权利要求范围内的所有实施例。