面部表情识别

摘要： 由于在包含表情的视频数据集中存在大量与表情特征无关的视频帧,使得模型在训练中学习到大量无关信息,导致识别率大幅下降,因此如何令模型自主地选择视频关键帧成为研究的关键。在已有的视频表情识别方法中,大多没有考虑关键帧和非关键帧对模型训练效果的影响,为此提出了一种基于注意力机制与GhostNet的人脸表情识别(FSAGN)模型。通过自注意力机制与帧选择损失计算不同帧的权重,根据权重自主选择视频序列的关键帧。此外,为减少模型参数、降低模型的训练成本,将传统的特征提取网络替换为训练参数较少的GhostNet网络,并与注意力机制结合,分别在CK+和AFEW数据集中进行了实验,得到的最高识别率分别为99.64%和52.31%,分类正确率具有竞争力,适用于对视频序列较长且在视频序列中表情特征分布不均匀的面部表情识别。

摘要： 传统CNN对重要通道特征关注不足,制约面部表情识别准确率。文章将通道注意力机制应用到面部表情识别中,即将通道注意力模块嵌入到卷积网络中。在Fer2013和CK+表情数据集上的验证结果表明,该方法有较高的识别率。

摘要： 面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。

摘要： 现有面部表情识别方法提取表情特征时通常容易与其它面部属性混合,不利于面部表情的识别.对此,文中提出结合自注意力特征过滤分类器和双分支生成对抗网络的面部表情识别方法.首先,使用双分支生成对抗网络学习辨别性的表情表示,提出自注意力特征过滤分类器作为表情的分类模块.使用级联的LayerNorm和ReLU将低激活单元归零并保留高激活单元,生成多级特征.使用自注意力融合输出多级特征的预测结果,在一定程度上消除噪声对识别结果的影响.然后,提出基于滑动模块的双重图像一致性损失监督模型,学习具有辨别性的表情表示,使用滑动窗口计算重构损失,关注细节信息.最后,在CK+、RAF-DB、TFEID、BAUM-2i数据集上的实验表明文中方法识别效果较优.

摘要： 由于现实生活场景差异大,人类在不同场景中表现的情感也不尽相同,导致获取到的情感数据集标签分布不均衡;同时传统方法多采用模型预训练和特征工程来增强与表情相关特征的表示能力,但没有考虑不同特征表达之间的互补性,限制了模型的泛化性和鲁棒性。针对上述问题,提出了一种包含网络集成模型Ens-Net的端到端深度学习框架EE-GAN:一方面考虑了多个异质网络获得的不同深度和区域的特征,实现不同语义、不同层次的特征融合,并通过网络集成以提高模型的学习能力;另一方面,基于对抗生成网络生成具有特定表情标签的面部图像,在进行数据增强的同时,达到平衡表情标签数据分布的目的。在CK+、FER2013和JAFFE数据集上的定性和定量实验验证了所提方法的有效性:相较于局部保留投影方法(LPP)在内的基于视图学习的方法,EE-GAN面部表情识别的准确率最高,分别达到了82.1%、84.8%和91.5%;同时,和AlexNet、VGG、ResNet等传统卷积神经网络(CNN)模型相比,准确率最少提高了9个百分点。

摘要： [研究目的]为研究学术信息搜索行为的探索式搜索特征与行为规律,结合面部表情识别与眼动追踪技术,分析学术信息探索式搜索行为的搜索过程以及探索式浏览阶段、集中搜索阶段的情感特征与眼动特征。[研究方法]首先通过用户实验得到29名被试的实验数据,综合运用Tobii眼动仪、前置摄像头拍摄并结合录屏分析、用户访谈分别得到被试的眼动数据、面部表情数据和搜索过程行为数据。通过深度卷积神经网络算法识别表情数据,并结合python分析眼动数据,最后运用SPSS对结果进行统计分析。[研究结论]根据负面表情占比,可将学术信息搜索过程中用户的情感变化过程分为稳定型、先增后减型、递增型、递减型四种;在探索式浏览阶段存在快速浏览行为与细致浏览行为,快速浏览行为偏向于目标筛选,而细致浏览偏向于阅读与学习;探索式搜索过程顺利程度会影响搜索过程中的深阅读行为和浅阅读行为。在研究方法上尝试通过识别面部表情进行信息搜索行为的情感研究,在应用层面上分析探索式搜索特征,其结论有利于指导用户搜索过程,提高搜索学习效率。

摘要： 针对野外复杂环境下面部表情特征不一致导致识别率低的问题,提出一种基于卡方距离度量学习的凸优化算法用于面部表情识别。将卡方距离引入KNN分类技术中用于度量学习优化的损失函数,采用随机梯度下降法求解修正的凸优化损失函数,为避免过度拟合训练数据,算法将Dropout技术用于度量学习,使用特征权重系数,调整不同特征对表情识别的贡献度。实验结果表明,相比其它算法,所提算法在面部表情识别中更具优势,提高了面部表情识别准确度。

摘要： 现有方法识别精度受到大量与表情识别无关特征的影响,提出一种利用改进型GAN网络的面部表情识别。采用非对称局部二值模式提取特征;设计特征分离模型的改进Exchange-GAN网络,通过部分特征交换和约束实现表情相关特征和表情无关特征的分离,经过GAN分析实现面部表情识别;改进判别器与特征提取器间的对抗训练和内容训练,提高特征提取能力和面部表情识别的准确率。在3种数据集上对所提方法进行实验论证,其结果表明,该方法能够实现快速收敛,以FER2013数据集为例,其识别准确率较其它对比方法,分别提高了5.85%、4.13%和3.68%,具有较高的鲁棒性。

摘要： 采用实验法探讨面部表情类型、强度和加工方式对孤独症儿童情绪理解的影响机制。20名孤独症儿童参加了正式实验。结果表明:(1)孤独症儿童对不同面部表情的识别存在差异;(2)孤独症儿童对整体面部表情的正确识别率显著好于局部面部表情的正确识别率;(3)孤独症儿童对高强度面部表情的正确识别率显著好于低强度面部表情的正确识别率;(4)孤独症儿童面部表情加工方式和面部表情强度存在交互影响。在整体加工方式下,100%强度的表情识别正确率显著高于50%强度的表情识别正确率,在局部加工方式下,100%强度的表情识别正确率与50%强度的表情识别正确率差异不显著。结论:孤独症儿童情绪理解受到面部表情类型、强度和加工方式的影响。

摘要： 面部表情识别是人机交互领域的重要核心,丰富的面部表情特征是提高面部表情识别率的关键之一。正交差分局部二值模式(Orthogonal difference-local binary pattern,OD-LBP)和方向梯度直方图(Histogram of Oriented Gradient,HOG)的融合特征可以很好地表达出面部表情的局部和全局特征信息,但是没有考虑到面部不同部分对表情识别贡献程度不同。因此提出了一种先对人脸图像中的面部表情敏感区域提取OD-LBP特征,再将人脸图像均匀分块并提取HOG特征,计算每子块的改进空间频率值对HOG特征加权,然后与OD-LBP特征融合形成新的特征,并利用主成分分析(Principal Component Analysis,PCA)降维,最后利用分类器中的支持向量机(Support Vector Machine,SVM)完成特征分类的面部表情识别方法。基于Pycharm平台,在表情数据集JAFFE和CK上验证该算法的有效性。仿真实验结果表明,该算法的表情识别率分别为95.4%和96.9%,较未考虑区域重要性的融合特征的识别率提高了2.2%和2.1%,且在不同姿态、光照条件下具有良好的鲁棒性。

摘要： 隧道内光环境与驾驶员的视觉体验关系密切.本文基于现场测试数据,根据某隧道照明需要建立了多种隧道照明工况,引入面部表情识别技术,将隧道充分照明工况与非充分照明工况进行对比,找出隧道内光参数与驾驶员紧张情绪占比之间的对应关系.结果表明:隧道内的照明环境与驾驶员的紧张情绪呈现明显负相关;隧道路面照度下降的速率与其对应的驾驶员紧张情绪升高的速率不一致,适当降低隧道内的照明工况,对驾驶员紧张情绪的改变不大,但却能大大降低了隧道内的照明能耗;驾驶员紧张情绪与路面照度之间存在一临界值,即紧张情绪阈值,在没有达到紧张情绪阈值时,驾驶员紧张情绪变化小,当达到紧张情绪阈值后,驾驶员紧张情绪变化大.

摘要： 为考察聋哑人在四种基本情绪和不同面部线索下面部表情识别的特点,选取聋哑人与正常人被试各30名,让其在观看在三种面部线索下的四种基本情绪图片,完成面部表情识别实验测试.结果表明:(1)聋哑人完整面部线索识别开心、悲伤、愤怒与害怕四种表情的正确率显著优于在单独眼睛线索以及单独嘴巴线索下的表情识别的正确率,而在单独眼睛线索与单独嘴巴线索下情绪识别的正确率没有显著差异.(2)聋哑人在完整面孔线索下面部表情识别正确率显著优于正常人,而在单独眼睛线索和单独嘴巴线索下,聋哑人与正常人在面部表情识别上的正确率无显著差异.(3)聋哑人时害怕这一基本情绪的识别正确率优于正常人对这一情绪的识别正确率,而在开心、愤怒和悲伤三种情绪的识别上并不存在显著差异.(4)聋哑人在愤怒和害怕两种情绪下,更倾向于通过眼睛线索来进行识别面部表情.

摘要： 本文提出了一种基于支持向量机(SupportVectorMachine,SVM)的面部表情识别方法.首先,从每幅人脸图像中提取34个基准点,并选用这些基准点的坐标作为刻画面部表情变化的数据;然后采用SVM作为分类器来进行面部表情的分类.通过对国际上较为流行的JAFFE(JapaneseFemaleFacialExpressionDatabase)面部表情数据库的实验验证了本方法的可行性.

摘要： 随着科技的发展,追求效率成为时代的首要要求.传统的教学方式已无法满足现代对教学效率的要求,之前是教师进行观察和提问与学生进行交互,但往往会因为个人精力的不足造成消息的片面性.结合现在智能化监控设备,捕捉到学生面部表情并做出相应的识别,与此同时还能判断出学生所处的学习状态,将结果及时地反馈给教师,帮助教师掌握学生目前状态,以便做出适当的调整.

摘要： 随着科技的发展,追求效率成为时代的首要要求.传统的教学方式已无法满足现代对教学效率的要求,之前是教师进行观察和提问与学生进行交互,但往往会因为个人精力的不足造成消息的片面性.结合现在智能化监控设备,捕捉到学生面部表情并做出相应的识别,与此同时还能判断出学生所处的学习状态,将结果及时地反馈给教师,帮助教师掌握学生目前状态,以便做出适当的调整.

摘要： 随着科技的发展,追求效率成为时代的首要要求.传统的教学方式已无法满足现代对教学效率的要求,之前是教师进行观察和提问与学生进行交互,但往往会因为个人精力的不足造成消息的片面性.结合现在智能化监控设备,捕捉到学生面部表情并做出相应的识别,与此同时还能判断出学生所处的学习状态,将结果及时地反馈给教师,帮助教师掌握学生目前状态,以便做出适当的调整.

摘要： 随着科技的发展,追求效率成为时代的首要要求.传统的教学方式已无法满足现代对教学效率的要求,之前是教师进行观察和提问与学生进行交互,但往往会因为个人精力的不足造成消息的片面性.结合现在智能化监控设备,捕捉到学生面部表情并做出相应的识别,与此同时还能判断出学生所处的学习状态,将结果及时地反馈给教师,帮助教师掌握学生目前状态,以便做出适当的调整.

摘要： 人脸表情可以被看作是由面部表情编码系统（FACS）定义的不同面部运动单元的组合。不同于人脸图像的灰度、纹理等表象特征，基于面部运动单元的表情混合特征能够更准确地描述表情，然而，面部运动单元很难精确定位，为了避免这个问题，在前人的工作中通过将图像分成许多子块，并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征。在此基础上，本文首先通过对人脸图像的眼睛和嘴巴作粗定位，接着根据眼睛和嘴巴的水平位置，提取眼睛区域、嘴巴区域和鼻子区域的图像子块，然后对每个子块提取Haar 特征，并采用错误率最小策略从这些子块中选出面部运动单元组合特征，最后使用组合特征进行学习得出弱分类器，并嵌入到Boost 学习结构中构造出强分类器。通过在Cohn-Kanada 数据库上的测试，证明本文的方法能够取得很好的表情分类效果。

摘要： 人脸表情可以被看作是由面部表情编码系统（FACS）定义的不同面部运动单元的组合。不同于人脸图像的灰度、纹理等表象特征，基于面部运动单元的表情混合特征能够更准确地描述表情，然而，面部运动单元很难精确定位，为了避免这个问题，在前人的工作中通过将图像分成许多子块，并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征。在此基础上，本文首先通过对人脸图像的眼睛和嘴巴作粗定位，接着根据眼睛和嘴巴的水平位置，提取眼睛区域、嘴巴区域和鼻子区域的图像子块，然后对每个子块提取Haar 特征，并采用错误率最小策略从这些子块中选出面部运动单元组合特征，最后使用组合特征进行学习得出弱分类器，并嵌入到Boost 学习结构中构造出强分类器。通过在Cohn-Kanada 数据库上的测试，证明本文的方法能够取得很好的表情分类效果。

摘要： 人脸表情可以被看作是由面部表情编码系统（FACS）定义的不同面部运动单元的组合。不同于人脸图像的灰度、纹理等表象特征，基于面部运动单元的表情混合特征能够更准确地描述表情，然而，面部运动单元很难精确定位，为了避免这个问题，在前人的工作中通过将图像分成许多子块，并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征。在此基础上，本文首先通过对人脸图像的眼睛和嘴巴作粗定位，接着根据眼睛和嘴巴的水平位置，提取眼睛区域、嘴巴区域和鼻子区域的图像子块，然后对每个子块提取Haar 特征，并采用错误率最小策略从这些子块中选出面部运动单元组合特征，最后使用组合特征进行学习得出弱分类器，并嵌入到Boost 学习结构中构造出强分类器。通过在Cohn-Kanada 数据库上的测试，证明本文的方法能够取得很好的表情分类效果。

摘要： 本发明涉及一种基于表情强度标签分布的面部表情分析方法、装置与计算机可读介质。该方法对人脸图像序列进行自动编码生成表情强度标签，从表情序列中选取中性表情和非中性表情作为输入，采用卷积神经网络对输入数据进行训练得到表情识别模型，根据该表情识别模型输出的联合表情强度分布预测表情图像的类别及所属类别的强度。本发明能够获得表情强度标注的训练数据，从而提高表情识别的正确性和鲁棒性。

摘要： 本发明属于动画制作技术领域，公开了一种基于人脸表情识别的动画角色面部表情生成方法，包括以下步骤：S1，人脸数据集和动画数据集通过情绪识别网络识别人脸和动画角色表情，对人脸和动画数据图片进行匹配；S2，通过深度学习相同表情的人脸图片与角色骨骼参数之间的映射关系，获得动画训练网络；S3，针对视频每一帧的输入，利用网络动画训练网络输出骨骼参数结果；S5，对输入图片进行三维重构，获得角色的运动参数，结合人脸图片的几何信息，对骨骼参数进行优化。相应地，本发明还公开了一种基于人脸表情识别的动画角色面部表情生成系统。本发明通过对嘴部和眼睛等人脸几何特征进行更为精细的控制，提高观众对于角色情绪变化感知程度。

摘要： 本发明涉及一种基于表情强度标签分布的面部表情分析方法、装置与计算机可读介质。该方法对人脸图像序列进行自动编码生成表情强度标签，从表情序列中选取中性表情和非中性表情作为输入，采用卷积神经网络对输入数据进行训练得到表情识别模型，根据该表情识别模型输出的联合表情强度分布预测表情图像的类别及所属类别的强度。本发明能够获得表情强度标注的训练数据，从而提高表情识别的正确性和鲁棒性。

摘要： 本申请涉及一种基于面部表情编码系统的表情识别方法、系统及电子设备。所述方法包括：步骤a：采用人脸识别技术从图片或视频数据中提取人脸部分；步骤b：根据脸部动作编码系统对提取的人脸部分进行脸部动作编码识别；步骤c：将脸部动作编码识别结果输入表情分类网络进行分类，得到表情识别结果。本申请在表情识别中使用了面部肌肉编码系统，大幅提高了相似表情的分辨能力、对光照、姿态等的鲁棒性，大幅提高人类表情的识别准确率。

摘要： 本发明公开了一种跨数据集面部表情识别模型构建方法以及识别方法，通过自适应非负加权矩阵约束训练表情图像的重建误差，加强了图像数据表示中重要特征的作用并减少了具有重大重建误差的无用特征。另外通过映射矩阵将训练集投影到适当的子空间中，可以更好地揭示跨数据集图像样本之间的内在相似关系，从而使基于低秩与稀疏表示的子空间能够学习鲁棒的重建图像以便于实现最终的跨数据集面部表情识别。

摘要： 本发明实施例公开了一种基于面部动作单元的面部表情识别方法和装置，其中，所述方法包括：利用人脸关键点检测技术对采集的含有人脸区域的图片数据进行预处理，将人脸区域细分成若干个面部动作单元触发区；利用预设的三维卷积神经网络识别模型对所述面部动作单元进行识别，获得面部动作单元的特征；将获得的面部全局特征与所述面部动作单元的特征进行特征融合，获得面部表情融合特征；将所述面部表情融合特征输入到预设的高斯过程分类器，利用所述高斯过程分类器对人脸面部表情进行识别，输出面部表情识别结果。采用本发明所述的方法，能够基于面部动作单元进行表情识别，更有利于微小表情的识别，提升了面部表情识别性能和鲁棒性。

摘要： 本发明涉及一种基于AI识别的面部表情识别方法与系统，包括：利用待检测图像进行预处理得到待检测预处理图像；利用所述待检测预处理图像进行面部表情识别得到面部表情识别结果，利用待检测图像进行背景去噪处理得到初始待检测图像；利用所述初始待检测图像进行图像灰度化处理得到待检测预处理图像，基于实际应用场景对所选的神经网络进行处理，并对采集的图像进行去干扰处理，避免其他数据对识别过程进行影响，提升识别率，加快识别速度。

摘要： 本发明公开了一种基于深度学习的多人面部表情识别方法和识别系统，其中识别方法包括步骤：1、建立表情识别模型；2、构建训练样本集，对表情识别模型中的参数进行训练；3、待识别图像采用MTCNN网络检测图中的人脸，得到待识别图像中人脸窗口；将检测出的人脸区域输入训练好的表情识别模型中进行识别，得到待识别图像中每个人脸的表情分类结果。该识别方法将深度学习应用到表情识别，能快速完成多人面部表情识任务，且识别率高。

摘要： 本发明公开了一种跨数据集面部表情识别模型构建方法以及识别方法，通过自适应非负加权矩阵约束训练表情图像的重建误差，加强了图像数据表示中重要特征的作用并减少了具有重大重建误差的无用特征。另外通过映射矩阵将训练集投影到适当的子空间中，可以更好地揭示跨数据集图像样本之间的内在相似关系，从而使基于低秩与稀疏表示的子空间能够学习鲁棒的重建图像以便于实现最终的跨数据集面部表情识别。

摘要： 本实用新型公开了一种基于动作识别的人体面部表情识别系统，包括有主机、接入主机的显示器，还包括有置于显示器前方的识别装置，识别装置包括有可升降的支架，支架上安装有一块挡板，挡板上挖有一个供人体伸入头部的孔，识别装置的前方的显示器上设置有图像采集盒，图像采集盒内置有彼此双向通讯连接的FPGA、DSP，图像采集盒侧壁上设置有对准人脸的摄像头，摄像头通过信号线接入FPGA，DSP通过I2C/SPI总线与摄像头连接，DSP还通过USB总线与主机通讯连。本实用新型具有表情识别精度高、语义分析准确等优点，提高了表情识别的质量和速度。