一种基于局部表征的面部表情识别算法

摘要

表情是人类内心情感变化的重要体现。当前表情识别方法通常依赖面部全局特征进行处理,忽略局部特征提取。心理学家指出,不同面部表情对应不同的局部肌肉运动区域,以此为动机,提出一种基于局部表征的表情识别算法,简称EAU-CNN。为提取面部的局部特征,该文首先根据获取的人脸68个特征点将整体面部图像划分成43个子区域,随后选择肌肉运动区域与面部显著器官所覆盖的8个局部候选区域作为卷积神经网络的输入。为均衡局部候选区域的特征,EAU-CNN采用8个并行的特征提取分支,每个分支支配不同维全连接层。分支的输出按照注意力自适应地连接,以突出不同局部候选区域的重要程度。最后经Softmax函数,将表情分为中性、愤怒、厌恶、惊讶、高兴、悲伤和恐惧七类。该文在CK+、JAFFE、自定义大型FED数据集上对算法进行了评估实验,所提算法平均准确率分别为99.85%、96.61%、98.29%。该评价指标超过S-Patches算法6.01%、10.17%、6.09%,结果表明局部表征能够提升表情识别性能。