结合显著特征筛选和ViT的面部表情识别方法

摘要

真实的人机交互场景中,人的动态行为(转头、行走等)以及不稳定的光源,会导致面部细节特征无法有效提取,从而降低面部表情识别的准确率。针对该问题,提出了一种结合显著特征筛选和视觉转化器(ViT)的优化模型。采用加权求和光照归一化方法对原图进行亮度平衡,并利用卷积神经网络提取面部特征;使用显著特征筛选模块聚合面部局部-全局上下文信息;应用多层Transformer编码器来加强面部特征之间的关联性;最后采用Softmax函数对面部表情结果进行预测。实验结果表明,该网络模型在RAF-DB、FERPlus和AffectNet数据集上取得了良好的性能。