基于生成对抗网络和网络集成的面部表情识别方法EE-GAN

摘要

由于现实生活场景差异大,人类在不同场景中表现的情感也不尽相同,导致获取到的情感数据集标签分布不均衡;同时传统方法多采用模型预训练和特征工程来增强与表情相关特征的表示能力,但没有考虑不同特征表达之间的互补性,限制了模型的泛化性和鲁棒性。针对上述问题,提出了一种包含网络集成模型Ens-Net的端到端深度学习框架EE-GAN:一方面考虑了多个异质网络获得的不同深度和区域的特征,实现不同语义、不同层次的特征融合,并通过网络集成以提高模型的学习能力;另一方面,基于对抗生成网络生成具有特定表情标签的面部图像,在进行数据增强的同时,达到平衡表情标签数据分布的目的。在CK+、FER2013和JAFFE数据集上的定性和定量实验验证了所提方法的有效性:相较于局部保留投影方法(LPP)在内的基于视图学习的方法,EE-GAN面部表情识别的准确率最高,分别达到了82.1%、84.8%和91.5%;同时,和AlexNet、VGG、ResNet等传统卷积神经网络(CNN)模型相比,准确率最少提高了9个百分点。