基于空时注意力网络的面部表情识别

摘要

基于视频序列的面部表情识别问题主要有两个特点:空时性和显著性.近年来,许多研究人员利用卷积神经网络、循环神经网络、三维卷积神经网络等深度学习方法处理该问题的空时特性.但是,面部表情的显著性问题却往往被忽视.随着注意力机制在深度学习网络中的应用发展,其能够有效地解决各类任务中的显著性问题.该文将空时注意力机制应用到面部表情识别中,使得深度网络更多地关注空时特征中的显著性.具体地,该文将空间注意力模块嵌入到卷积网络中,以使空域特征更加关注对表情识别重要的区域,将时间注意力模块嵌入到门控循环单元(gated recurrent units,GRU)后,使得时域特征更加关注信息丰富的视频帧.在RECOLA情感数据库上的实验表明,与一般的深度模型相比,该文的深度空时注意力网络显著提高了面部表情识别的性能.