多通道运动特征融合的微表情识别方法

摘要

针对已有的微表情识别中由于微表情变化幅度不明显,导致细微特征容易在学习过程中丢失,从而使模型的性能受到限制的问题,提出一种基于运动特征的微表情识别方法.首先分析变化幅度相对明显的区域对微表情识别的影响,根据生理学研究对微表情变化相对活跃区域进行局部切割,并使用并行神经网络分别对局部区域和全局区域提取特征;然后采用一种能够提取特征级运动信息的运动特征提取模块从空间特征图中学习到运动特征,将运动特征和空间特征进行聚合,以减少细微特征的丢失;最后将局部特征和全局的聚合特征组合成新的混合特征用于微表情识别.实验结果表明,在MEGC 2019数据集(包含CASMEⅡ,SMIC和SAMM)上,未加权F1分数和未加权平均召回率的结果分别为81.81％和79.01％,与MEGC 2019最好的方法相比分别提高了2.96％和0.77％,该方法具有更好的识别性能.