一种考虑局部时空特性和全局时序线索的面部表情识别方法

摘要

本发明公开了一种考虑局部时空特性和全局时序线索的面部表情识别方法，包括：首先，基于人脸识别技术处理原始视频得到只包含面部区域的视频，并将视频平均分为一定数量的片段；其次，提出一个基于超级图像的时空卷积模型，以采样每个片段的视频帧为输入，利用2D卷积实现视频片段的局部时空特征提取，同时获取不同时刻片段的情感状态向量，有效降低模型训练参数，提升训练速度；最后，提出一个双流长短时记忆模型，考虑了情感表达的时序变化关系和片段级局部时空特征的时序关系，二者相融合提高面部表情识别性能。本发明简单且易于实现，与目前普遍存在的识别模型结构相比，模型参数量降低，同时保证了面部表情识别的有效性。