基于联合学习与光流估计的面部动作单元识别方法及装置

摘要

本发明公开了一种基于联合学习与光流估计的面部动作单元识别方法及装置，先从视频数据中抽取模型训练所需要的原始图像对组成训练数据集，再对原始图像对进行预处理得到扩增图像对，再构建卷积神经网络模块I提取扩增图像对的多尺度区域特征，再构建卷积神经网络模块II提取扩增图像对的静态全局特征，再构建卷积神经网络模块III提取扩增图像对的光流特征，最后构建卷积神经网络模块IV融合静态全局特征和光流特征进行面部动作单元识别。本发明采用端到端的深度学习框架联合学习动作单元识别和光流估计，利用任务间的关联性促进动作单元识别，能够有效识别面部肌肉在二维图像中的运动情况，实现统一的面部动作单元识别系统构建。