基于增强CNN和跨层LSTM的表情识别系统与方法

摘要

本发明公开了一种基于增强CNN和跨层LSTM的表情识别系统与方法，系统包括特征增强CNN模块、跨层LSTM模块和全连接层，特征增强CNN模块与跨层LSTM模块级联进行端到端训练；特征增强CNN模块在骨干CNN网络的中间层引出一条特征增强支路，并将特征增强支路的输出与骨干CNN网络的输出融合；跨层LSTM模块在至少两层LSTM网络级联的基础上，将特征增强CNN模块的输出输入到第一层LSTM网络，同时将特征增强CNN模块的输出跨接到后层LSTM网络的输入端。本发明有助于获取准确的视频序列表情时间信息，有效提高非约束人脸表情识别的准确率，在人机交互、智慧教育、病人监护等领域具有广大应用前景。