基于多流CNN-LSTM网络的群体情绪识别

摘要

针对群体情绪识别准确率的问题,结合卷积神经网络(CNN)与长短期记忆网络(LSTM),提出一种多流CNN-LSTM网络模型学习群体情绪的静态和动态特征.以视频序列的原始图像、视觉显著图形和叠加的光流图像分别作为三个通道的输入,利用CNN网络对空间特征和局部运动特征进行分析,得到的特征图直接输入LSTM网络,进行全局运动特征的学习.最后连接Softmax分类器,对三个通道的Softmax输出进行加权融合,得到分类结果.实验结果表明,模型可有效地识别四种典型的群体情绪,且识别率高于已有算法,准确度(ACC)和宏平均精度(MAP)分别最高可达82.6％、84.1％.