多模深度卷积神经网络应用于视频表情识别

摘要

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能.本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习.其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征.然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务.在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06％和52.18％的正确识别率,明显优于现有文献报导的结果.多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能.