一种基于决策层融合的多模态情感识别方法

摘要

设计了一种软硬结合的多模态情感识别系统,使用语音和面部表情两个模态,通过梅尔频率倒谱系数与卷积神经网络对情感进行识别和分类,同时将语音情感识别迁移到神经网络计算棒以降低环境负载.在模态融合时,采用决策层融合的方式来提高识别准确率.实验结果表明,系统拥有较高的识别准确率,且能够在性能较差的运行环境中保持运行速度.