基于神经网络和迁移学习的多模态情感识别方法、系统

摘要

本发明涉及多模态情感计算领域，提出了一种基于神经网络和迁移学习的多模态情感识别方法、系统，旨在解决情感数据难以获取且标注困难，使得相应识别模型不能够充分训练，造成多模态情感识别准确率不能满足需求的问题，该方法基于大规模数据训练深度神经网络并通过迁移学习获取音频特征提取器、视频特征提取器，进而对多模态情感数据进行音频特征、视频特征的提取，从而识别各语音情感类别的概率、各视频情感类别的概率，并通概率值判断最终情感类别。该方法可以有效的融合音视频两个模态，提高了多模态情感识别的准确率。