一种基于注意力CNN Bi-GRU融合视觉信息的语音情感识别方法

摘要

本发明公开了一种基于注意力CNN Bi‑GRU融合视觉信息的语音情感识别方法，包括步骤：S1，将语音信号经过预处理得到三维对数梅尔谱图；S2，利用三维对数梅尔谱图预训练3DRACNN语音网络提高泛化能力；S3，通过CNN和AGRUs分别提取面部静态外观特征和几何特征；S4，为了降低语音特征识别率低的问题，采用融合模型将语音特征依次与面部特征进行融合得到混合特征，并由KLDA过滤无关特征；S5，在模型训练的过程中通过更新参数最小化损失，同时通过算法进行优化，最后由softmax层进行情感分类。本发明能够有效解决情感识别模型识别率低以及泛化能力弱的问题，提高识别准确率和鲁棒性。