基于多模态深度学习的音乐情感分类算法

摘要

针对现有算法仅考虑音乐或视频单模态特征,分类效率低下的问题,本文提出了基于多模态深度学习的音乐情感分类算法。首先设计了二维音频卷积神经网络,该网络将音频梅尔谱图作为输入,以学习音乐的音频特征;其次,设计了视频神经网络,以学习音乐视频的时空特征;采用多模态融合技术,将音频和视频特征融合,设计了多模态深度学习分类算法对音乐的情感进行分类。针对缺乏已标记音乐视频数据集的问题,本文构建了一个具有多样性的音乐视频数据集。基于该数据集进行实验,以验证所提出算法的有效性,并对比分析了不同优化器对单模态分类模型性能的影响。实验结果表明,与单模态情感分类器相比,多模态分类器能实现最佳的分类性能。