基于注意力的音频和歌词的多模态音乐风格分类方法

摘要

本发明涉及音乐风格分类技术领域，涉及一种基于注意力的音频和歌词的多模态音乐风格分类方法，步骤如下：一、数据获取；二、音频预处理：先对音频数据采取Mel频谱特征提取，然后经过CNN网络得到音频特征；三、歌词预处理：先进行BERT预训练得到词向量，然后经过HAN网络得到歌词特征向量；四、attention模间融合：通过Attention模间融合，将获取的音频和歌词特征，进行交互融合获取融合的Attention注意力向量，再与音频和歌词特征向量拼接，获得包含音频和歌词各自模态特征，以及模态间融合特征的音乐风格特征；五、经过softmax层进行分类。本发明能较佳地对数据进行学习和分类。