一种基于跨模态自动对齐和预训练语言模型的情感分析方法、系统及设备

摘要

一种基于跨模态自动对齐和预训练语言模型的情感分析方法、系统及设备，它属于机器的多模态感知技术领域。本发明解决了现有情感分析技术需要人工对各模态序列进行对齐标注的问题。本发明对现有大规模预训练语言模型的多模态情感分析方法进行改进，使本发明方法不需要人工的对齐标注，因而适合目前大规模数据量、未对齐的多模态序列场景的情形，极大地提高了其实用性。而且，将本发明提出的方法在公开的最常使用的多模态情感分析的2个数据集上进行验证，结果表明其分类性能较基线系统有很大提高。本发明可以应用于情感分析。