一种基于知识图谱和跨模态注意力的多模态反讽检测方法

摘要

本发明公开了一种基于知识图谱和跨模态注意力的多模态反讽检测方法。本发明根据Bert模型构建跨模态注意力特征向量，以及运用多模态知识图谱来获取外部信息，并对外部信息进行筛选。跨模态注意力构建的是音频信息与文本句信息以及情感值向量三者的关系，通过音频信息向量与情感值向量之间的联系与影响来计算注意力，以此来关注句中的矛盾表达。而外部知识信息的筛选，则是运用文本抽取的信息与知识图谱检索的外部信息相似度进行。最后将获取的各个类型的特征向量，输入到分类层进行分类。本发明能够很好解决了不同模态信息的融合问题，能够关注句内的矛盾也能提取不同模态的不一致性特征，能够提高反讽检测任务的准确性。