一种对社交媒体多模态信息中讽刺情感识别的方法

摘要

本发明公开了一种对社交媒体多模态信息中讽刺情感识别的方法，充分利用文本、图像和图像属性三种模态来解决具有挑战性的多模态讽刺检测任务。首先提取图像特征和图像属性特征，接着利用图像属性特征与基于RoBERTa的文本预训练网络连接提取文本特征，从而将文本模态、图像模态和图像属性模态的特征重构并融合为一个特征向量对讽刺情感进行预测。本发明在社交媒体的图文信息数据集上有超过1％的准确率提升和超过3％的F1值提升，证明了多模态分层融合模型的有效性和三种模态的实用性，从而充分发挥文本的上下文信息和不同模态间的相互作用。