基于条件融合的多模态反讽检测方法

摘要

本发明公开了一种基于条件融合的多模态反讽检测方法。本发明具体步骤：步骤1、对需要进行反讽检测的数据文本进行预训练；对数据文本对应的视频和音频进行编码，得到视频特征和音频特征；步骤2、将处理好的数据文本馈送到编码器TE中；将数据的视频特征和音频特征通过多头注意力机制获得与情感相关的语境信息；步骤3、将语境信息以增量参数的形式加入到编码器的层归一化的增益g和偏置b中，将视频、音频特征融合到文本特征中，获得融合后的语义编码；步骤4、将语义编码通过softmax层进行讽刺的极性分类；本发明方法具有更好的鲁棒性和检测能力，解决了评论文本中的反讽检测问题。