基于图文注意力融合的主题标签推荐

摘要

为了解决社交媒体平台上的信息超载问题,帮助用户快速捕捉所需信息,对基于多模态内容的标签推荐问题进行研究。针对不同模态间的异质性差异,采用共注意力机制进行跨模态内容的特征建模与融合;针对多标签分类方法只能推荐出数据集标签空间中标签的不足,采用Seq2Seq框架生成新的标签序列,并通过一种聚合策略将分类方法的推荐结果聚合到生成的标签序列中,得到2种方法的统一推荐模型。在大规模数据集上的实验结果表明:多模态方法比单模态方法更具优势,所提出的统一推荐模型的F1值比仅使用单模态的对比模型高9.44百分点;生成新标签序列的方法也优于传统的分类方法,所提出的标签序列生成模型的F1值比对比模型COA高3.41百分点;所提出的统一推荐模型UNIFIED-CO-ATT的F1值比GEN-CO-ATT模型高1.25百分点,其效果优于其他对比模型。所提出的模型综合了分类方法和生成方法的特点,可以使推荐的标签同时具有准确性和新颖性。