基于配对排序损失的文本多标签学习算法

摘要

文本多标签学习是一项重要的自然语言处理任务,是对信息进行有效管理的一项关键技术.该任务需同时考虑到对文本和多标签进行建模.基于此,论文首先利用预训练语言模型BERT对文本序列进行特征提取,然后采用配对排序损失作为模型训练的目标函数,以对多标签之间的排序关系进行建模.最后为得到更精准的预测结果,加入了辅助的标签阈值学习.考虑到基于铰链函数的排序损失存在训练困难的现象,为此论文采用了一种光滑的替代损失,并从理论上验证了其有效性.在真实文本数据集上的实验表明,本文提出的算法能提供更好的性能从多标签分类和排序两方面.