弹幕信息协助下的视频多标签分类

摘要

文中探究了弹幕信息协助下的视频多标签分类任务.多标签视频分类任务根据视频内容从不同角度赋予视频多个标签,与视频推荐等应用紧密相关.多标签视频数据集的高标注成本和对视频内容的多角度理解是该研究领域面临的主要问题.弹幕是一种新近出现的用户评论形式,受到了众多用户的欢迎.由于用户参与度高,弹幕视频网站的视频拥有大量用户自发添加的标签,这些标签是天然的多标签数据.文中以此构建了一个多标签视频数据集,并整理出了视频标签间的层级语义关系,该数据集在未来将公开发布.同时,弹幕文本模态包含大量与视频内容相关的细粒度信息,因此在以往视频分类工作融合视觉和音频模态的基础上,引入弹幕文本模态进行视频多标签分类研究.在基于聚类的NeXtVLAD模型、注意力Dbof模型和基于时序的GRU模型上进行实验,在增加弹幕模态后,GAP指标最高提升了23％,证明了弹幕信息对该任务具有辅助作用.此外,还探索了如何在分类中利用标签层级关系,通过构建标签关系矩阵来改造标签,进而将标签语义融入训练.实验结果表明,加入标签关系后,Hit@1指标提升了15％,因此其能优化多标签分类的效果.此外,MAP指标在细粒度小类上提升了4％,说明标签语义的引入有利于预测样本量较少的类别,具有研究价值.