一种基于视觉和音频内容相关度挖掘的视频推荐方法

摘要

本发明公开了一种基于视觉和音频内容相关度挖掘的视频推荐方法，该方法通过分析视频的视觉和音频内容挖掘视频之间的相关度。考虑现有的视频特征表示不是专门针对推荐任务设定的，本发明提出级联多特征融合映射网络对现有视频特征进行映射，并通过负样本增强三元损失函数训练模型，最终得到更适合视频推荐任务的二级特征表示，从而更好的衡量视频之间的相关度。为了充分挖掘视频的内容特征，本发明还提出特征交叉门控融合模块有效地对视频视觉和音频特征进行融合，该模块通过类似注意力机制衡量不同特征之间的交互作用，通过权重来加强特征中的重要信息，剔除冗余信息。本发明方法可以有效地解决视频的冷启动问题，并能够有效提高视频推荐性能。