基于多模态视频内容和多任务学习的视频推荐方法

摘要

本发明公开了一种基于多模态视频内容和多任务学习的视频推荐方法，包括步骤：通过经预训练的模型提取短视频的视觉、音频、文本特征；采用注意力机制方法对视频多模态特征进行融合；采用深度游走方法学习用户社会关系的特征表示；提出基于注意力机制的深度神经网络模型学习多域特征表示；基于上述步骤生成的特征嵌入作为多任务模型的共享层，再分别通过多层感知机生成预测结果。本发明利用注意力机制结合用户特征对视频多模态特征进行融合，使得整个推荐更加丰富和具有个性化；同时，针对多域特征，考虑到交互特征在推荐学习中的重要性，提出一种基于注意力机制的深度神经网络模型丰富了高阶特征的学习，为用户提供更加精准的个性化视频推荐。