一种基于多模态联合学习的短视频分类方法及装置

摘要

本发明提供一种基于多模态联合学习的短视频分类方法及装置，包括如下步骤：A、对短视频提取视觉模态特征zv、声音模态特征za和文本模态特征zt；B、分别学习潜在表示特征潜在表示特征潜在表示特征和潜在表示特征C、构建重建损失函数D、得到由标签向量组成的标签特征矩阵P；E、利用Multi‑head Attention得到短视频的最终表示；F、对最终表示做多标签分类，得到分类损失函数H、由重建损失函数和分类损失函数构建目标函数本发明充分利用短视频的模态信息和标签信息，有效解决短视频多标签分类问题，并提高了分类准确度。