基于多模态自监督深度对抗网络的短视频分类方法及装置

摘要

本发明公开了一种基于多模态自监督深度对抗网络的短视频分类方法及装置，方法包括：以完备模态下的特征表示作为自监督信号重建原始特征，采用生成对抗网络生成缺失的模态信息，弥补原始的模态缺失；引入生成对抗网络的鉴别损失和循环一致损失，利用鉴别器鉴别多头注意力编码网络输出的模态互补特征和完备的模态特征；利用生成器生成的原始模态特征通过多头注意力编码网络进行二次编码，将编码后的特征表示与完备的模态特征表示进行对抗，使编码后的特征表示向完备特征循环；构建由生成对抗网络的鉴别损失、循环一致损失以及分类任务的损失构成的目标函数，并以此来指导网络寻找模型的最优解，实现对短视频的分类。装置包括：处理器和存储器。