基于对偶学习生成对抗网络的跨模态泛化零样本检索方法

摘要

本发明提出了一种基于对偶学习生成对抗网络的跨模态泛化零样本检索方法，该方法基于对偶学习构建生成对抗网络，将不同模态的高维视觉特征映射到共同的低维的语义嵌入空间，然后构造多种约束机制进行循环一致性约束，生成对抗约束和分类器约束，以维持视觉‑语义一致性和生成特征‑源特征一致性，经过整个网络训练后进行跨模态检索，使得模型在泛化零样本检索问题上性能更为强大。同时，整个训练过程不需要像素级上成对的多媒体数据对作为训练样本，只需要类别上成对的数据，以减少数据集收集的繁琐度和昂贵成本，检索效果更优，在零样本泛化检索问题中性能提升更为明显。