一种基于多模态特征合成的零样本跨模态检索方法

摘要

本发明公开了一种基于多模态特征合成的零样本跨模态检索方法，利用两个对抗生成网络，通过两个模态数据共享的类别嵌入来合成不同模态的特征表示，然后将原始的模态数据和合成的模态数据映射到共同子空间并对齐分布。从而建立同一类别不同模态数据之间的联系并将知识迁移到未见过的类。循环一致性约束进一步减小了原始语义特征和重构语义特征之间的差异，很好地建立了每个模态中原始表示和语义特征之间的关联，使得共同语义空间更具鲁棒性，提高了零样本跨模态检索的准确度。