基于CLIP模型的跨模态哈希检索研究

摘要

随着移动互联网的快速发展,不同种类的媒体数据在互联网上迅速增长,如何快速高效地检索不同模态数据成为了人们关心的问题。目前,预训练模型在学习文本和视觉特征上的表现让人印象深刻。使用对比性语言-图像预训练(Contrastive Language-Image Pre-Training,CLIP)模型作为主干网络执行多模态哈希检索任务,预先对齐不同模态的语义信息,再选取合适的目标函数,并使用有监督训练的方法,在此基础上提出简单、高效的CLIP2CMH模型。在两个基准数据集上的实验表明,该算法可以在跨模态哈希检索领域表现出良好性能。