深度联合语义跨模态哈希算法

摘要

哈希检索具有存储消耗低、查询速度快等优点,被广泛应用于跨模态检索研究,其中基于深度学习的跨模态哈希方法是热点研究问题.大多数深度哈希方法通常在多模态数据的特征关联性学习过程中忽略了数据内容的潜在相关性和语义判别性,从而导致哈希码的关联性不强,容易造成原始数据特征和神经网络特征的不兼容问题.针对以上问题,本文提出一种图像-文本深度联合语义哈希算法(Deep Joint-Semantic Hashing,DJSH).该方法使用两个神经网络分别提取图像和文本的细粒度特征,并为每个模态网络设计了哈希层和标签层,分别用于特征学习和标签预测.一方面,通过特征学习模块进行跨模态数据的深度特征学习,提出能够增强数据内容相似度和平衡数据分布的联合语义特征损失,同时基于拉普拉斯约束的图近邻结构能够保留原始数据的相似度排序;另一方面,通过引入标签预测和标签对齐技术,将有判别力的标签信息融入到图像与文本的跨模态网络学习中,确保哈希码的每一位具有不同类别的判别信息.在MIRFLICKR25K、NUS-WIDE和IAPR-TC12三个基准数据集上的实验结果表明,该模型较近年来先进的跨模态检索模型,具有更好的检索效果.