面向社会图像的跨模态图像-标签相关度学习方法

摘要

本发明属于跨媒体相关性学习技术领域，具体为面向社会图像的跨模态图像‑标签相关度学习方法。本发明包括三个主要算法：多模态特征融合、双向相关度度量、跨模态相关度融合；本发明以超图为基本模型对整个社会图像数据集来进行描述，并分别将图像和标签映射为超图节点来进行处理，得到针对图像的相关度和针对标签的相关度，进而通过跨模态融合方法来将两种不同的相关度进行融合得到一种更好的相关度。较之于传统方法，本方法准确性高，适应性强。这对于在大规模弱标注的社会图像基础上，考虑多模态语义信息而进行高效社会图像检索具有重要的意义，能够提高检索相关性，增强用户体验，在跨媒体信息检索领域具有广泛的应用价值。