一种基于多模态注意力机制的跨模态哈希方法及系统

摘要

本发明属于多模态注意力机制和跨模态哈希网络融合领域，提供了一种基于多模态注意力机制的跨模态哈希方法和系统。该方法包括：训练过程和检索过程，训练过程：将相同语义的图像文本对以及其所属的类标签输入到多模态注意力机制的跨模态哈希网络模型中进行训练，直至多模态注意力机制的跨模态哈希网络模型收敛，得到训练好的多模态注意力机制的跨模态哈希网络模型；检索过程：将待查询的图像或文本输入训练好的多模态注意力机制的跨模态哈希网络模型，根据相似度的大小，得到检索到的前k个文本或图像。