一种基于文本树局部匹配的图文跨模态检索方法及系统

摘要

本发明公开了一种基于文本树局部匹配的图文跨模态检索方法及系统，该方法包括：获获取数据集并对数据集进行预处理和划分，得到训练集；将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征；根据文本特征生成文本树；根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型；获取待测数据并输入至跨模态检索模型，得到检索结果。该系统包括：预处理模块、特征提取模块、树生成模块、模型训练模块和检索模块。通过使用本发明，实现跨模态检索，具有高可解释性和高检索精度的优点。本发明可广泛应用于图文匹配领域。