一种基于多粒度层级网络的跨模态关联学习方法

摘要

本发明涉及一种基于多粒度层级网络的跨模态关联学习方法，包括以下步骤：1.建立包含多种模态类型的跨模态数据库，并将该数据库中的数据分为训练集、验证集和测试集，对数据库中不同模态数据进行分块处理，提取所有模态原始数据以及分块后数据的特征向量。2.利用原始数据和分块后的数据训练多粒度层级网络结构，为不同模态数据学习统一表征。3.利用训练好的多粒度层级网络结构，得到不同模态数据的统一表征，进而计算不同模态数据的相似性。4.取测试集中的任意一种模态类型作为查询模态，以另一种模态类型作为目标模态，计算查询样例和查询目标的相似性，根据相似性得到目标模态数据的相关结果列表。本发明能够提高跨模态检索的准确率。