一种基于语义相关多模态映射方法的零样本图像分类方法

摘要

一种基于语义相关多模态映射方法的零样本图像分类方法，首先输入：训练数据的视觉特征矩阵、训练数据的辅助信息矩阵、权重参数、公共映射空间的维数、待测试数据的视觉特征，以及测试数据的辅助信息矩阵，进行如下步骤：计算训练数据中每两个类别之间的语义相似度；构建矩阵A；由矩阵A构造矩阵L；在训练数据的每个类别中，计算每两个图像在视觉空间中的距离之和；构造矩阵D；分别计算本征矢量P和Q；计算从视觉空间映射到公共空间的映射矢量，计算从辅助信息空间映射到公共空间的映射矢量；得到测试数据的分类结果。本发明使各个类别在公共空间中具有类内紧致性和类间分离性，本发明方法法在零样本图像分类中可以取得更高的准确率，简单易行，效果优良。