基于双判别生成对抗网络文本重构的零样本图像分类方法

摘要

一种基于双判别生成对抗网络文本重构的零样本图像分类方法：分别提取视觉特征和文本语义特征；构建图像与文本属性的联合匹配，得到双判别生成网络对抗文本重构模型；利用交叉熵度量合成视觉样本与训练图像视觉特征之间的相关度，将所述双判别生成网络对抗文本重构模型中的重构文本权重损失函数反向传播，即最小化合成视觉样本与训练图像视觉特征之间的重构文本权重损失函数；测试图像通过图像通道输入提取特征后，通过映射网络映射到公共空间；利用双判别生成网络对抗文本重构模型对样本图像进行分类。本发明能够有效对文本描述和其对应的图像进行最大程度匹配，发掘潜在信息，从而达到零样本分类的目的。