基于类别扩展的广义零样本图像分类方法

摘要

在传统的零样本图像分类方法中,语义属性通常被用作辅助信息来描述各类别的视觉特征.然而,单一的语义属性并不能对类内多样性的视觉特征进行全面的描述.为提高语义属性对类别内部多样性的表示能力,同时也为了帮助模型提高对各类别的描述能力,本文通过属性自编码器的方式在视觉以及语义空间上对类别进行扩展.此外,为了缓解传统生成性方法因无法直接计算生成空间到真实空间的变换而带来的模型次优解问题,本文采用了生成流网络作为基础网络,通过可逆变换直接计算两个空间之间的变换来开展对零样本学习任务的研究.本文使用解码器网络将逆生成流网络为测试样本生成的原型特征解耦成视觉原型及语义原型信息,然后根据这两个原型信息实现将测试样本预分类到可见类集或不可见类集中,最终在这两个子分类空间中根据样本的特点分别进行监督分类和零样本分类任务以提高模型的整体性能表现.本文在五个数据集上通过大量的实验验证了本文所提方法的有效性.