基于深度学习及知识挖掘的零样本图像分类

摘要

在零样本图像分类场景中，已标记训练样本不足以涵盖所有对象类，对于实际应用中出现的新对象类，传统分类器无法对这种训练阶段不可见的新模式进行正确分类。基于属性学习的零样本图像分类通过将属性作为对象类的一种中间表示，实现可见模式与未知新模式之间的知识传递。现有的零样本图像分类方法主要存在以下几种问题：属性学习模型的设计缺少对与属性相关的各种先验知识的利用；属性-类别标签映射中对各属性分类器的分类能力描述不足；没有充分利用属性与图像特征之间的依赖关系等等。基于这些问题，本文主要研究内容为：
　　第一，目前零样本学习中使用的图像特征仍由人工设计提取，分类精度严重依赖于提取特征的质量。针对此问题，提出了基于深度学习特征提取的零样本图像分类模型。首先，利用图像块提取和ZCA白化等技术来降低模型计算复杂度和像素间的相关性；然后，使用栈式稀疏自动编码器学习特征映射，并进一步使用该映射矩阵作为卷积核对图像进行卷积与池化操作；最后，将卷积神经网络提取出的特征用于零样本图像分类。
　　第二，目前零样本学习中各属性分类器的训练仍依赖于人工特征提取和浅层学习模型，对各属性分类器的分类能力描述不足。针对此问题，提出了基于深度加权属性预测的零样本图像分类模型。该模型使用有监督学习方法训练一个深度卷积神经网络并将属性标签纳入网络结构，实现深层次的特征表达及属性预测。此外，通过挖掘属性先验知识对表达能力不同的属性分类器进行加权设计，构建一种直接加权属性预测模型，完成对测试类图像的属性预测和零样本图像分类。
　　第三，目前零样本学习中均不同程度的缺少对属性相关的各种先验知识的刻画，针对此问题，提出了基于类别与属性相关先验知识挖掘的零样本图像分类模型。首先，通过白化余弦相似度挖掘类别-类别间的相关性，得到与测试类别相关性强的训练类；然后，使用稀疏表示系数挖掘与属性相关的先验知识，利用属性-类别之间和属性-属性之间的相关性挑选与测试类相关性强的属性集并移除冗余属性；最后，将与测试类具有强相关性的训练类和属性用于零样本图像分类。
　　在多个数据集上进行的对比实验结果表明，与传统零样本图像分类方法相比，所提模型均能够获得更高的属性预测精度和零样本图像分类识别率。
　　该论文有图46幅，表23个，参考文献118篇。