基于注意力机制的零样本图像分类方法研究

摘要

近年来，随着深度学习技术的飞速发展，基于有监督的深度学习方法在图像分类领域效果突出。在图像分类任务中，为了能够获得更加优异的分类精度，需要大量带标签的数据集作为技术支撑。然而，对于大量数据的标注工作，其成本是非常巨大的，并且训练得到的分类器对于未见过的类别其分类难度较大。零样本学习的出现就是为了实现对从未见过的类别进行识别。虽然目前基于零样本学习的图像分类方法已经取得了良好的进展，但是依然存在许多不足需要改进。例如，模型不能有效利用丰富的先验知识、语义空间与特征空间的不匹配而导致的领域漂移等问题。针对这些问题，本文主要研究了基于注意力机制的零样本图像分类方法，主要研究内容如下：　　（1）首先阐述零样本图像分类问题的基本定义，同时分别从直推式零样本学习和归纳式零样本学习这两个方面对不同类型的零样本学习方法进行相关介绍；然后描述不同的图像特征提取网络，并对这些网络中存在的优缺点展开分析；最后概括语义特征中常用属性和词向量的相关信息，并且详细介绍和分析注意力机制的原理和模型。　　（2）针对零样本图像分类中的枢纽点和先验知识欠利用问题，提出一种基于语义注意力的零样本图像分类模型EMSA（EmbeddingModelBasedonSemanticAttention）。该模型首先采用语义空间到特征空间的映射来规避枢纽点问题；其次将语义特征进行通道维度变换，丰富其特征信息；然后使用通道注意力生成的权重对语义特征加权处理，以解决先验知识欠利用问题；最后在特征空间中通过损失函数进行端到端的联合训练。在零样本数据集上的实验结果表明，该方法得到了更高的分类准确率。　　（3）针对零样本图像分类中的领域漂移问题，提出一种基于多注意力模块的零样本图像分类模型EMMA（EmbeddingModelBasedonMulti-AttentionModule）。该模型基于EMSA进行改进，首先加入Non-local模块对提取的特征图进一步增强；其次通过空间注意力和通道注意力生成的权重，对多通道的语义特征进行加权处理，得到更加精炼的语义特征；然后对该特征进行均衡化，得到更为均衡的语义特征；最后在损失函数中加入特征空间到语义空间的反向映射约束，以减轻领域漂移问题并提升模型的泛化能力。在零样本数据集上的实验结果表明，改进后的EMMA相比EMSA在分类性能上得到较大提升，分类效果更好。

目录