基于深度特征及多核学习的图像标注研究

摘要

伴随着互联网的快速发展，图像数据呈爆炸性增长，存在大量的未标注的图像数据，而传统人工标注的方式成本巨大。如何对这些海量的图像数据标注关键词成为一个亟待解决的问题。图像自动标注是解决该问题的核心内容，受到了研究人员的广泛关注。 针对图像标注中存在的图像弱标注问题，本文提出了基于深度特征结合词间关系的图像标注方法。首先利用标注词之间的共生关系和语义关系来解决图像弱标注问题，然后通过深度卷积神经网络提取图像的深度特征，有效避免了传统的图像低阶人工特征表达不充分的问题，最后基于深度特征结合词间关系建立图像特征空间与语义概念空间的关联关系，从而完成图像标注任务。 考虑到图像数据集存在标注词分布不平衡的问题，以及不同的特征对不同的语义概念有不同的表征能力。本文提出了基于多核学习的多特征融合图像标注方法，首先通过利用合成少数类样本的过采样方法来克服少数类对标注性能的影响，进一步地将图像的一些传统视觉特征与深度特征进行基于多核学习的多特征融合，结合多种特征的互补信息以增强图像的特征表示能力，从而得到图像与标注词之间的内在联系。 将本文提出的两个标注方法分别在三个基准的数据集上进行实验和评估。实验结果表明基于深度特征结合词间关系的标注方法相比于其他的标注算法取得了更好的性能，并且通过给定训练图像不同标签数下的实验对比展现出了该方法对解决图像弱标注问题的有效性。同时实验结果表明基于多核学习的多特征融合标注方法能够更准确、更充分地表达图像的语义信息，以及有效地完成图像自动标注任务。

目录

声明

1 绪论

1.1 研究背景及意义

1.2 研究现状

1.3 本文主要研究内容

1.4 本文组织结构

1.5 本章小结

2 相关工作介绍

2.1 图像标注概述

2.1.1 图像的语义概述

2.1.2 图像标注的基本框架

2.1.3 图像标注方法

2.2 图像特征描述

2.2.1 全局特征描述

2.2.2 局部特征描述

2.2.3 颜色特征描述

2.2.4 深度特征描述

2.3 多核学习概述

2.4 本章小结

3 基于深度特征结合词间关系的图像标注方法

3.1 词间关系度量

3.2 重构标签词集以及标注模型

3.3 求解以及扩展

3.4 实验与分析

3.4.1 数据集

3.4.2 评价指标

3.4.3 深度特征以及参数调整

3.4.4 实验结果及分析

3.5 本章小结

4 基于多核学习的多特征融合图像标注方法

4.1 合成少数类的过采样算法

4.2 基于多核学习的多特征融合图像标注

4.2.1 核函数

4.2.2 多核学习算法

4.2.3 多特征融合的标注方法

4.2.4 算法详细描述

4.3 实验与分析

4.3.1 数据集及相关实验设置

4.3.2 实验结果及分析

4.4 本章小结

结论

参考文献

攻读硕士学位期间发表学术论文情况

致谢