图像检索中自动标注、标签处理和重排序问题的研究

摘要

近年来，随着数码拍照设备的普及以及网络和存储技术的发展，网络中图像的数量呈现出爆炸式的增长趋势。特别是伴随Web2.0技术的出现，海量用户产生的图像得以通过社交分享网站（如Flickr和Instagram）被分享和传播。与此同时，互联网中图像资源的快速增长也催生了对高效的图像检索系统的需求。现有的商用图像检索系统需要依赖图像附加的文本信息来为用户提供检索服务。但是，人工进行图像标注的过程费时费力，因此自动图像标注技术受到图像检索领域的广泛研究。另一方面，对于社交分享网站中的图像，用户提供的标签往往不能准确且全面地描述图像的真实内容，因而也难以作为图像检索中可靠的索引关键字。因此，图像检索研究中的一项基础研究是来处理图像的标签信息，特别是提高标签对图像内容的描述能力。除此之外，由于仅利用了图像的文本信息，现有的图像检索系统返回的结果往往并不能令人满意。因此，如何基于图像的视觉信息对原始的检索结果进行重排序也是图像检索领域的重要问题之一。
　　本文展开了一系列研究工作来提高当前图像检索系统的性能，详细讨论了图像标注、标签相关度学习、标签推荐和图像重排序这四个重要问题。论文的主要工作和创新性可以归纳为以下几个方面:
　　(1)本文提出了一种新颖的图像标注方法，该方法同时改进了基于近邻的方法中的两个阶段。在近邻搜索阶段，不同于现有的方法通过预测距离来发现视觉近邻，我们介绍了一种面向排序的近邻搜索机制，采用排序学习框架来直接优化已标注图像相对于待标注图像的相对顺序，而非它们之间的绝对距离。在排序过程中，我们利用了已标注图像中隐含的偏序信息并强调高位置的排序结果的准确性。在关键词传递阶段，不同于现有的方法采用简单的启发式规则来选择传递关键词，我们介绍了一种基于学习的关键词传递策略，利用监督学习技术来学习一个可以评估候选关键词相关度的得分函数。关键词的相关度是根据它与待标注图像的视觉近邻之间的不同关系来决定的。在Core15K和MIRFlickr数据集上的大量实验证明了该方法的有效性。
　　(2)本文提出了一种面向排序的标签相关度学习方法，该方法从排序学习的角度来解决标签相关度学习这一问题，并在学习过程中直接优化基于标签的图像检索的排序性能。具体来说，我们将监督学习的步骤引入到近邻投票策略中，该策略通过累积视觉近邻的投票来估计一个标签的相关度。通过明确地建模视觉近邻的权重以及标签之间的相关系数，我们的方法有效地避免了传统的非监督学习方法中进行启发式假设的风险。此外，我们的方法也解决了传统的监督学习方法中的可扩展性问题。通过在两个基准数据集上与其他先进的方法进行比较，我们证明了本文的方法的有效性。
　　(3)本文提出了一种结合相关性和多样性的图像标签推荐方法。以往的图像标签推荐方法往往利用标签间的共现信息来进行标签推荐。但是，由于忽略了图像的视觉信息以及被推荐标签之间的语义多样性，以往方法的推荐结果常存在标签歧义和标签冗余的问题。为了解决上述问题，我们的方法在推荐时综合考虑了被推荐标签的相关性和多样性。首先，方法建模每一个标签的视觉语言模型，并利用它来分别计算标签和图像的相关性以及标签之间的视觉距离。然后，基于上述计算，我们提出了一个贪心选择算法来找到能合理地平衡相关性和多样性的标签集合，将该集合作为最终的推荐。在Flickr数据集上的实验表明，本文的方法在准确率、主题覆盖率和F1测度上均优于其他先进的方法。
　　(4)本文提出了一种结合相关性和多样性的图像重排序方法，该方法是一个基于聚类的重排序方法，综合了已有的相互投票算法和贪心选择算法的优点。我们的方法利用相互投票算法在原始搜索结果中选择一些图像作为候选代表图像，并利用一个受限制的贪心选择算法来选择最相关且最有新鲜感的图像作为聚类中心。为了计算图像间相似度，我们结合了包括颜色、形状特别是潜在主题模型在内的多种特征，并详细讨论了结合不同特征的好处。我们在真实的Web图像数据集上对本文的方法进行评估，实验结果表明本文的方法可以从聚类召回率、NDCG和F1值等不同方面来提高用户满意度。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 本文的研究内容及意义

1．3 本文的贡献及创新点

1．4 本文的组织结构

第2章 相关研究工作现状

2．1 图像标注

2．1．1 模型驱动的方法

2．1．2 数据驱动的方法

2．2 图像标签处理

2．2．1 标签修正

2．2．2 标签排序

2．2．3 标签相关度学习

2．2．4 标签推荐

2．3 图像重排序

2．3．1 相关性重排序

2．3．2 多样性重排序

2．4 本章小结

第3章 本文涉及的基础知识

3．1 图像视觉特征提取

3．1．1 颜色直方图

3．1．2 颜色矩

3．1．3 颜色相关图

3．1．4 可伸缩颜色描述子

3．1．5 基于小波变换的纹理特征

3．1．6 边缘方向直方图

3．1．7 GIST特征描述子

3．1．8 SIFT特征描述子

3．1．9 视觉词袋模型

3．2 视觉语言模型

3．3 概率主题模型

3．4 排序学习

3．5 结构化支持向量机

3．6 本章小节

第4章 改进的基于近邻的图像标注方法

4．1 概述

4．2 面向排序的近邻搜索机制

4．2．1 隐式偏序信息挖掘

4．2．2 关注Top-K的排序算法

4．3 基于学习的关键词传递策略

4．3．1 联合特征表示

4．3．2 基于Structural SVM的学习

4．4 实验评估

4．4．1 数据集

4．4．2 评价指标

4．4．3 参数设置

4．4．4 与其他方法的比较

4．4．5 方法组件的有效性

4．4．6 计算时间花费

4．5 本章小结

第5章 面向排序的标签相关度学习方法

5．1 概述

5．2 标签相关度形式化推导

5．2．1 视觉近邻搜索

5．2．2 标签相关度函数

5．3 面向排序的学习过程

5．3．1 问题转换

5．3．2 优化问题定义

5．3．3 学习算法

5．4 实验配置

5．4．1 数据集

5．4．2 评价方法及指标

5．4．3 对比方法

5．4．4 参数设置

5．5 实验结果

5．5．1 图像检索任务上的结果分析

5．5．2 标签推荐任务上的结果分析

5．5．3 训练效率比较

5．5．4 模型参数带来的好处

5．5．5 模型参数可视化

5．5．6 潜在语义空间维度的影响

5．6 本章小结

第6章 结合相关性和多样性的图像标签推荐方法

6．1 概述

6．2 标签的相关性和标签间的视觉距离

6．2．1 标签与图像的相关性

6．2．2 标签间的视觉距离

6．3 图像标签推荐方法

6．3．1 标签集合的相关性与多样性

6．3．2 推荐算法描述及时间复杂性分析

6．4 实验评估

6．4．1 实验设置

6．4．2 评价指标

6．4．3 实验结果分析

6．5 本章小结

第7章 结合相关性和多样性的图像重排序方法

7．1 概述

7．2 图像间距离计算

7．3 图像重排序方法

7．3．1 相互投票算法

7．3．2 贪心选择算法

7．3．3 图像重排序算法

7．4 实验评估

7．4．1 数据集获取

7．4．2 实验细节

7．4．3 评价指标

7．4．4 参数选择

7．4．5 实验结果

7．5 本章小结

第8章 总结与展望

8．1 主要工作总结

8．2 未来工作展望

参考文献

致谢

攻读学位期间发表的学术论文目录

攻读学位期间参与科研项目情况

攻读学位期间获奖情况

外文论文