面向图像共享社区的图像标签推荐方法研究

摘要

基于文本的图像检索系统需要对图像进行准确的语义标注，但是人工标注费时费力，无法处理海量图像。因此，图像的自动语义标注受到广泛关注。随着以Flickr为代表的图像共享社区快速发展，具有丰富元数据信息的社会网络图像资源呈现爆炸式增长。如何通过对图像元数据信息的分析和挖掘，为社会网络图像赋予语义标注词（也称为“标签推荐”），为图像的语义理解带来了新的挑战和新的机遇。充分利用元数据进行图像的语义分析，也有助于跨越“语义鸿沟”。因此，本文通过挖掘图像共享社区中的图像元数据、图像视觉特征以及图像上下文之间的潜在联系，为图像推荐既能准确描述其语义信息，又符合用户个性化需求的语义标签。　　首先，本文提出一种基于二分图模型的个性化标签推荐算法。研究了图像所属群组、地点对图像个性化标签推荐起到的作用。使用了标签、图像、群组以及地点四类数据，并把这四类数据表示为图的顶点，数据之间的关系表示为边权值，从而构建二分图。旨在利用二分图模型挖掘标签与其他三类数据的关系。该算法通过在二分图上执行信息扩散算法获取标签信息分值向量；然后通过对向量中分值的排序，得到标签推荐列表。实验结果表明，考虑了图像所属群组以及地点等元数据信息，可以有效提高标签推荐的准确性，并进一步验证了元数据信息在标签推荐中起到的关键作用。　　其次，我们提出了基于卷积特征和加权随机游走的个性化标签推荐算法。该算法通过选取合适的卷积层特征，并将其进行VLAD编码从而获得图像视觉特征。借鉴近邻投票的思想，我们通过图像视觉特征与群组信息获取图像的加权近邻；然后在近邻图像－标签二分图上执行加权随机游走算法，迭代收敛后可以得到各标签的分值；最后将分值较高的标签推荐给图像。实验结果证明，群组元数据信息在图像近邻选取中发挥了积极作用，结合群组信息和视觉特征能够得到更为相关的近邻图像，并且通过加权随机游走算法可以有效提高标签的准确性。　　本文研究了基于图像元数据信息挖掘的图像标签推荐算法。通过挖掘分析元数据信息与图像标签之间的关系，验证了元数据信息对图像标签推荐的积极作用。综上所述，充分利用图像的元数据信息可以为图像推荐更为准确且更符合用户个性化需求的标签。

目录

声明

第1章 绪论

1.1 研究背景

1.2 研究意义

1.3 个性化图像标签推荐的关键问题

1.4 本文主要研究内容及创新点

1.5 本文组织结构

第2章 研究现状

2.1 研究现状概述

2.2 基于不同类型数据的标签推荐

2.2.1基于标签数据的标签推荐

2.2.2基于标签和图像数据的标签推荐

2.2.3基于标签、图像和元数据信息的标签推荐

2.3 标签推荐的常用模型与算法

2.3.1基于实例的标签推荐

2.3.2基于模型的标签推荐

2.3.3基于直推式的标签推荐

2.4 本章小结

第3章 图像标签推荐问题概述

3.1 图像标签推荐问题的形式化表示

3.2 图像特征表示

3.2.1图像常用的视觉特征

3.2.2本文使用的图像特征

3.3 相似度度量方法

3.3.1图像的视觉相似度常用度量方法

3.3.2标签相似度常用度量方法

3.4 常用性能评价测度

3.4.1 NDCG

3.4.2 P（查准率）、R（查全率）、P-R曲线

3.4.3 ROC曲线

3.4.4 AP和MAP

3.5 本章总结

第4章 图像共享社区概述

4.1 标签系统特点

4.2 常用图像共享社区

4.2.1 Instagram

4.2.2 Myspace

4.2.3 Imgur

4.3 Flickr图像共享社区

4.3.1 Flickr介绍

4.3.2 Flickr中图像包含的元数据信息

4.3.3 Flickr常用数据集

4.3.4对Flickr分析

4.4 本章总结

第5章 基于二分图的个性化标签推荐

5.1 二分图模型的构建

5.2 基于二分图模型的信息扩散

5.2.1 在图像－标签二分图上的信息扩散

5.2.2 在群组－标签二分图上的信息扩散

5.2.3 在地点－标签二分图上的信息扩散

5.3 图像标签分值向量计算

5.4 基于二分图的个性化图像标签推荐算法

5.4.1 算法描述

5.4.2 个性化标签推荐过程说明

5.4.3 原型系统

5.5 实验

5.5.1参数设置

5.5.2性能评测及分析

5.6 总结

第6章 基于卷积特征与加权随机游走的个性化标签推荐

6.1 图像视觉特征对图像标注的影响

6.2 卷积特征

6.2.1使用卷积特征作为图像特征的依据

6.2.2卷积特征的提取

6.2.3使用卷积特征的问题

6.3 特征编码

6.4 近邻选取

6.4.1视觉相似性

6.4.2群组相似性

6.4.3近邻形式化表示

6.5 加权随机游走算法

6.5.1加权近邻标签二分图

6.5.2加权的随机游走算法

6.6 实验

6.6.1提取特征的卷积层选择

6.6.2λ参数设置

6.6.3性能评测

6.7 总结

第7章 总结与展望

7.1 总结

7.2 未来研究工作展望

参考文献

攻读硕士学位期间发表的学术成果

致谢