互联网环境下大规模图像的内容分析、检索和自动标注的研究

摘要

随着互联网和数字摄影设备的普及和发展，互联网上的图像数量飞速增长。一方面，互联网上的海量图像吸引了越来越多的用户；另一方面，越来越丰富的图像资源使用户难以在浩如烟海的数据中找到其真正需要的信息。这使得快速、有效的图像检索技术成为商业界和学术界的一个重要研究方向。 当前，互联网图像检索主要分成两大类：基于文本的图像检索(text-based image retrieval，简称TBIR)，和基于内容的图像检索(content-based image retrieval，简称CBIR)。TBIR在商业图像搜索引擎中被广泛使用。在TBIR系统中，互联网图像的文本信息用来索引和搜索图像。因此，图像文本标注的质量成为TBIR中的一个重要的问题。CBIR是学术界中一个非常流行的方向。在CBIR系统中，图像的视觉内容被用来索引。它面临的最主要的困难是语义鸿沟问题，即图像的低层内容特征(如颜色)，不能有效的描述高层语义(如“狗”)。 在本文中，我们尝试充分利用互联网图像丰富的文本信息和视觉信息，来解决上面提到的几个问题。我们对自动图像标注、图像标注改善、减小互联网图像检索中的语义鸿沟、基于对象的图像检索等问题进行了深入的研究。另外，为了更好地处理和利用互联网上的海量数据，更有效地帮助用户的在线检索，我们在设计相关算法和实现检索系统的时候，还特别地注意了其处理大规模图像的能力以及实时性。本文主要成果和创新之处包括以下几个方面： 1.讨论并分析了自动图像标注问题，提出了一个多标记稀疏编码的框架来进行特征提取和分类，并把它应用到自动图像标注中。我们认为具有部分重叠标记的两张图像之间的语义相似度应该以一种重构的方式而不是一对一的方式来度量。因此，在这个框架中，图像标记向量之间的语义相似度，以及图像特征向量之间的语义相似度，都基于一对多的e1稀疏重构/编码来度量。 2.讨论并分析了大规模的自动图像标注问题，并提出了一个基于搜索的图像标注框架。在这个框架下，我们给用户提供了一个在线图像标注服务，可以对用户提交的任意图像进行实时的标注。我们从互联网上收集了一个大规模的图像库，并把它用做训练集来标注任意一张图像。快速检索技术的应用和大规模图像库的使用保证了我们提出的基于搜索的图像标注框架处理大规模图像的能力及实时性。 3.讨论并分析了图像标注改善问题。我们把图像标注改善问题表述成一个马尔可夫过程，并在这个框架下解释了已有的图像标注改善工作。针对已有工作的问题，我们提出了一个基于内容的图像标注改善算法。马尔可夫过程表示的有效性，以及待标注图像与训练集中图像的内容信息的充分利用，使得我们提出的算法很大程度上改善了已有算法中存在的若干问题。 4.讨论并分析了互联网上基于内容的图像检索中的语义鸿沟问题，并提出了一个基于排序的距离度量学习算法。通过互联网图像丰富的文本信息的引导，我们试图在视觉空间中学出一个新的距离度量，使得给定一张查询图像，基于这个新的距离度量，我们可以在图像库中检索到与查询图像语义上更相关的图像。基于这个新的距离度量学习算法，我们提出了一个大规模的基于内容的图像检索(CBIR)框架，并在2.4 million规模的互联网图像库上实现了一个实时的CBIR检索系统。 5.讨论并分析了用多实例半监督学习(MISSL)算法来解决基于对象的图像检索问题。我们针对MISSL问题提出了一个新的正则化框架。基于这个框架，我们提出了一个基于图的多实例学习(GMIL)算法来解决MISSL问题。同样，在这个框架下，GMIL可以分别退化成一个新的标准多实例算法(GMIL-M)和一个标准半监督学习算法(GMIL-S)。我们从理论上证明了GMIL-S算法具有闭式解，以及GMIL和GMIL-M的迭代解的收敛性。我们用GMIL算法来解决基于对象的图像检索问题，实验结果验证了GMIL算法的有效性。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1 图像检索研究的发展简史

1.2互联网图像检索的关键问题与研究现状

1.2.1大规模化问题

1.2.2语义鸿沟问题

1.3研究目的与任务

1.4主要内容与结构安排

第2章自动图像标注的多标记稀疏编码算法

2.1引言

2.2多标记稀疏编码算法框架简介

2.3图像的特征表示

2.3.1通用背景高斯混合模型

2.3.2图像特定高斯混合模型的EM自适应

2.3.3 图像的超向量表示

2.3.4 实验实现细节

2.4特征提取的标记稀疏编码算法

2.4.1算法动机

2.4.2通过e1最小化构造语义图

2.4.3多标记线性嵌入

2.5多标记图像标注的稀疏编码算法

2.5.1算法动机

2.5.2多标记图像的e1重构

2.5.3 向待标注图像传播标记

2.6实验结果与分析

2.6.1实验设置

2.6.2 Core15k图像集上的实验结果与分析

2.6.3 Core130k图像集上的实验结果与分析

2.7本章小结

第3章大规模的基于搜索的图像标注

3.1引言

3.2从搜索的角度看图像标注

3.2.1算法动机

3.2.2信息检索与图像标注之间的对应

3.3基于搜索的图像标注算法

3.3.1基于内容的图像检索

3.3.2基于文本的关键字搜索

3.3.3候选图像标注的合并

3.3.4.基于RWR的图像标注改善

3.3.5图像标注的拒绝策略

3.3.6讨论：与AnnoSearch的比较

3.4实验结果与分析：图像标注

3.4.1实验设计

3.4.2相似图像子集的规模

3.4.3评分策略

3.4.4 MAnnoSearch vs.SBIA-N

3.4.5基于RWR的图像标注改善

3.4.6 MAnnoSearch-Y vs.SBIA

3.4.7图像标注拒绝策略

3.4.8对算法标注结果的人工评估

3.5实验结果与分析：图像检索

3.5.1评价准则

3.5.2检索结果比较

3.6本章小结

第4章基于内容的图像标注改善

4.1引言

4.2研究动机与工作简介

4.3 图像标注改善的马尔科夫过程表示

4.3.1 图像标注改善问题

4.3.2对已有图像标注改善算法的理解

4.3.3基于内容分析的图像标注改善的思想

4.4基于内容的图像标注改善算法

4.4.1候选标注的获取

4.4.2待标注图像相关的转移矩阵

4.4.3基于内容的图像标注改善算法

4.5实验结果与分析

4.5.1实验设置

4.5.2实验结果与分析

4.6本章小结

第5章基于排序的距离度量学习及其在互联网图像检索和标注中的应用

5.1引言

5.2研究动机与工作简介

5.3互联网图像检索框架

5.3.1系统总揽

5.3.2文本模型与语义相似度

5.3.3模型定位与语义图

5.3.4基于排序的距离度量学习

5.3.5模型融合与在线检索

5.4应用到基于搜索的图像标注

5.5实验结果与分析：基于内容的图像检索

5.5.1数据集

5.5.2评价准则

5.5.3 对比的算法

5.5.4性能比较

5.5.5时间成本

5.6实验结果与分析：基于搜索的图像标注

5.6.1对比的算法

5.6.2性能比较

5.7本章小结

第6章基于图的多实例学习及其在基于对象的图像检索中的应用

6.1引言

6.2研究动机与工作简介

6.3适用于多实例半监督学习的基于图的多实例学习算法

6.3.1符号说明

6.3.2多实例半监督学习的正则化框架

6.3.3基于图的多实例学习算法

6.3.4对样本外数据的归纳

6.4退化为标准的多实例学习算法和半监督学习算法

6.4.1 GMIL-M：标准的多实例学习算法

6.4.2 GMIL-S：标准的半监督学习算法

6.5实验结果与分析：基于对象的图像检索

6.5.1数据集

6.5.2评价准则

6.5.3对比的算法

6.5.4性能比较

6.5.5在Corel图像集上与SIMPLIcity方法的比较

6.6实验结果与分析：标准的多实例学习问题和半监督学习问题

6.6.1 在药物活性预测实验中与标准MIL算法的比较

6.6.2在数字识别实验中与标准SSL算法的比较

6.7本章小结

第7章工作总结及未来展望

7.1工作总结

7.2未来展望

参考文献

附录术语的英文对照及其缩略语

致谢

在读期间发表的学术论文与取得的研究成果