视频搜索结果的重排序研究

摘要

互联网中视频数据在近几年呈爆炸式增长并且广泛分布，使得视频搜索成为当前视频研究的重点和热点。由于文本搜索的成功应用，现今通用的大型视频搜索引擎，如Google、Yahoo!、Llve、百度等主要还是利用视频数据周围的文本信息，采用基于文本搜索的方法实现视频搜索和排序。然而，视频内容及其所包含的复杂意义通常是语言工具难以完整描述与表达的。为了解决这种原始文本搜索的缺陷，视频搜索结果的重排序逐渐引起了众多研究者的关注。重排序，是指基于原始搜索排序的基础上，通过挖掘数据内在关联、或者借鉴外部知识和人工干预，对原始搜索结果进行重新排序的过程，目的是提高搜索质量和提升用户搜索体验。 本论文首先提出一种新颖的基于查询独立的学习框架，接着从三个阶段研究了视频搜索结果的重排序中的关键问题，即自重排序(仅从自身挖掘相关知识)、样例重排序(利用用户提供的查询样例)和群重排序(利用从外部搜索引擎的结果中挖掘的知识)。显然这三个阶段涵盖了现今的大部分视觉信息重排序的框架和方法。本文对视频重排序方法进行了深入的研究，主要工作和创新之处归纳为以下几点： (1)对于查询独立的学习框架，本文提出了在“查询-镜头”对中学习相关性关系。与传统的查询依赖的学习框架不同，该种方法的训练模型和任何查询没有直接关系，故训练样本在所有的查询中能达到共享，更适用于实际的应用。在这种查询独立的学习框架下，各种机器学习的方法都可以扩张并应用，从而进一步提出了一种基于SVM模型的全监督查询独立的学习方法和一种基于多图模型的半监督的查询独立学习方法。经过大量实验证实，查询独立的学习方法明显优于传统的查询依赖的学习方法，从算法的运算量角度看，查询独立的学习方法也更具有实用性。 (2)对于自重排序，本文提出一种基于典型性的视频结果的重排序方法。传统的基于学习的重排序方法往往只关心训练样本的相关性或多样性，却忽略了样本的典型性。本文提出在考虑相关性和多样性的同时应兼顾样本的典型性。首先根据样本的概率分布定义视频/图像的典型性，并将样本选择看成一个既考虑样本典型性又兼顾原始搜索结果的优化问题，最后基于选择的高典型性样本并利用SVM构建重排序模型，实验表明该模型具有较好的泛化能力和较强的鲁棒性。 (3)对于样例重排序，本文提出一种基于查询样例的全监督视频重排序方法。传统的全监督的视频重排序方法常根据经验将重排序问题转化为二类的分类问题，样本完全根据分类的置信度进行排序。文中提出了重排序实际上应是一个优化问题，即一个序列中的任意两个样本都能正确排序即可达到全局最优，而不是简单地区分每一个样本是否相关。在这样的框架下，进一步提出两种重排序算法，即直接重排序和插入重排序。实验证实，新的重排序方法可以较大程度地改进原始的搜索结果，与其他一些经典的重排序方法相比，也具有较大的优势。 (4)对于群重排序，是本文中提出的重排序问题的新的发展阶段，旨在从互联网中挖掘相关的视觉原型并利用到重排序中。据大量资料的调研，群重排序是首次将互联网中的群包数据应用到搜索结果的重排序当中，与传统的自重排序和样例重排序有显著的不同。首先利用多个搜索引擎返回的结果图像构建一组视觉单词；接着在此视觉单词中挖掘两种视觉原型(显著度和共存性)；最终基于该视觉原型将重排序问题转化为一个优化问题，并给出封闭解。实验表明，群重排序对原始搜索结果的提高是较稳定的，与传统的重排序方法相比有较明显的提升。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1视频搜索的产生、发展和存在的问题

1.2视频搜索结果的重排序的研究意义

1.3国内外研究和发展现状

1.4视频搜索结果的重排序的关键问题

1.4.1视频搜索和重排序的一般框架

1.4.2关键问题及研究方向

1.5本文的研究内容与创新点

第2章基于查询独立学习的视频搜索

2.1基于机器学习的视频搜索

2.1.1基于全监督学习的视频搜索

2.1.2基于半监督学习的视频搜索

2.2查询独立学习在视频搜索中的应用

2.2.1查询独立学习

2.2.2在视频搜索中的应用

2.3基于多图的查询独立学习在视频搜索中的应用

2.3.1系统框架

2.3.2算法和应用

2.4实验及分析

2.4.1实验设置

2.4.2概念检测和相关概念选择

2.4.3视频搜索结果

2.4.4参数的影响

2.4.5视频重排序结果

2.4.6运算量分析

2.5本章小结

第3章基于典型性的视频搜索的重排序

3.1视频典型性分析

3.1.1基于标记的典型性分析

3.1.2不基于标记的典型性分析

3.2基于典型性分析的视频重排序

3.2.1样本选择

3.2.2重排序建模

3.3实验及分析

3.3.1样本选择实验

3.3.2重排序实验

3.4本章小结

第4章基于优化框架的视频搜索结果的重排序

4.1重排序问题的新定义

4.2基于优化框架的视频重排序方法

4.2.1系统综述和框架

4.2.2相关和非相关概念检测

4.2.3重排序算法和复杂度分析

4.3与经典排序/重排序方法的理论比较和分析

4.3.1 TF-IDF、PFR和QBE

4.3.2信息瓶颈理论

4.4实验及分析

4.4.1实验设置

4.4.2相关和非相关概念检测

4.4.3重排序评估

4.4.4参数分析

4.5本章小结

第五章群重排序

5.1群重排序概念

5.2群重排序的关键问题

5.3基于视频的群重排序的方法

5.3.1问题形成

5.3.2视觉原型挖掘

5.3.3群重排序算法

5.4实验及分析

5.4.1数据集和实验设置

5.4.2评价准则和方法

5.4.3重排序效果的评价

5.4.4参数λ的影响

5.4.5搜索引擎个数的影响

5.5与经典重排序方法的理论比较和分析

5.5.1 Random walk重排序

5.5.2 Bayesian重排序

5.6本章小结

5.7附录

第6章总结与展望

6.1本文研究内容回顾

6.2研究工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果