跨媒体相似度机制研究和实现

摘要

在这个信息时代，多媒体数据不断涌现，使得人们的信息来源不再只局限于单调的文本信息，而是扩展到图像、视频、音频、3D、flash等多种不同类型的媒体对象。这些多媒体对象之间呈现出跨媒体的特性，主要表现为多种类型媒体数据混合并存、组织结构复杂，而且往往不同类型的媒体数据从各个侧面表达同一语义。媒体对象间的这种跨媒体特点势必要求我们在多媒体检索中能够充分考虑到这一特点，并合理地加以利用。也就是需要对多种模态的媒体对象进行融合分析，挖掘出它们之间潜在的语义联系，以语义为桥梁，在检索时实现从一种媒体到另一种媒体的跨越。而在跨媒体检索中，一个首先遇到的难题就是不同模态的媒体对象间相似度的计算问题。基于这样的背景，本文从相似度机制的角度出发对跨媒体检索进行研究，提出了基于相似度融合以及基于PageRank的两种跨媒体检索算法。在跨媒体检索这一领域做出了初步的尝试。 本文首先介绍了研究背景，简述现有技术与不足，并概括了本文的主要工作。第二章对多媒体检索的历史作了一个回顾，主要介绍了文本信息检索、基于关键字的多媒体检索、基于内容的多媒体检索、多媒体语义自动标注、多媒体融合分析与语义理解等领域的发展。 第三章提出了一个基于相似度融合的跨媒体检索的方法，通过SimFusion对不同媒体对象间的相似度进行融合，再通过MDS得到媒体对象在语义空间中的坐标，由此实现跨媒体检索。 第四章提出了一个基于PersonalizedPageRank和交叉关联图的跨媒体检索的方法。通过改进PersonalizedPageRank算法并将其应用到交叉关联图上，仿照对网页按重要性排序来对媒体对象按相似性排序，取得了令人满意的跨媒体检索的效果。 第五章是对全文的一个总结以及对未来的研究方向的展望。

目录

摘要

第一章概述

第二章多媒体检索综述

第三章基于相似度融合的跨媒体检索

第四章基于PageRank的跨媒体检索

第五章总结与展望

参考文献

作者在攻读硕士学位期间的科研成果

致谢