针对社会协作生成型数据的信息检索

摘要

信息检索是协助用户在海量信息中找到所需内容的关键技术。尽管信息检索技术已经发展了几十年，针对传统文本文档的检索模型也已经比较成熟；然而，面对不断涌现的各种新数据类型，信息检索技术还需要继续发展。近几年，随着网络用户的飞速增加以及We b2.0理念的兴起，网络用户成为产生各种信息的主角。一方面，他们通过网络浏览各种资源；另一方面，他们的各种网络行为产生了大量有价值的信息。例如：搜索引擎用户在搜索过程中留下点击记录；美味标签（delicious.com）的用户通过该平台分享他们喜欢的网站；网页创建者通过锚文本将网页链接到其他相关站点。一个用户的行为及其产生的信息可能作用不大，但有海量用户每天都在不断生成数据，这将形成一个良好的知识库。我们把这种用户生成的对网络资源的描述数据称为社会协作生成型数据。总体上讲，社会协作生成型数据提供的信息具有很高的质量，是对网络上一些资源的有效概括，有助于计算机对这些内容的理解，对于信息检索是很有帮助的。
　　本文根据包含社会协作生成型数据的信息检索应用中可利用的数据源情况，提出两种不同场景的信息检索，并针对每个场景提出了信息检索方法。
　　在只有社会协作生成型数据的场景下，利用这种数据生成特性的信息检索模型。针对传统文档数据的信息检索研究已经有相当长的历史了，但由于社会协作生成型数据和传统文档数据存在很大不同，某些传统的模型不适合直接应用到这种数据上。本文具体建模了这种新数据的生成特性，并将其与信息检索关联起来，提出了新的检索模型。实验表明，对于社会协作生成型数据的信息检索，本文提出的新模型的效果比传统模型有显著的提高。
　　在既有社会协作生成型数据又有传统文本数据的场景下，整合这两种数据的信息检索方案。一些传统的信息检索应用已经取得了一定的成功，但这只利用到那些传统的文本信息。社会协作生成型数据作为一种新的、高质量的信息源，应该有潜力进一步提高信息检索的效果。本文根据两类数据互相补充的特性，提出基于相互增强的数据整合方案，并用整合后的数据进行信息检索。实验表明，与简单的把数据组合到一起相比，利用这种经过增强整合的数据做信息检索，能取得更好的效果。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 引言

第二章 相关工作

2 .1 社会协作生成型数据

2 .2 信息检索

2 .3 本章小结

第三章 信息检索场景归类与分析

3 .1 只有社会协作生成型数据的场景

3 .2 既有社会协作生成型数据又有传统文档数据的场景

3 .3 本章小结

第四章 基于生成特性的信息检索

4 .1 社会协作生成型数据的生成特性建模

4 .2 社会协作生成型数据的生成特性与信息检索的关系

4 .3 模型推导

4 .4 实验

4 .5 本章小结

第五章 基于数据整合的信息检索

5 .1 文本迭代相互增强框架

5 .2 强化内容文档模型和强化社会文档模型

5 .3 实验

5 .4 本章小结

第六章 总结与展望

参考文献

附录1: 幂率分布参数估计

附录2: 数据集参数估计

致谢

攻读硕士学位期间已发表或录用的论文