基于重要性传递模型的Web页面静态排序算法

摘要

Web是一个飞速发展的巨大信息源。其上的数据不仅存在无结构、大数量、具有超级链接、更新快的特点，而且质量良莠不齐。因此，Web用户在检索信息时，越来越多地依赖搜索引擎，从而需要搜索引擎返回给用户正确的、与查询主题相关的、排好序的结果集。传统的文本信息检索技术不适应于庞大的Web信息源，而基于Web结构挖掘的链接分析技术给Web信息检索提供了崭新的思路。链接分析技术不仅用于搜索引擎中对查询结果集的排序(动态排序)，同时也被广泛应用于对整个Web中的页面的排序(静态排序)。Web页面的静态排序对于搜索引擎的效率和爬取的优先顺序等方面是非常有意义的。 本文在论述Web数据挖掘理论的基础上，对已有的链接分析算法进行了详细的分析与比较，深入剖析了静态排序算法PageRank及其改进算法的优缺点，提出了一种基于重要性传递模型的Web页面静态排序算法框架。PageRank算法及其改进算法只考虑了有直接链接关系的页面之间的重要性的传递，而本文所提出的静态排序算法框架，综合考虑了网页间的直接和间接的相互影响，更准确地体现了页面链接的推荐作用。当将重要性传递距离取为1时，该算法框架退化为PageRank算法。 本文还根据Web的社会性，利用居民点间的吸引性理论及城市人口密度分布理论，给出了该算法框架的两个实例。同时，对于页面重要性的有效传递距离也进行了具体的分析。实验结果表明，基于重要性传递模型的Web页面静态排序算法框架不但有效地提高了搜索结果的精确度，而且还大大加快了页面排序的速度。

目录

文摘

英文文摘

声明

1绪论

1.1研究背景

1.2研究内容及研究成果

1.3论文组织结构

2Web数据挖掘

2.1Web信息的特征

2.2Web数据挖掘及其分类

2.3 Internet搜索引擎

2.3.1搜索引擎系统的结构和工作原理

2.3.2搜索引擎的主要指标

2.3.2Web数据挖掘在搜索引擎中的应用

2.4链接分析技术

2.4.1链接分析的思想起源:引文分析

2.4.2链接分析及其Web图表示

2.4.3现有的链接分析算法

3 PageRank及其改进算法

3.1 PageRank算法原理

3.2 PageRank算法的缺点

3.2 PageRank的改进算法及存在的问题

4基于重要性传递模型的Web页面静态排序算法

4.1基于重要性传递模型的Web页面静态排序算法框架

4.2.基于居民点间吸引力的算法实例

4.3基于负指数模型的算法实例

4.4层次数k的确定

5实验及性能分析

5.1实验方案

5.2实验步骤

5.2.1数据的获取和预处理

5.2.2算法的迭代计算

5.3实验结果分析

结论

参考文献

附录A关键字查询结果表

攻读硕士学位期间发表学术论文情况

致谢