元搜索引擎缓冲及排序的相关研究

摘要

在社会信息化不断进步的过程中，互联网已经成为人们日常生活以及工作中不可或缺的工具。搜索引擎在互联网中是重要的一部分，而且随着网络中信息量的不断增加和信息更新速度的不断加快，最快地从网上得到最重要的信息已经成为网络用户的重要需求，这就更凸显了搜索引擎的重要作用。随着搜索引擎的发展，元搜索引擎作为新生事物，也正在起着越来越重要的作用。 本文从提高元搜索引擎搜索结果的排序质量以及加快响应速度出发，对元搜索的排序和缓冲调度进行了研究，从有效性和实用性等方面改进了现有的算法，并通过在Windows环境下利用Visual C＃2005开发的一个小型系统Searcher-A，对这些改进的算法进行了实现，通过与改进前的排序情况和响应时间进行比较，改善元搜索的性能。 Searcher-A中主要包括搜索结果提取模块、排序模块、缓冲模块、用户管理模块。涉及到的相关技术有搜索结果提取模块中的网页源码分析及标签树的构建，搜索结果提取，摘要分析：排序模块中的FDC算法的改进及相关分析，缓冲模块中的缓冲调度算法分析及改进，以上内容均通过程序进行了试验，通过试验已经得到相关数据和结果，而实验过程中的一些具体算法，如搜索结果提取中的队列实现方式，FDC算法，缓冲调度算法等，文中也将进行详细阐述。

目录

文摘

英文文摘

声明

第1章绪论

1.1研究背景

1.2研究目的和意义

1.3国内外知名的元搜索引擎

1.4论文架构

1.5本章小结

第2章信息检索与搜索引擎

2.1信息检索的基本理论模型

2.1.1概念

2.1.2过程及组成

2.1.3数学模型

2.2搜索引擎基本模型

2.2.1网络机器人

2.2.2数据维护系统

2.2.3用户查询系统

2.3搜索引擎的优势和缺陷

2.4元搜索引擎的体系结构

2.5搜索引擎的排序算法

2.6元搜索引擎缓冲区调度算法

2.7本章小结

第3章搜索结果处理

3.1网页源码提取

3.2网页源码分析及标签树的构建

3.3通过标签树进行搜索结果提取

3.4通过队列进行搜索结果提取

3.5摘要分析

3.6本章小结

第4章排序

4.1基本FDC算法

4.2改进算法

4.3实验过程与实验结果分析

4.4本章小结

第5章缓冲区调度

5.1缓冲调度算法的实现

5.1.1 LRU算法的实现

5.1.2 FBR改进算法的实现

5.1.3 SLRU改进算法的实现

5.2缓冲区的使用

5.2.1搜索结果置入缓存文件

5.2.2缓存文件中提取搜索结果

5.2.3使用缓冲区的效率分析

5.3缓冲区的管理

5.4本章小结

第6章系统结构及其它模块测试

6.1系统模块结构图

6.2系统其它模块测试情况

6.3本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

致谢