权威Web信息在搜索优化中的应用研究

摘要

搜索引擎(Search engine)是指自动从Internet上搜集信息，经过一定整理以后，提供给用户进行查询的系统。它的出现给用户带来了极大的便利。但随着Internet的进一步发展，传统的搜索引擎暴露出不足之处：用户搜索出来的结果页面过多而用户真正关心的内容少，用户需要耗费极大时间寻找自己所关心的内容。基于上述问题，本文对搜索引擎及其相关技术展开研究。 本文结合web文本挖掘、元搜索及其他相关技术，提出了一种基于web文本聚类的元搜索系统。系统分为两大功能模块：元搜索模块和文本聚类模块。本系统中，在用户输入关键字进行检索后，系统中的元搜索模块将调用其他全文搜索引擎进行搜索，并按照一定评分原则，去除那些与用户无关的搜索结果，并把处理后的最终结果交给文本聚类模块进行处理。在文本聚类模块中，我们首先对搜索到的web页面进行预处理，然后运用文本聚类算法对页面进行分类，生成不同的聚簇为用户的搜索提出指导性帮助。 在本系统中文本聚类算法是核心。我们发现K-means算法运行速度快，时间复杂度低，而且适合在大型数据集上运行。但我们也发现,在K-means算法中不同的初始点会产生不同聚类效果。因此我们结合权威web页面的特性，选择权威web页面作为初始点进行聚类，并且很好地达到了聚类效果。

目录

文摘

英文文摘

声明

第1章绪论

1.1本文研究背景

1.2国内外研究现状

1.3研究意义

1.4本文所作的工作

第2章搜索引擎及其相关技术介绍

2.1搜索引擎概述

2.1.1搜索引擎的工作原理

2.1.2搜索引擎分类

2.1.3搜索引擎发展历史

2.2元搜索概述

2.3权威web页面定义及特性

2.4本章小结

第3章web文本聚类相关技术

3.1 web文本特点

3.1.1超文本的结构性特点

3.1.2超文本的组成

3.2文本表示

3.2.1布尔逻辑模型

3.2.2向量模型空间

3.2.3概率模型空间

3.2.4各模型之间比较

3.3权重计算方法

3.4分词

3.4.1基于词库的分词方法

3.4.2基于统计的分词方法

3.4.3基于理解的切分方法

3.5特征提取方法

3.5.1特征频度

3.5.2文本频度

3.5.3特征熵

3.5.4信息增益

3.5.5 x2统计法

3.5.6互信息量

3.5.7词条CHI统计法

3.5.8各特征方法之间比较

3.6本章小节

第4章web文本聚类算法的研究

4.1聚类概述

4.2聚类算法的要求

4.2.1可伸缩性

4.2.2处理不同类型属性的能力

4.2.3能发现任意形状的聚类

4.2.4使决定输入参数的领域知识最小化

4.2.5能够有效地处理噪声数据

4.2.6对于输入纪录的顺序不敏感

4.2.7高维性

4.2.8基于约束的聚类

4.2.9可解释性和可用性

4.3主要的聚类方法

4.3.1划分方法

4.3.2层次方法

4.3.3基于密度的方法

4.3.4基于模型的方法

4.3.5基于网格的方法

4.4常用的聚类分析方法

4.4.1 K-means算法概述

4.4.2层次聚类算法

4.4.3动态聚类算法

4.4.4各算法之间比较

4.5本章小结

第5章基于web文本聚类的元搜索引擎的设计与实现

5.1基于文本聚类的中文元搜索引擎的系统结构

5.2基于文本聚类的中文元搜索引擎的设计

5.2.1元搜索模块的设计

5.2.2网页分析模块的设计

5.3原型系统的实现与评测

5.3.1系统平台与开发工具

5.3.2系统评测

5.4本章小结

第6章结论与未来发展

6.1创新点

6.2有待解决的问题及未来工作

致谢

参考文献

攻读学位期间的研究成果