具有自动分类功能的主题搜索引擎的研究

摘要

搜索引擎是本上世纪90年代兴起的信息检索技术,经过十多年的发展,它已经渗透到了人们生活的各个领域.然而,传统的搜索引擎,也即通用搜索引擎,考虑了所有人的需求,即不管用户是希望找计算机论文方面的信息还是要找篮球运动的信息都一致对待,这样的搜索引擎需要耗费巨大的资源而速度较慢.并且,由于通用搜索引擎所面向的领域太广泛,某些利于用户提高检索精度和查全率的技术,比如自动分类,在其中的应用效果不理想.该文着重分析了分类技术原理及其在主题搜索引擎中的应用.该文设计了一个分类系统在主题搜索引擎中的效果实验:对于通用数据和主题数据来说,分别使用简单向量空间距离法、贝叶斯算法和KNN算法对它进行分类,实验表明,无论使用哪种分类方法,主题数据的分类效果比较好.该论文认为主题数据具有更易分类的特点.该文从理论上分析了面向主题搜索引擎的搜索方法:导向词的使用、网页评分、权威网页和中心网页的提取以及超链接文本分析.并根据这些搜索方法设计一个面向主题的搜索引擎.该文还进一步讨论了主题搜索引擎的技术实现,侧重讨论了系统框架、数据库设计、Robot实现以及查询接口技术.

目录

独创性声明和学位论文版权使用授权书

摘要

ABSTRACT

第一章引言

1.1 INTERNET发展现状

1.1.1 Internet的发展历程

1.1.2 World Wide Web(WWW)

1.1.3 Internet的信息分布

1.2搜索引擎简介

1.3面向主题的搜索引擎

1.4小结

第二章搜索引擎的构架及其分类技术的应用

2.1概述

2.2搜索引擎的构架

2.2.1三种类型的搜索引擎

2.2.2基于Robot的WWW搜索引擎的一般结构

2.2.3 WWW搜索引擎的Robot技术

2.3自动分类在搜索引擎中的应用

2.3.1自动分类的种类

2.3.2自动分类的作用

2.3.3自动分类的实现方法

2.3.4当今研究应用现状

第三章主题搜索方法

3.1导向词

3.1.1导向词及权值的配置

3.1.2根据导向词及权值改变搜索顺序

3.2网页评分

3.2.1引用计数(Hit Number)

3.2.2网页评分

3.3权威网页和中心网页

3.3.1什么是权威网页和中心网页

3.3.2发掘权威网页的困难

3.3.3权威网页和中心网页的计算公式

3.3.4计算权威网页和中心网页的算法

3.4超链描述文本分析

第四章自动分类实验及实验结果评价

4.1实验任务

4.2评估方法

4.3关键技术

4.3.1文本的表示

4.3.2特征项的抽取

4.3.3训练方法与分类算法

4.3.4阈值的确定

4.4系统的结构框架

4.5测试数据

4.6实验结果及分析

第五章系统的设计和实现

5.1系统开发环境

5.2系统功能

5.3系统结构概述

5.4数据库结构的设计

5.5 Robot的设计

5.5.1结构描述

5.5.2 Robot主要的数据结构描述

5.6导向词的处理

5.6.1导向词的存贮

5.6.2导向词的加载分析

第六章总结展望

发表论文及参加科研情况

致谢

参考文献