基于Web数据挖掘的个性化搜索引擎研究

摘要

从Web上查找资源已成为人们获取信息的主要方式,但是Web上的信息数量巨大,人们必须使用有效的信息检索工具才能从海量的数据中找到自己所需的资源,搜索引擎是使用最广泛的信息检索工具。搜索引擎研究综合性较强,与它相关的学科包括信息检索、数据库、数据挖掘、人工智能、分布式处理、自然语言处理等。目前的搜索引擎不足之处是缺乏个性化的查询,个性化的查询是指针对不同的用户,搜索引擎根据用户的兴趣返回适合该用户的搜索结果,而不是对所有的用户返回相同的结果。个性化的查询是搜索引擎今后发展的一个主要方向。
　　 本文首先简单介绍了个性化搜索引擎的国内外研究现状,并详细讨论了个性化搜索引擎的相关技术,包括Web数据挖掘、信息检索模型和个性化搜索引擎模型等。其次,在对用户兴趣模型深入探讨的基础上,提出了一种基于概念的用户兴趣模型,该模型首先提取搜索结果中的概念,并计算概念之间联系的紧密度,形成概念联系图,最后根据用户的点击使出现在点击中的概念得到较高的权值,以概念权值的高低区别用户兴趣的大小。接着,讨论了基于链接的查询聚类算法,并针对该算法的不足提出了一种基于概念的聚类算法,基于概念的聚类算法根据用户兴趣模型建立查询.概念二分图,然后计算图中查询顶点间的概念相似度,并将概念相似度最高的查询顶点进行合并以实现聚类。最后,设计实现了一个基于Web数据挖掘的个性化搜索引擎系统,对系统的个性化查询进行了测试,并对比分析了链接聚类和概念聚类的实验结果。