一种轻量级个性化搜索引擎的研究

摘要

如今网络搜索引擎成了人们获取信息的一个重要途径，人们在希望搜索引擎能够提供全面的信息资源的同时，也对搜索引擎的服务提出了更高的要求。如何能通过一种有效的方式获取最有用的信息是用户所需要的，也是个性化搜索引擎必须提供的一种服务。 用户往往希望搜索引擎能够根据自己的实际情况来定制，这反应到信息检索领域便是个性化的搜索服务。目前传统的基于服务器端的搜索引擎虽然能够为用户解决兴趣搜索的需求，然而用户需要频繁地与行为数据库通信，这将造成行为数据库的超负荷运行。 基于此，本文提出一种新式的搜索结构——轻量级个性化搜索引擎，以减少服务器端开销为目的，同时能够很好的解决因客户端存储限制的缺点造成的排序误差。这模式结合了客户端存储资源与服务器端用户兴趣库，同时引进了客户端服务代理技术，在一定程度上减少了服务器端用户兴趣库的访问瓶颈。另外客户端、服务器端与客户端服务代理三者的松耦合连接方式增加了个性化搜索引擎的灵活性。本文着重研究客户端、客户端服务代理与服务器端的通信规则，详细研究了在为用户提供高质量兴趣搜索服务的基础上如何减少三者之间的通信流量的问题。同时给出了客户端、客户端服务代理与服务器端用户兴趣的获取与更新算法。最后通过实验系统验证了轻量级个性化搜索引擎的可行性并与传统的基于服务器端的个性化搜索引擎进行了性能比对分析。实验证明轻量级个性化搜索引擎在服务器性能方面得到了一定程度的改善。

目录

文摘

英文文摘

声明

第1章 绪论

1.1课题研究的目的和意义

1.2国内外研究现状

1.3论文的主要内容及结构

第2章 搜索引擎技术综述

2.1搜索引擎概述

2.2搜索引擎分类

2.3搜索引擎结构

2.4搜索引擎工作机制

2.5个性化搜索引擎

2.6搜索引擎中文分词

2.7本章小结

第3章 个性化搜索引擎用户模型

3.1用户模型概述

3.2用户模型信息的获取

3.3用户模型的表示

3.4本章小结

第4章 轻量级个性化搜索引擎的设计

4.1轻量级个性化搜索的信息检索方法

4.2轻量级个性化搜索引擎的系统结构

4.3轻量级个性化搜索引擎的系统原理

4.4 Web文档表示模型

4.5中文分词设计

4.5.1中文分词系统处理逻辑

4.5.2分词预处理

4.5.3词库组织

4.5.4加载词库

4.5.5正向最长匹配

4.5.6逆向最长匹配

4.6用户兴趣的获取与模型的建立

4.6.1客户端存储用户兴趣记录的模型

4.6.2客户端代理存储用户兴趣记录的模型

4.6.3服务器端存储用户兴趣记录的模型

4.7匹配度计算

4.8个性化搜索实现的主要算法

4.8.1客户端用户搜索历史记录存储算法

4.8.2客户端代理用户兴趣模型更新算法

4.8.3服务器端用户兴趣模型更新算法

4.8.4基于用户兴趣模型的搜索结果过滤算法

4.8.5获取并拼接用户搜索历史记录的算法

4.9本章小结

第5章 实验系统的实现与分析

5.1实验系统运行环境

5.2 Lucene API

5.3中文分词实现

5.4索引Web文档

5.5分布式搜索实现

5.6实验结果

5.7实验分析

5.8本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢