基于Lucene的面向主题信息搜索系统的关键技术分析及应用

摘要

网络信息的爆炸性增长使搜索引擎成为人们上网必不可少的工具之一。其中应用最广泛的是以Goolge、百度为代表的综合性搜索引擎，这类搜索引擎服务对象是网络大众用户它为广大网络用户在查找信息上提供了很大的方便。但随之而来的查找结果的准确率低，其一是因为由于抓取网页数量以指数级别增大，对这些网页的预处理能力降低，致使查询结果中存在大量重复网页；其二，人们由于生活环境与工作环境的不同，对信息关注方向也不同，例如一个气象工作人员，他们希望查询到的结果会把与气象相关的网页优先排序在前几页，而一个农业工作者希望将与农产品相关的网页优先显示，这样一来综合性搜索引擎便无法满足这类专业领域人员的需求了。在这种背景下面向主题的搜索引擎应运而生。
　　 面向主题的搜索引擎系统与综合性网页搜索引擎最大的区别就是对网页信息进行了结构化信息抽取，这样做的好处是，在把网页分化成小粒度的单元后，更加方便对网页文档的内容进行加工处理，如网页净化、去重等。由于搜索引擎中运作着的各部分是环环相扣，当有了质量较高的网页预处理过程，接下来可以减小索引的负担，且搜索出的结果准确率更高，使用户有更高的体验度。
　　 面向主题搜索系统中，将它分为四大主要部分，分别为：数据搜集模块、网页预处理模块、索引模块、搜索模块。其中，网页预处理模块又可以分为网页净化和网页消重模块。在面向主题的搜索引擎中会使用到许多技术，为了更加贴合主题搜索，对其中的几种技术进行改进，主要工作如下：
　　 首先，介绍了网页爬虫Heritrix的使用，在原抓取的技术上，添加了在抓取过程中进行了URL匹配判断的功能，使Heritrix爬行的结果更加贴合主题。
　　 其次，介绍了网页解析技术HtmlParser，以及如何利用HtmlParser来解析网页来以达到网页净化与消重的目的。网页预处理过程在面向主题搜索系统中有着举足轻重的作用，详细描述了网页净化的算法，在网页消重中描述了当前主流的指纹消重算法，并探讨了几种对指纹的“原材料”-特征串的提取的几种方法，并指出它们在实际运用中判断重复网页准确率上的不足。针对这一情况，在算法中引入一种文档分段算法-TextTiling分段算法，并在原有算法的基础上加入同义词集对TextTiling算法进行改进，使之能更好的适应中文文档中同义词的变化。最后对基于权值的和本文提出的基于改进后的TextTiling分段算法在实际网页消重中进行实验比较，有效地对网页消重中有待完善的方面进行了补充。
　　 再次，介绍了本文中建立索引和提供搜索接口的核心技术Lucene，详细描述了Lucene工作原理，对于Lucgne中的索引建立采用了多线程技术，大大提高其索引效率；详细分析了Lucene的排序过程及其公式，并在原有排序公式的基础上提出适合主题搜索的排序公式。
　　 最后，在对面向主题的搜索系统进行研究后，设计了一个供气象人员使用的主题搜索引擎系统，系统中还加入一些个性化设置，如热点词推荐和网页预览功能。热点词推荐是利用索引后的文件按一定算法对最近使用频繁的词语进行搜集并呈现给用户；网页预览功能是让用户在不用打开一篇网页的基础上对网页的内容进行浏览。