基于Lucene面向主题搜索引擎的研究与设计

摘要

随着信息化的高速发展，信息量正以指数规律迅猛增长，互联网已经成为人类最重要的海量信源，“信息迷航”和“信息过载”已经成为日益严重的问题。基于Internet的各类搜索引擎应运而生并得到了迅速发展。Google，Yahoo等通用搜索引擎功能虽然非常强大，但是当使用它们来检索某些特定专业的信息时，通用搜索引擎系统就有些力不从心。 面向主题的搜索引擎是一种分类细致精确、更新及时的搜索引擎。随着Internet信息的爆炸增长以及信息多元化的发展，主题搜索引擎正成为研究热点与发展趋势。 本文就面向主题搜索引擎的关键技术进行了研究，并提出了一种基于Lucene面向主题搜索引擎解决方案，研究实现了求职帮助信息主题搜索引擎。 本文的主要叙述过程如下： 首先，叙述了搜索引擎的发展背景和发展现状及特点，回顾了搜索引擎的发展历史，比较了通用搜索引擎和主题搜索引擎的区别，体现了主题搜索引擎在专业搜索方面的优势。 其次，对面向主题搜索引擎的关键技术分三大模块即：主题信息抓取、索引和检索进行了深入分析和研究。研究了主题机器人与普通机器人的区别和搜索策略。重点研究了基于Java的全文索引引擎工具包Lucene，分析了Lucene与传统数据库相比的不同之处，体现了利用Lucene进行索引和检索的高效性、准确性。 然后，基于以上关键技术，提出了求职帮助信息主题的搜索引擎设计方案。包括系统设计思想，技术策略，结构框架，开发环境等。 接着，将设计付诸实践。详细介绍了基于Lucene的应聘帮助信息主题搜索引擎的具体实现过程。并对系统运行情况和结果进行了展示。 最后，对论文的各项工作进行了总结，并指出了今后发展方向和进一步的工作，以便以后不断更新和完善。 基于Lucene的求职帮助信息主题搜索引擎系统，保证了对求职帮助信息的完全收录与及时更新，避免了强大的搜索噪音，提高了检索效率，能快、全、准地提供专题信息查询。 本论文的主要研究内容： 1．研究分析了通用搜索引擎和主题搜索引擎的关键技术。 2．对Apache Lucene全文索引引擎工具包进行了深入剖析，比较了Lucene检索和传统数据库检索的异同，以及中文切分词技术。 3．在分析研究了主题搜索引擎关键技术的基础上，提出了求职帮助信息主题的搜索引擎设计方案。 4．深入剖析了在设计实现中运用的关键技术，并在剖析的基础上进行了扩展及二次开发，设计实现了基于Lucene的应聘帮助主题搜索引擎。

目录

文摘

英文文摘

学位论文独创性声明及使用授权声明

第一章绪论

1.1引言

1.2选题背景和研究意义

1.2.1选题背景

1.2.2研究意义

1.3本论文的主要内容和结构

第二章搜索引擎概述

2.1搜索引擎的概念和发展历史

2.2搜索引擎的分类

2.3搜索引擎面临的问题

2.4主题型搜索引擎的产生和优点

2.5目前研究状况

2.6搜索引擎的性能评价指标

2.7本章小结

第三章面向主题搜索引擎技术分析

3.1面向主题网络机器人技术研究

3.1.1主题机器人的结构

3.1.2主题机器人与通用机器人的区别

3.1.3主题机器人搜索策略

3.2Lucene索引技术研究

3.2.1 Lucene系统的结构组织

3.2.2Lucene索引机制架构

3.2.3Lucene索引的数据结构

3.2.4Lucene索引文件的格式描述

3.3信息检索技术

3.3.1信息检索模型

3.3.2Lucene全文检索与传统数据库检索

3.4本章小结

第四章应聘帮助信息主题搜索引擎的设计

4.1系统功能和目标

4.2设计思想和策略

4.2.1设计思想与难点分析

4.2.2技术策略

4.3系统总体和各模块结构

4.3.1主题抓取模块

4.3.2索引模块

4.3.3客户端检索模块

4.4系统实现相关技术

4.4.1 JavaI/O流

4.4.2 Java套接字编程实现HTTP请求

4.4.3 Java多线程编程

4.4.4中文分词技术

4.5可行性分析

4.6开发环境和系统运行

4.6.1开发环境

4.6.2系统解决方案与运行环境

4.7本章小结

第五章应聘帮助信息主题搜索引擎的实现

5.1主题信息采集模块的实现

5.1.1主题机器人流程设计

5.1.2多线程的实现

5.1.3主题采集模块的运行

5.2基于Lucene的索引与检索

5.2.1建立index的过程

5.2.2索引优化的作用

5.3中文分词技术

5.4搜索界面设计和实现

5.5信息更新

5.6本章小结

第六章结论与展望

参考文献

致谢