基于Lucene的二手汽车交易信息垂直搜索引擎的研究与实现

摘要

随着互联网的飞速发展，网络上的资源呈爆发性增长状态。为了在互联网上检索海量数据，各种通用搜索引擎应运而生。但通用搜索引擎也存在不足，主要表现是它返回的结果并未根据用户的特点和领域进行优化，无法精确结构化数据。垂直搜索引擎的出现改变了上述情况，它是搜索引擎的细分和延伸。垂直搜索引擎专注于某一特定领域，将网页中的非结构化数据进行结构化抽取，并将数据进行合并和索引处理，形成结构化的数据，提高精确检索的准确率。
　　 当前互联网上有很多二手汽车交易网站，但这些网站比较分散，用户要获取完整精确的二手汽车交易信息比较困难。为了解决以上问题，在剖析了Lucene的相关技术基础上，本论文提出了相应的解决方法及系统架构，设计并实现了“基于Lucene的二手汽车交易信息垂直搜索引擎”。
　　 本文完成的主要工作如下：
　　 ①介绍了本文的选题背景及国内外的研究现状，比较了垂直搜索引擎与通用搜索引擎的异同之处。
　　 ②研究了搜索引擎的经典算法，包括PageRank算法，HITS算法，给出了Spider抓取任务划分和防止系统“主题漂移”的方案。
　　 ③对隐藏网页查询接口进行了分析，实现了隐藏网页的抓取。
　　 ④对多种结构的网站进行了格式划分，按照分类给出了不同格式网站的抓取算法；并基于正则表达式，实现了二手汽车交易信息结构化的抽取；同时还讨论了系统数据进行增量更新的多种机制。
　　 ⑤对开源全文索引库Lucene进行了研究，对Lucene的倒排序索引方法、索引建立模式、索引存储组织形式、索引的检索机制进行了剖析。
　　 ⑥研究了经典向量空间模型(VSM)，引入了二手汽车交易信息各属性的权值，实现了推荐相似二手汽车交易信息的功能。
　　 ⑦遵循软件工程的标准方法，对系统进行了需求分析，构建了二手汽车交易信息垂直搜索引擎的系统架构，完成了系统的数据统一和数据库设计。对系统的各功能模块进行了详细设计，并基于Visual Studio2005开发平台实现了该系统。

目录

文摘

英文文摘

声明

1绪论

1.1课题的研究背景

1.2课题的意义

1.3国内外研究现状

1.3.1国外研究现状

1.3.2国内研究现状

1.4课题研究内容

2相关技术分析

2.1搜索引擎经典算法

2.1.1 PageRank算法

2.1.2 HITS算法

2.2基于Lucene的索引技术

2.2.1 Lucene的倒排索引方法

2.2.2 Lucene的索引建立模式

2.2.3 Lucene索引存储组织形式

2.3基于Lucene的检索技术

2.3.1 Lucene中的查询类

2.3.2检索结果的评分方法

3二手汽车交易信息垂直搜索引擎关键技术研究

3.1.防止“主题漂移”技术研究

3.2 Spider任务划分模式

3.3隐藏网页查询接口分析

3.3.1隐藏网页

3.3.2 HTTP GET隐藏网页接口分析

3.3.3HTTP POST隐藏网页接口分析

3.4网站分类及抓取算法

3.4.1格式1网站抓取算法

3.4.2格式2网站抓取算法

3.4.3格式3网站抓取算法

3.5信息抽取方法

3.5.1典型信息抽取算法

3.5.2正则表达式剖析

3.5.3本系统使用的正则表达式

3.6增量更新机制

3.6.1按时间更新

3.6.2按STOCK#更新

3.6.3按汽车其它内容更新

3.7相似二手汽车推荐方法

3.7.1基于TF-IDF的向量空间模型

3.7.2针对二手汽车交易信息的向量空间模型

3.7.3针对二手汽车交易信息的向量空间模型测试结果

4二手汽车交易信息垂直搜索引擎的设计与实现

4.1系统描述与需求分析

4.1.1系统描述

4.1.2系统参与者

4.1.3功能性需求分析

4.2系统硬件组成模型设计

4.3数据库设计

4.3.1二手汽车交易信息存储模式

4.3.2二手汽车交易信息属性的统一

4.3.3系统数据库设计

4.4系统功能模块设计与实现

4.4.1爬虫模块

4.4.2索引模块

4.4.3查询模块

4.4.4系统管理模块

4.5系统运行实例

4.6系统运行测试

5结论与展望

5.1结论

5.2工作展望

致 谢

参考文献

附录 A.作者在攻读硕士学位期间发表的论文