面向商品比价应用的垂直搜索引擎系统设计与实现

摘要

爆炸式增长的信息和不断发展的互联网技术，使得WEB的信息量急剧增长，格式以及内容不断翻新。通用搜索引擎从海量的信息中准确快速地搜索出特定的内容已经十分困难，如何从网络中的海量信息里快速而有效地查询到所需有价值的信息已成为人们关注的重点。垂直搜索引擎具有“专、精、深”的特点，可通过面向某一特定的领域、人群或需求仅搜索网络中的特定主题信息，并且聚合信息、处理索引，提供有价值的相关服务和信息，从而提高用户检索时的准确率。
　　随着电子商务的发展，在要求电商信誉和商品质量的前提下，使用B2C购物的消费者越来越多。为了挑选便宜实惠的商品，消费者在购物中常常进行价格比较。垂直搜索引擎技术针对某一特定领域、某一特定人群或某一特定需求提供信息和相关服务的特点与商品比价应用的需求很好地契合。
　　本论文实现一款手机比价系统，以高精度搜索为目标，应用垂直搜索的理论与技术予以实现。本文选取了两家知名数码电商为搜索目标，为用户提供手机的比价搜索服务，摒弃相关性较弱的信息。本文在掌握Heritrix主要的工作流程及相关的技术要点的基础上，运用Heritrix工具包编写抓取逻辑实现了抓取网页；运用HTMLParser Libraries编写逻辑实现了HTML的解析与信息提取；在分析和掌握Lucene主要架构和各个部件，详细研究其中的索引模块和检索模块实现机制和原理的基础上，编程实现了网页内容索引；搭建Spring框架并运用Ajax技术实现了检索和用户接口部分。该比价系统实现了设计中所有需求的功能，满足了用户比价的需求，具有一定的实际应用价值。