Design and Implementation of Vertical Search Engine System for Digital Products

摘要

随着互联网上的信息的爆炸式增长，人们从最初在互联网上得到大量有用信息，变成了面对海量信息却无从下手的状况。同时随着电子商务的蓬勃发展，网上购物的用户越来越多，大量用户对网上的商品信息的需求从泛泛了解，逐渐变成专业，精确，有深度。通用搜索引擎的出现在一定程度上解决了部分问题，但用户在使用通用搜索引擎时却面临着搜索结果不够精准，不符合需求等问题。为了应对某一特定领域，用户的需求，对互联网中某一主题进行深入的信息聚合，整理，垂直搜索引擎技术便成为了研究热点。 本文应对越来越多的互联网用户对网上商品信息，购买信息的精准搜索需求，设计了一款面向商品信息的垂直搜索引擎系统。该系统以实现对商品信息的深入聚合，信息精提取，并返回给用户专业，深入的搜索结果为目标，对垂直搜索引擎系统进行了架构设计，并实现了具体功能。 本文的主要研究内容和所做工作为：(1)设计实现面向垂直领域的信息抓取模块，对一般网络爬虫的抓取目标和策略进行改进和优化，使用嵌入式内存数据库构建链接队列，并创建布隆过滤器进行网页消重，以实现对商品信息定向精准的抓取，同时对抓取的信息去除无用冗余部分，进行专业化的提取。(2)根据垂直搜索引擎特点，采用最大正向匹配分词算法和整词二分词典，构建了中文分词系统，对中文信息进行分词以供索引的构建。(3)分析研究倒排索引技术，索引压缩技术，使用开源工具包Lucene实现了文本的索引构建，同时分析研究了检索策略，排序算法，对用户的精准的检索需求实现了信息检索。(4)在J2EE平台上，应用MVC模式，开发出了Web用户交互系统，以实现用户在网络上进行远程搜索交互。