The Study on Distributed Search Engine Based on MongoDB

摘要

Internet上的信息量呈现着爆炸性的增长态势。人们面对海量信息并需要从中寻找到自己所要的资源时，搜索引擎已经成了最有效的方式。搜索引擎通过某种策略搜集信息，并对信息加以组织和整理，为客户提供检索服务。搜索引擎技术一直是学术界研究的热点之一。 搜索引擎本身涉及了广泛的知识面，本文通过对搜索引擎的几个关键技术进行梳理和研究，对搜索引擎的背景、发展历史做了介绍，对抓取技术，中文分词算法以及网页索引技术做了进一步的分析和探讨，主要完成以下工作内容： 研究并实现了基于MongoDB的分布式抓取技术。考虑到搜索引擎涉及到大规模的数据量，为了提高系统的性能，必须采用分布式技术。本文结合了Mongo...