分布式网络爬虫技术的研究与实现

摘要

随着网络技术的快速发展,很多与Web关联密切的服务也在带动下逐渐增多,在工作和生活中得到了越来越多的应用,同时,人们也对此提出了更高的要求.这就不可避免地对进行Web信息采集的网络爬虫技术提出了越来越高的标准.尽管从目前的发展形式,国内外很多公司都对此提出了较为成熟的解决方法,但是这种搜索引擎带给大众的是相对固定的搜索服务,并不能够充分满足所有人的要求.在这种情况下,单机的网络爬虫并不能够解决这种问题,中型规模的网络爬虫也就根据其快速、高效率的信息采集方式以及可定制性,满足了用户在此方面的需求.从此角度出发,在分布式网络爬虫的设计和结构方面做出分析,并根据系统的实现和评测探讨了该技术实现的可能性.