可扩展负载均衡Spider的设计

摘要

随着Web信息的快速增长,如何对Web信息进行检索,获取有价值的信息,已经成为Web信息检索的重点研究内容。本文设计一种可扩展的蜘蛛程序Spider,运用负载均衡策略调度分布Spider的协同工作,实现Web站点页面的分布式下载,在获取页面信息的同时,获取站点的拓扑结构。