网络蜘蛛的研究与实现

摘要

本文从搜索引擎的应用出发,探讨了网络蜘蛛在搜索引擎中的作用和地位,提出了网络蜘蛛的功能和设计要求.在对网络蜘蛛系统结构和工作原理所做分析的基础上,研究了线程调度、页面爬取等策略和方法.然后选取了几种常见的网络蜘蛛算法进行比较,并综合应用试验法和归纳法研究它们的性能.