多线程搜索器的设计与实现

摘要

随着校园网网页数量的不断增长,校园网搜索引擎应运而生。校园网搜索引擎系统的性能很大程度上取决于网络搜索器的性能,采集网页的速度是网络搜索器的1个重要指标。为了提高采集网页的速度,本文设计实现了1个多线程搜索器,并对内蒙古工业大学校园网进行了测试。实验表明,多线程搜索器可以把采集网页的速度从单线程0.9页/s提高到6.9页/s,采集网页的速度提高了7倍多。由此说明,采用多线程设计搜索器对提高搜索器采集网页的速度是很明显的。