维、哈、柯文搜索引擎中网页爬行器的设计与实现

摘要

搜索引擎网页爬行器的任务是收集网页,而收集能力的好坏直接影响搜索结果。本文提出了维、哈、柯多文种搜索引擎中网页爬行器的结构及其设计方案。