面向职业教育的主题蜘蛛的设计与实现

摘要

介绍了基于文档矢量模型进行文档相关度计算的面向职业教育的主题蜘蛛,并结合页面链接上下文信息对URL进行预过滤,可采用多机并行下载提高收集效率。在一个面向Internet的职业教育检索的搜索引擎中得到了具体实现,整个系统在低性能的台式机上就能运行,并可获得较高的职业教育页面的收集精度和收集效率。