一种基于党校科研工作主题的网络爬虫系统和方法

摘要

本发明公开了一种基于党校科研工作主题的网络爬虫系统和方法，涉及互联网搜索引擎技术领域。本发明的网络爬虫系统包括初始种子模块、爬行模块、数据库、主题相关度分析模块、排序模块、主题确立模块；网络爬虫工作方法包括：1、爬虫模块取回网页；2、调用相关度分析模块对网页进行相关度分析；3、爬行模块根据分析的结果进行网页剔除或保留动作；4、爬行模块从数据库中取出等待处理的URL；5、排序模块对网页的重要程度进行排序；6、爬行模块判断数据库中是否有新的URL。本发明通过建立一个党校科研工作主题的搜索引擎，利用主题相关度分析模块进行主题优化和网页过滤，提高了党校科研工作网页搜索的相关度和搜索信息的精准度。