一种智能化的网络信息采集方法及网络信息采集系统

摘要

一种智能化的网络信息采集方法及网络信息采集系统。所述系统包括任务分配及调度中心以及受控于所述任务分配及调度中心的多台信息采集服务器。所述任务分配及调度中心用于判断所述多台信息采集服务器中当前最适于执行信息采集工作的信息采集服务器，以及多个常用网站中当前最适于访问的目标网站，并将信息采集任务分配到所选中的信息采集服务器。所述选中的信息采集服务器用于对该目标网站服务器进行访问及下载所需的网络信息并将下载的网络信息返回所述任务分配及调度中心。所述任务分配及调度中心用于对该返回的网络信息进行整理及将整理的网络信息存入数据库。本发明实现了每台服务器系统资源的充分利用，大大提高了网络信息采集效率。