从网站中多个不同IP的服务器抓取网页的方法及系统

摘要

本发明公开了一种从网站中多个不同IP的服务器抓取网页的方法及系统。本发明首先为客户端的网页抓取任务分配目标网站服务器的IP，所述网页抓取任务包括待抓取网页的网页地址；然后判断所述网页抓取任务是否符合所述服务器的礼貌访问条件；如果符合，则利用所述IP建立与所述服务器的连接，从所述服务器中抓取所述网页地址的网页。本发明的访问策略基于IP级，更便于控制采集工作线程对网站进行礼貌地访问；通过缓存DNS，同时使用多个IP并优先分配速度最快IP的方式，极大地提高了网页抓取的效率；而且当目标网站有个别服务器不能访问时能够及时切换到其他IP的服务器，提高了容错能力。