基于匿名网络的网络爬虫设计与实现

摘要

随着大数据时代的到来,数据重要性也日益凸显,网络爬虫作为获取互联网数据的工具也随之变得重要。为了防范恶意的爬虫,许多网站设定如IP黑名单的反爬虫措施,从而导致对于对数据有着正规需求的机构获取网络数据变得困难。为满足学术界和有正规需求的机构的爬虫需求,设计与实现基于匿名网络的网络爬虫,经过测试系统可以冲突IP黑名单这一反爬虫措施的障碍,为有相关正规需求的机构提供有效的方法。