面向海量网络数据的收集方法研究与分析

摘要

网络爬虫是当前应用最普遍的针对海量网络数据的收集方法,其通过一定规则和URL自动抓取互联网信息及数据,主要是由程序来实现的.研究和分析了海量网络数据收集方法的理论基础,针对微博用户信息数据收集,提出了一种基于Scrapy框架的爬虫方法.