基于Azure云平台的网络爬虫

摘要

随着互联网上的信息量迅速增加,有效地解决高度密集的计算和存储问题的基于云的架构对于网络爬虫程序来说就显得尤为重要.在本文中,提出了一种基于Azure平台[1],使用云计算功能和MapReduce编程技术的网络爬虫架构.所提出的网络爬虫允许使用分布式代理爬取网络,每个代理将自己的发现存储在Azure表(NoSQL数据库)上.