网页爬虫系统在云媒体中的应用

摘要

万维网上有无数的网页,包含着海量的信息,森罗万象.但很多时候,出于数据分析或产品需求,我们需要从某些网站提取出感兴趣有价值的内容.但纵然是进化到21世纪的人类,也不可能去每一个网页点看,然后再复制粘贴,所以我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序,这就是爬虫.理论上来说,任何支持网络通信的语言都是可以写爬虫的,爬虫本身虽然语言关系不大,但是总有相对顺手简单的.目前大多数爬虫是用后台脚本类语言写的,下面主要介绍爬虫的基本工作原理及如何在云媒体平台上得以应用.