基于Python的新浪新闻爬虫系统的设计与实现

摘要

随着大数据时代的到来,数据量呈几何倍增长。以新浪新闻为代表的一系列新闻检索网站蕴含着大量的数据资源。本文以新浪新闻为研究对象,利用Python爬虫技术实现网页下载与网页解析,完成了对目标数据的高效获取,并将获取的信息进行格式化存储。实验结果表明,本文所提出的程序实现了网页数据的快速获取,为后续的数据挖掘提供支持。