基于Python的微博数据爬虫程序设计研究

摘要

大数据时代的到来使得数据处理需求快速增长,作为国内主流社交平台,新浪微博蕴藏着海量数据。笔者以新浪微博数据爬取为例,介绍了数据爬取技术的相关概念,阐述了新浪微博数据的爬取方式,并模拟登录新浪微博、验证码识别、网页解析、数据处理与保存、突破发爬虫机制等探讨了微博数据爬虫程序设计。