一种基于用户关联关系的微博数据采集方法

摘要

本发明涉及数据采集技术领域，尤其是一种基于用户关联关系的微博数据采集方法。本发明采用网络爬虫的方式对微博平台上包含特定关键词的微博信息进行采集，在采集的过程中以用户之间的关联关系作为微博爬虫的链接，首先根据指定的关键词获取微博爬虫的种子用户，然后通过抓取网页的方式获取用户的微博页面，采集其中包含关键词的微博信息，选取出具有潜力的用户，并同时采集有潜力用户的关联关系以获取微博爬虫的下一级链接，从而实现微博信息的自动搜索与采集。本发明解决了根据关键词在微博平台上自动采集包含该关键词的微博等问题，可用于商务智能、社情舆情、决策评估等领域对特定微博内容的获取。