一种视频领域相关的分布式微博数据抓取系统

摘要

本发明公开了一种视频领域相关的分布式微博数据抓取系统，该系统包括视频网站抓取子系统、微博用户名匹配子系统及微博数据抓取子系统，本发明使用对整个分布式系统中的抓取器节点进行管理和监控，在页面解析过程中，构建解析方法库，解决了因视频网站页面结构变化导致的完全重写解析器的问题。在更新控制中，使用视频热度模型来控制视频网页的解析频次，使用基于PageRank的微博用户影响力模型来控制微博用户数据抓取的频次。在微博数据抓取过程中引入了LDA模型构建微博用户的主题模型，从而对特定领域的微博用户进行过滤。本发明极大的提高了抓取海量视频领域微博数据的效率和稳定性。