基于众包思想的社交网络大数据采集系统

摘要

本发明公开了一种基于众包思想的社交网络大数据采集系统，该系统包括：服务端模块、客户端模块、存储子系统模块以及爬虫子系统模块；其中，所述服务端模块是系统控制的核心，控制任务在下发前的一切操作以及结果校验等工作；所述客户端模块置于分布式机器节点中，通过socket套接字与服务端通信，接收服务端模块命令、调用主题爬虫程序等；所述存储子系统模块采用HDFS，具体的数据获取工作由主题爬虫程序使用Http Client对象来模拟浏览器操作完成；所述爬虫子系统模块均为主题爬虫，置于分布式机器节点中，通过Http Client对象模拟浏览器操作实现。本发明方案引入众包思想，并利用了Hadoop分布式文件系统存储结果数据，提高了数据获取速度以及信息检索效率。