一种基于分布式数据处理框架的数据采集分析系统

摘要

本发明公开了一种基于Storm和Hadoop分布式数据处理框架的数据采集分析系统，该系统的核心在于通过Storm和Hadoop这两种开源的分布式集群框架，构建稳定可扩展的底层数据流平台，构建智能反爬模块进行数据爬取中的对抗，多种web数据解析方式智能选择，数据格式化，数据分析和可视化。通过些模块的拼接，实现稳定，易于扩展，易于操作的数据采集分析系统，使得数据需求方拥有稳定快速的实时数据的机会，并可对感兴趣的数据进行多样化分析满足需求方的决策需求，适用于科研和企业决策所需数据的方方面面。