一种基于机群的分布式数据采集系统

摘要

提出了一种基于机群的分布式数据采集系统,即采用任务调度中心、机群管理中心、采集代理多层次结构实现分布式数据采集;同时提出了机群的3种分配策略、管理中心选择机制及采集代理的设计方案.实验结果表明:该文所提出的方法适用于大规模网络的数据采集,能更加有效地提高数据采集的速度,解决传统的采集方法在大规模网络中所存在的数据传输负载过重和数据处理的瓶颈问题,在数据采集领域具有很好的应用前景,具有一定的应用价值.