分布式产品数据采集动态任务调度模型研究

摘要

网络数据采集是大数据时代进行数据挖掘和分析的基础性工作.本文尝试着以任务在不同节点上采集过程中产生的信息作为调度指标制定动态任务调度策略,分别从任务调度策略、任务修改策略和任务回收策略3个角度构建任务调度模型,最后通过实验分析其可行性.实验结果表明,动态任务调度模型能够提高数据采集的效率.