一种具有集群自适应性的Storm任务部署与配置平台

摘要

一种具有集群自适应性的Storm任务部署与配置平台，属于实时流数据计算处理领域。通过运用此平台，Storm集群可感知节点间内部通信量大小与剩余资源，并结合用户发布的topology任务需求与集群剩余资源进行运行进程数目配置自调节，从而达到突破以往Storm调度方法都需要人为指定进程数目的限制。该平台向用户提供了一个友好的、集中式通信量监控接口，方便用户在任务程序中调用，实现负载和资源感知。另外在此平台内嵌实现了与以往Storm两阶段提交调度方法都不同的一阶段提交调度方法，实现了同一节点不同进程之间通信量优化。本发明只需要设定基本的优化阈值参数即可实现最优化的调度，极大的便利了集群用户和管理者。