在集群中调度运行分布式计算框架的方法和系统

摘要

一种在集群中调度运行分布式计算框架的方法，包括以下步骤：集群调度器获取提交的封装了框架控制器的第一作业；集群调度器根据第一作业生成包含框架控制器的第一任务，将第一任务下发到集群执行器；接收到第一任务的集群执行器启动框架控制器运行；集群调度器获取提交的封装了与框架控制器对应的框架工作器的第二作业；集群调度器根据第二作业生成包含框架控制器标识以及框架工作器的第二任务，并将第二任务下发到集群执行器；接收到第二任务的集群执行器根据框架控制器标识启动框架工作器运行。上述方法可将多个分布式计算框架可部署到同一集群中，从而可提高集群的资源利用率。此外，还提供一种在集群中调度运行分布式计算框架的系统。