异构Spark集群下自适应任务调度策略

摘要

Spark是一种基于内存的类Hadoop MapReduce高效大数据处理平台,但其默认的任务调度策略在异构Spark集群下未考虑到节点的能力差异,降低了系统性能.为此,提出一种基于异构Spark集群的自适应任务调度策略.该策略通过监测节点的负载及资源利用率,分析监测得到的参数,自适应动态调整节点任务分配权值.实验结果表明,在异构节点情况下,该策略在作业完成时间、节点工作状态及资源利用率方面的性能均优于默认的任务调度策略.