一种异构Spark集群的节点优先级调优方法

摘要

本发明涉及一种异构Spark集群的节点优先级调优方法，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化，生成优化的节点优先级。本发明提出的节点优先级调优方法能够提高Spark系统的运行效率，缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。