一种Spark环境中基于内存优化任务并行度的方法和系统

摘要

本发明公开了一种Spark环境中基于内存优化任务并行度的方法，首先提出一种基于RDD的Spark执行引擎分析获取每个调度任务需要处理的数据量的过程，来预估确定每个任务需要的内存资源；其次，提出一种结合每个任务的输入数据量以及从节点现有的内存资源来预测从节点可以并发执行的任务数，考虑了Spark任务调度的本地化原则，使得预测的并发数符合实际调度情况，提高调度效率；最后，提出一种基于已经执行的任务内存反馈，使用AIMD算法动态自适应调整每个从节点的最佳任务并发数，弥补了静态预测的不足，使得任务调度最大限度的符合从节点现有的资源，有效的提高资源使用率以及运行性能。