Spark作业性能建模及参数优化

摘要

Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义.该文分析了 Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了 Spark参数自动优化的方法和策略.通过提取作业执行过程中对性能有影响的参数,对主流的19种回归模型进行了对比测试,获得通用性和拟合效果都比较好的6种回归模型,并针对不同类型的Spark任务在特定集群上建立性能模型,最后依据建立的性能模型在参数空间中利用改进的多起点爬山搜索算法寻找最优的参数组合.实验证明经参数优化后Spark作业性能有较大提升.