一种基于历史任务分析的Apache Spark应用自动化调优方法

摘要

本发明提出了一种基于历史任务分析的Apache Spark应用自动化调优方法，包括对Spark应用的任务提交接口进行封装，判断是否已有该Spark应用的分层灰盒时间预测模型，访问数据库，读取并更新所述分层灰盒时间预测模型，用户选择是否进行优化；如果进行优化则生成优化参数，如果不进行优化则按原参数执行，调用shell命令运行任务。本发明充分地利用了已知的集群硬件资源信息，选择并实现一了个能够在高维参数空间上对最优参数进行高效搜索方案，从而筛选出在建立的分层灰盒时间预测模型下，性能表现较优的配置参数，达到实现自动化Spark参数调优的目的。