面向Spark的批处理应用执行时间预测模型

摘要

Spark批处理应用执行时间预测是指导Spark系统资源分配、应用均衡的关键技术.然而,既有研究对于具有不同运行特征的应用采用统一的预测模型,且预测模型考虑因素较少,降低了预测的准确度.针对上述问题,提出了一种考虑了应用特征差异的Spark批处理应用执行时间预测模型,该模型基于强相关指标对Spark批处理应用执行时间进行分类,对于每一类应用,采用PCA和GBDT算法进行应用执行时间预测.当即席应用到达后,通过判断其所属应用类别并采用相应的预测模型进行执行时间预测.实验结果表明,与采用统一预测模型相比,提出的方法可使得预测结果的均方根误差和平均绝对百分误差平均降低32.1％和33.9％.