基于类重叠度区分的大规模云平台任务终止状态预测

摘要

大规模云平台任务终止状态的预测是云资源调度策略优化的关键步骤。本文以Google云平台的计算调度系统Borg为对象进行研究,针对任务的各种终止状态极度不均衡和类重叠的问题,提出了一种类重叠度区分的自定义步长‐梯度提升决策树(SP‐GBDT)任务终止状态预测方法,对任务终止状态进行细粒度的多分类预测,提高少数类任务状态的预测准确率。首先将终止状态的多个类别拆分成若干个二类组合,通过支持向量数据描述模型(SVDD)筛选出类重叠度较低的最优二类组合。然后,分别对最优的二类组合进行扩展采样比例的自定义步长欠采样。最后构建梯度提升决策树模型,将欠采样之后的数据进行多分类。在Google云平台的运行监控日志数据集上进行验证,通过对比预测结果和预测过程的可解释性分析,SP‐GBDT模型能够很好地降低数据集的不均衡比例以及类重叠的程度。与决策树和随机森林等常用多分类预测方法相比,所提算法的F1‐score分别提高了30.39%和18.26%。