基于决策树预测的数据并行作业资源分配方法

摘要

本发明公开了一种基于决策树预测的数据并行作业资源分配方法，包括1：获取已完成的作业数据集；2、使用已完成的作业数据集对决策树模型进行训练；3、预估每个作业的初始资源分配预估值；4、使用初始资源分配算法对已获得初始资源分配预估值的作业进行资源初分配，得到每个作业的初始资源分配值；5、将获得初始资源分配值的作业提交给计算机集群开始执行。本发明通过决策树模型预测不同计算资源分配下的作业完成时间差，找到使得作业完成时间最小的计算资源分配，得到较佳的计算资源分配预估值。该方法利用底层网络、磁盘读写操作等作为预测特征，反映分布式计算框架的网络传输和磁盘输入输出开销，从而实现比建模预测更高的预测精确性。