一种面向Hadoop的动态调度方法

摘要

本发明提供一种面向Hadoop的动态调度方法，包括以下步骤:S1：设置每个节点的计算能力是一致的；且每个作业的执行时间随着执行次数的增加而线性减少；S2：判断作业是否为同类作业，且获取并统计同类作业的执行情况；S3：解析每个作业提交时所制定的期望执行时间；S4：若判定作业为同类作业，则会建立代价模型得到作业权重值；S5：若判断作业不为同类作业，则分配最低权重值；S6：根据作业权重值调整作业实际资源量，提高实时作业的响应度。本发明可以有效地解决现有调度算法在调度实时作业上的不足，并对实时作业进行资源控制，以此提高实时作业效率的能力，从而达到用户精细控制作业执行速度的功能。