基于处理器收益的可变并行作业调度模型研究

摘要

作业调度器作为集群中最重要的元素之一，其采用的调度机制决定着诸如平均周转时间等性能表现。可变并行作业因为能够根据系统的实时状态选择处理器的分配数量，减少作业的等待时间或者运行时间，从而减少作业周转时间，受到越来越多的关注。可变并行作业调度方法由资源分配策略和作业选择策略组成。当前的作业选择策略已经研究得很成熟，而资源分配策略尚待完善。
　　针对以上问题，基于处理器收益的可变并行作业调度模型，提出了单位处理器收益指标，并根据该指标设计了基于处理器收益的资源分配策略，集成了最高收益优先资源分配算法。单位处理器收益指标通过Downey模型计算，代表每个作业增加一个处理器资源后缩短的作业运行时间。该分配算法总是将处理器分配给具有最高单位处理器收益值的作业，达到缩短作业运行时间，从而缩短作业周转时间的目的。在资源分配完成后，将资源分配结果传递给作业选择策略，对等待队列中的作业进行调度。作业选择策略集成了先来先服务和回填作业选择算法，可根据集群管理者的需求选取作业选择算法调度作业。基于处理器收益的可变并行作业调度方法能够灵活地根据系统负载情况调整资源分配数量，将资源分配给具有最高单位处理器收益值的作业，提升系统的调度性能。
　　在实验中，研究了最高收益优先资源分配算法中参数的值如何影响调度性能，并且根据实验结果给出了在实际调度中参数选取的建议；接着比较了最高收益优先资源分配算法、贪心资源分配算法和公平分享资源分配算法。实验结果表明，最高收益优先资源分配算法能得到最大的性能提升，其中结合了最高收益优先资源分配算法和回填算法的调度方法总能获得最短的周转时间（性能最大提升71％）。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1问题的提出

1.2国内外研究现状

1.3课题背景与研究内容

1.4本文的组织结构

2 可变并行作业调度过程问题分析

2.1可变并行作业调度的可行性分析

2.2可变并行作业调度工作流程解析

2.3可变并行作业调度的关键问题和难点分析

2.4资源分配算法分析

2.5研究思路

2.6小结

3 基于处理器收益的可变并行作业调度模型

3.1基于Downey模型的作业运行时间预测策略

3.2基于处理器收益的最高收益优先资源分配策略

3.3作业选择策略

3.4调度模型的应用实例

3.5小结

4 系统测试与分析

4.1实验设置

4.2资源分配算法参数选取分析

4.3性能测试

4.4小结

5 总结与展望

致谢

参考文献

附录1 攻读硕士期间发表的论文

附录2 攻读硕士期间申请的国家发明专利

附录3 攻读硕士期间参与的项目