高性能集群中基于资源分区管理的作业调度

摘要

随着高性能计算应用的需求越来越大，设计性能良好、低价格的高性能计算集群满足不同用户的需求是中小型规模高性能计算的重要目标。蓝星高性能计算平台通过图形化的并行程序提交接口、高效的作业调度策略和资源分区管理机制使系统具有操作简单、管理方便、性能良好等特点，具有很高的实用价值。
　　 高效的作业调度策略和资源管理机制是提高性能计算集群计算能力的基础。传统的集群作业调度策略多集中在如何使作业均衡调度到计算节点，提高作业调度公平性以提高系统性能，而很少考虑用户复杂多样的要求；同时复杂的作业调度策略和资源监控机制也带来了集群管理的复杂性以及扩展性差等问题。
　　 针对用户需求的复杂多样，采用资源分区管理机制使高性能计算系统能够满足不同用户的要求，提供有差别的服务质量。通过将不同的资源分区与不同权限的用户对应起来，使各个分区处于逻辑独立的状态，相互之间的作业互不干扰。同时根据分区的繁忙程度，对分区进行动态重组，能够大大简化集群系统的管理难度，保护系统的关键作业，提高系统的可靠性。
　　 基于用户需求不一致的特点，提出了一种基于用户特点的作业调度算法，该算法综合考虑用户权限、资源的可用性、作业的权值等因素，有效地提高了集群计算系统的作业调度效率和利用率，同时可缩短用户的作业响应时间，能满足不同应用领域的服务质量需求，具有较大的实际价值。
　　 实验表明，资源分区动态管理机制能够有效地管理集群计算资源，提高集群性能，使系统提供差价服务；基于用户特点的作业调度策略可以满足不同用户的作业执行需求。