一种异构环境下时空型混合负载调度优化方法

摘要

一种异构环境下时空型混合负载调度优化方法，包括：依据异构分布式集群的各计算节点的处理器将其划分为高/中性能计算节点；对排队待运行混合负载的传统资源请求{CPU/GPU，Mem}进行属性扩展，增加Label和Time两个属性；对排队待运行混合负载的资源请求增加属性Utility；构建调度优化模型目标函数增加针对负载的限制；增加针对计算节点的限制；求解模型。本发明采用效益函数扩充时空型混合负载的传统资源请求，为其构建全局调度优化模型，进行灵活的任务分配，在可用资源充足时尽量为任务分配偏好的资源，在偏好资源忙碌时为其分配其它可执行资源，来达到提高系统执行效率的目标。

说明书

技术领域：

本发明涉及计算机分布式集群技术领域，特别涉及一种异构环境下时空型混合负载调度优化方法。

背景技术：

随着信息技术的发展及集群规模的逐渐扩大，分布式集群逐渐趋向异构化。其中导致分布式集群下层硬件逐渐趋向异构化的原因为：1、为了满足不同应用的不同计算需求；2、由于集群规模扩大及集群内部机器损坏而导致的不断重新采购。同时，随着集群下层硬件趋向异构化，集群上层应用也逐渐趋向多样化且表现出时空特性，如具备时间特性的分析型任务有严格的截止时间要求，具备空间特性的深度学习任务在GPU节点有更高的运行效率等。所以如何在异构分布式系统中为时空型混合负载分配合理、高效的计算资源成为一个重要的问题。然而传统的分布式处理框架，如Apache Hadoop，Microsoft Dryad，DryadLINQ主要为同构的集群所设计和优化，不能利用异构计算节点的性能优势，在异构分布式系统对于时空型混合负载的处理有较差的性能表现。

发明内容：

针对以上问题，有必要设计一种异构环境下时空型混合负载调度优化方法，以充分利用现有资源满足不同应用的不同计算需求。

一种异构环境下时空型混合负载调度优化方法，包括以下步骤：

步骤一：依据异构分布式集群的各计算节点的处理器将其划分为高/中性能计算节点，并分别标记为L

步骤二：对排队待运行混合负载的传统资源请求{CPU/GPU，Mem}进行属性扩展，增加Label和Time两个属性；扩展后的资源请求为{CPU/GPU，Mem，Label，Time}；其中，Label代表该负载所有可分配的计算节点类型，Label∈[L

步骤三：对排队待运行混合负载的资源请求增加属性Utility，Utility的含义是该类型负载在计算节点类型Label上运行的执行收益，用以表示负载对于节点的执行偏好；

时间型负载：时间型负载有明确的执行截止时间要求，所以如果负载在截止时间前执行完毕则Utility＝1，否则该执行就是无意义的执行Utility＝0；

空间型负载：空间型负载在中性能计算节点的执行收益设为基础收益1，由于空间型负载对于运行高效的节点有执行偏好，所以对于高性能计算节点应具备更高的效益值，在基础效益上附加一个正比与计算节点执行能力差异的额外效益，即Utility＝1+(T

普通工作负载：由于普通工作负载没有执行偏好，所以该负载在所有类型计算节点运行时有相同的效益值，即Utility＝1；

步骤四：构建调度优化模型目标函数：

本发明优化模型构建的目标为充分利用分布式集群的资源，通过上述建模过程已将负载对资源的利用进行效益量化，所以目标函数应最大化所有排队负载在系统时间T内的总执行收益，如公式(1)形式，其中i为负载，I为负载总数，k为计算节点，K

步骤五：增加针对负载的限制包括如下两点：

a、如果负载i被分配到计算节点k运行，并在时间t处于运行状态则N

b、负载i在时间t只能选择或者不选择计算节点k，所以对于负载执行的限制如公式3所示：

N

步骤六：增加针对计算节点的限制；

如果负载i从时间t开始被分配了资源类型k的计算节点，那么由于负载是连续运行的，所以负载会在其运行时间Time内占用该计算节点，即负载i会在时间点t+1,t+2,...,t+Time

步骤七：经过上述过程已将统一添加标签的资源请求转化为在一段时间周期内最大化系统执行收益的全局优化模型，解(1)～(4)式，得到N

优选的，将采用GPU的计算节点划为高性能计算节点，将采用CPU的计算节点划为中性能计算节点。

优选的，步骤七该模型的求解转化为混合整数线性优化问题。

优选的，步骤七选择软件CPLEX、Gurobi和GLPK进行求解。

优选的，步骤三中T

优选的，步骤二中Time为历史执行数据库中该类型任务在同类型计算节点的平均执行时。

本发明通过采用效益函数扩充时空型混合负载的传统资源请求，并为其构建全局调度优化模型，进行灵活的任务分配，在可用资源充足时尽量为任务分配偏好的资源，在偏好资源忙碌时为其分配其它可执行资源，来达到提高系统执行效率的目标。针对不同负载配比、不同数据量集，该全局调度优化模型都比传统的分布式处理框架在异构环境下处理时空混合负载表现更优异，尤其是在集群环境复杂、异构化严重时更能充分利用集群资源、显著提高系统的执行效率。

具体实施方式：

在本专利中，分布式集群中的每一台计算机为一个计算节点。GPU指图形处理器；CPU指中央处理器。

一种异构环境下时空型混合负载调度优化方法，在本实施例中包括以下步骤：

步骤一：异构分布式集群有3个计算节点构成，C

步骤二：用户向异构分布式系统提交1、2、3、4共四个任务，前两个为图像处理任务，后两个为日志处理任务，异构分布式系统对图像处理任务的资源请求抽象为{1CPU，2GB，L

步骤三：任务1运行在中性能计算节点上，其执行收益为1；任务2运行在高性能计算节点上，查询其历史记录T

步骤四：为上一步中的四个任务构建目标函数：

步骤五：为步骤三中任务添加限制条件

N

步骤六：为步骤三中空间型负载添加限制条件：

T取整数20，用CPLEX或Gurobi或GLPK解上述(1)～(5)式，解得：为任务1、2添加L