工作流调度

摘要： 作为一种新型计算范式,边缘计算已成为解决大规模科学应用程序的重要途径。针对边缘环境下的科学工作流调度问题,考虑到任务计算过程中的服务器执行性能波动和数据传输过程中的带宽波动造成的不确定性,文中基于模糊理论,使用三角模糊数表示任务计算时间和数据传输时间,同时提出一种基于遗传算法算子的自适应离散模糊粒子群优化算法(Adaptive Discrete Fuzzy GA-based Particle Swarm Optimization,ADFGA-PSO),目的是在满足工作流截止日期约束的前提下,降低其模糊执行代价。该方法引入遗传算法的两点交叉算子以及关于任务优先级的邻域变异算子和关于服务器编号的自适应多点变异算子,避免粒子陷入局部最优,有效提高算法的搜索性能。实验结果表明,与其他调度策略相比,基于ADFGA-PSO的调度策略能够更加有效地降低边缘环境下带截止日期约束的科学工作流的模糊执行代价。

摘要： 针对云工作流调度优化问题,提出一种基于预算约束和截止时间敏感的高能效工作流调度算法ESDWB。利用最长路径计算任务优先级,在满足剩余预算的前提下选择目标虚拟机;在不影响工作流执行跨度和预算约束的情况下,利用动态电压/频率调整方法DVFS扩展任务完成时间,进一步降低工作流的整体执行能耗。利用4种科学工作流结构进行仿真实验,其结果验证了ESDWB算法在满足预算约束的同时,还可以有效降低截止时间违例,减少工作流调度能耗,实现高能效任务调度。

摘要： 为了实现不确定性云环境中的工作流的有效调度,提出一种不确定性感知的工作流调度算法。在工作流任务执行时间不确定背景下,该算法利用主动式和响应式的调度策略,可以实时触发新工作流的调度请求和响应虚拟机完成任务后的任务调度请求,并满足多工作流的执行环境。在现实工作流模型的测试表明该工作流调度算法可以在确保满足截止时间约束的同时,极大降低工作流执行代价和提高虚拟机资源利用率,并将不确定性影响降低至最小。

摘要： 针对端边云协同环境下工作流应用场景中,智能终端可移动、边缘服务器服务范围有限、用户实时性要求高和终端能耗等问题,建立了基于端边云异构资源有效协同的工作流任务执行时间模型和终端能耗模型,在此基础上构建端边云环境下能耗感知的工作流实时调度模型,并提出能耗感知的工作流任务调度算法。该算法首先根据工作流特性划分子任务优先级;其次根据终端初始位置信息,利用改进粒子群优化算法找到一个最优的资源调度方案;然后根据终端移动轨迹筛选可迁移资源,并为每个任务动态选择最优迁移决策。仿真结果表明,与已有策略相比,新策略能够在满足时间延时的约束下降低终端能耗,获得最优系统适应度值。

摘要： 移动边缘计算环境下,用户可将本地的计算密集型任务卸载至边缘服务器,从而缩短工作流的完工时间并节省设备能耗。然而,许多研究忽略了用户移动导致的网络连接变化对工作流调度的影响。针对现有算法中存在的卸载不合理问题,文中提出了基于移动感知的工作流调度算法MaWS。该算法通过预测用户移动轨迹得出未来可通信的基站集合,并融入遗传算法,制定合理的任务执行顺序和执行位置。仿真结果表明,相比HEFT和Greedy等算法,MaWS算法能够有效缩短10%~15%的工作流完工时间并降低8%~13%的设备能耗,为移动边缘计算下的工作流调度提出一种有效方案。

摘要： 移动边缘计算是一种新兴的分布式和泛在计算模式,其将计算密集型和时延敏感型任务转移到附近的边缘服务器,有效缓解了移动终端资源不足的问题,显著减小了用户与计算处理节点之间的通信传输开销.然而,如果多个用户同时提出计算密集型任务请求,特别是流程化的工作流任务请求,边缘计算环境往往难以有效地进行响应,并会造成任务拥塞.另外,受任务负载、电力供给、通信能力的实时变化等不利因素的影响,边缘服务器本身的性能总是处于波动和变化中,从而为保证任务执行效能和用户感知服务效率带来了挑战.针对上述问题,文中提出了一种基于深度Q网络(DQN)与概率性能感知机制的边缘计算环境多工作流调度方法.首先对边缘云服务器的历史性能数据进行概率分析,然后利用获得的性能概率分布数据驱动DQN模型,不断迭代优化,生成多工作流的卸载策略.在实验验证环节,基于边缘服务器位置数据集、性能测试数据和多个科学工作流模板,在反映不同系统负载水平的多个场景下进行了模拟实验.实验结果表明,所提方法在多工作流执行效率方面明显优于传统方法.

摘要： 为了同步解决云工作流调度时的失效和高能耗问题,提出一种基于可靠性和能效的工作流调度算法.算法为了在截止时间的QoS约束下最大化系统可靠性并最小化调度能耗,将工作流调度过程划分为四个阶段:计算任务优先级、工作流任务聚簇、截止时间子分配和任务调度.算法在满足执行次序的情况下对任务进行拓扑排序,并以通信代价最小为目标对任务进行聚簇;将截止时间在任务间进行子分割;以合适的频率/电压等级对聚簇后的任务进行调度,在确保可靠性的前提下最小化系统能耗.通过随机任务图和高斯消除任务图进行综合仿真测试,结果表明算法在降低总体能耗和提高工作流调度可靠性方面均优于对比算法.

摘要： 为提高多重约束下的调度成功率,提出一种满足期限和预算双重约束的云工作流调度算法.将可行工作流调度方案求解分解为工作流结构分层、预算分配、期限分配、任务选择和实例选择.工作流结构分层将所有工作流任务划分层次形成包任务,以提高并行执行程度;预算分配对整体预算在层次间进行分割;期限分配将全局期限在不同层次间分割;任务选择基于任务最早开始时间确定优先级,得到任务调度次序;实例选择根据时间和代价均衡因子,获取任务执行最佳实例.仿真结果证明,该算法在调度成功率、同步优化工作流执行时间与执行代价上相较对比算法更好.

摘要： 提出了一种具有数据依赖性和优先级的工作流任务调度算法,算法方法将任务调度过程分为决定任务调度优先级和调度资源选择两个阶段。对于任务优先级,结合传统秩值定义方法设计了一种新的任务优先级定义方法,该方法通过升秩值与降秩值以求取后继任务的秩值之和取代求取最大值的方法,更有利于表示工作流中任务的剩余负载量。在调度资源选择上设计了一种基于最快计算时间的资源选择方法。此外,结合设计的任务优先级定义方法将其融入基于关键路径的任务调度方法中,并与常规方法进行了比较。在算例分析中结合已有优先级定义方法和调度资源选择方法对算法进行了随机组合,得到了多种基于优先级的任务调度方法,得到了相应的任务调度结果,并对结果进行了分析比较,验证了新算法在提高任务执行效率方面的有效性。

摘要： 为解决云计算环境下工作流多目标难于优化的问题,本文提出了一种花朵差分授粉工作流多目标调度优化算法.该算法将工作流中任务和虚拟机建模成花粉,将完整的调度序列建模成花朵.依据任务的偏序关系进行离散花朵授粉过程.仿真结果表明较算法NSGA-Ⅱ和MEOA/D,该算法能在限定的截止期和预算的条件下具有更高的资源利用率.

摘要： ＳｃｏｐｅＷｏｒｋ是支持ＣＩＭＳ复杂应用的工作流管理系统的原型系统，该文给出了ＳｃｏｐｅＷｏｒｋ系统的体系结构并论述了在这个体系结构中的工作流调度方案。这一体系结构及调度方案虽然是基于ＣＯＲＢＡ的，但对基于其它通信环境下的工作流调度也具有一定的参考价值。

摘要： 本发明实施例公开了一种工作流生成方法、工作流执行方法以及工作流执行系统，该方法包括：获取所述节点对象的节点行为以及节点类型；在所述节点类型为人工节点时，获取业务表单，形成所述节点对象，在所述节点类型为自由节点时，所述业务表单以及所述节点类型形成所述节点对象；依据预先设定的业务处理流程以及所述节点对象对应的节点行为，获得与所述节点对象对应的路由；依据所述路由与构建的各个节点对象的对应关系，组合所述各个节点对象以及所述路由，以完成所述工作流的构建。采用本发明实施例提供的方法、装置以及系统可以缩减工作流开发的时间、对工作流的更改不需要对程序代码进行更改以及内存中程序代码的冗余度低。

摘要： 本发明提供了一种基于数据流和工作流的统一调度平台及工作方法，能够有效结合数据流和工作流的优势，使得任务调度配置化，数据流转参数化。能够适应多来源数据的复杂结构，完成数据整个ETL过程，同时完成对于多种计算任务生命周期的管理。此平台能够将数据流的管理和工作流的调度有机结合起来，使得数据从流入到计算，最后到结果输出，形成一套完整的数据工作流管理平台，此平台兼顾了数据流的方向控制和工作流的周期控制。

摘要： 本发明实施例公开了一种工作流程创建方法、工作流设计器和工作流系统，其中，方法包括：启动设计界面；在设计界面上生成工作流程的流程图，包括各封装有属性参数的节点图标，属性参数包括节点ID参数、节点类型与节点属性；构成工作流程的各节点预先设置在业务系统中；节点属性包括业务模型或流转条件；获取业务系统的系统ID和工作流程的流程ID；分别针对流程图中的各节点图标，从业务系统获取节点图标所表示的节点，将节点图标的属性参数中的节点ID参数配置为所表示节点的节点ID，并根据用户指示对属性参数中的节点类型和节点属性配置参数值。本发明实施例可以提高工作流程的可配置性和复用性。

摘要： 本发明涉及一种基于工作流吞吐量最大化的工作流调度方法，包括：用户提交具有执行期限约束的工作流；将工作流转换为有向无环任务模型图DAG；进行DAG任务结点调度；输出工作流吞吐量最大化调度方案，并将其返回给用户；将用户提交的工作流映射到具体的计算资源上执行，完成工作流调度。本发明所述方法考虑多个工作流在异构分布式计算资源上调度，并使工作流完成的数目尽可能多，计算资源利用尽可能充分，克服了现有EDF方法不能根据DAG的不同特征确定调度顺序的缺点，大大提高工作流调度系统的效率，减少了由于没有在规定时间内完成计算而带来的损失，提高系统的用户体验。

摘要： 本发明公开了一种工作流队列服务器、一种工作流调度系统和一种工作流调度方法，所述工作流队列服务器用于存储一个或一个以上机构的任务，定期从数据库中装载符合所述机构条件的任务到本地，当所述工作流队列服务器收到客户端请求时将存储的符合请求条件的任务返回给所述客户端；所述工作流调度系统包括工作流队列服务器布告板和至少一个所述的工作流队列服务器，以把作业任务按照机构的不同散列到多个工作流队列服务器，每个机构最多对应一个所述工作流队列服务器。本发明把工作流中大部分任务检索的计算从数据库转移到一个或多个服务器中，减轻了数据库的访问压力，降低了数据库索引空间占用，而且提高了客户端的响应速度。

摘要： 本发明涉及一种工作流的任务调度方法以及多工作流调度方法和系统，所述任务调度方法包括：步骤1，计算工作流中每个任务的向上权值，按向上权值的降序将任务放入待调度任务列表；步骤2，选择向上权值最大的任务，遍历并计算该任务在每个处理机上的最早完成时间，将该任务部署到最早完成时间最短的处理机上；步骤3，按待调度任务列表中的任务顺序，采用步骤2的方法为其余任务部署相应的处理机。所述多工作流调度方法主要原理为：将实时接收的工作流的优先级与正在被调度执行的工作流的优先级相比较，根据比较结果实施公平性策略或回填策略，再利用WSS策略进行任务调度。本发明基于云计算环境，能在效地进行多优先级的多工作流调度。

摘要： 本公开提出一种工作流调度方法和系统及工作流引擎，涉及工作流领域。该方法包括：在工作流引擎侧为每个测试对象创建一个独立的命名空间，并分配唯一的命名空间标识，在命名空间内再根据不同的任务类型创建不同的任务队列，实现对不同测试对象的任务隔离，任务执行器在向工作流引擎发送任务请求时，除了携带任务类型外，还携带测试对象的命名空间标识，工作流引擎收到任务请求时，先根据命名空间标识定位到某一测试对象，再根据任务类型找到该测试对象命令空间下对应的任务队列，从任务队列中取出任务下发给任务执行器执行。使工作流任务准确地下发给合适的任务执行器。

摘要： 本发明涉及一种在混合云下科学工作流调度的策略，策略基于任务概率聚簇和多约束工作流划分的思想，有效降低系统开销，缩短执行时间，降低公有云的执行花费，提高研究机构的执行效率。策略包含以下步骤：一、利用任务概率聚簇思想，将科学工作流进行任务概率聚簇，提高任务调度粒度，降低系统开销；二、使用基于多约束工作流划分思想，当私有云无法满足研究机构所提的时间需求时，则采用多约束工作流划分，平衡每个子工作流的资源需求，降低每个子工作流间的通信量；三、按照截止时间，为每个子工作流分配合适的云资源，提高私有云的资源利用率，降低公有云的花费。

摘要： 本发明涉及一种基于工作流吞吐量最大化的工作流调度方法，包括：用户提交具有执行期限约束的工作流；将工作流转换为有向无环任务模型图DAG；进行DAG任务结点调度；输出工作流吞吐量最大化调度方案，并将其返回给用户；将用户提交的工作流映射到具体的计算资源上执行，完成工作流调度。本发明所述方法考虑多个工作流在异构分布式计算资源上调度，并使工作流完成的数目尽可能多，计算资源利用尽可能充分，克服了现有EDF方法不能根据DAG的不同特征确定调度顺序的缺点，大大提高工作流调度系统的效率，减少了由于没有在规定时间内完成计算而带来的损失，提高系统的用户体验。

摘要： 本发明公开了一种工作流队列服务器、一种工作流调度系统和一种工作流调度方法，所述工作流队列服务器用于存储一个或一个以上机构的任务，定期从数据库中装载符合所述机构条件的任务到本地，当所述工作流队列服务器收到客户端请求时将存储的符合请求条件的任务返回给所述客户端；所述工作流调度系统包括工作流队列服务器布告板和至少一个所述的工作流队列服务器，以把作业任务按照机构的不同散列到多个工作流队列服务器，每个机构最多对应一个所述工作流队列服务器。本发明把工作流中大部分任务检索的计算从数据库转移到一个或多个服务器中，减轻了数据库的访问压力，降低了数据库索引空间占用，而且提高了客户端的响应速度。