科学工作流

摘要： 为提高科学工作流建模的效率和智能性,针对现有科学工作流管理系统在支持流程建模方面的特点以及用户的交互式建模需求,提出一种面向交互式建模的科学工作流活动推荐方法。该方法以科学工作流库为起点,将科学工作流片段作为推荐参考模型,主要包括聚类预处理、匹配度计算等步骤,可根据构建中的科学工作流模型及用户建模需求,推荐合适的科学工作流活动。基于真实数据集的评估实验验证了该算法的有效性。

摘要： 随着应用程序计算需求的快速增长,异构计算资源不断地增多,任务调度成为云计算领域中重要的研究问题.任务调度负责将用户任务匹配给合适的虚拟计算资源,算法的优劣将直接影响响应时间、最大完工时间、能耗、成本、资源利用率等一系列与用户和云服务供应商经济利益密切相关的性能指标大小.针对独立任务和科学工作流这两类云环境主流任务,结合不同云环境特征对任务调度算法研究进展进行综述和讨论.回顾梳理已有的任务调度类型、调度机制及其优缺点;归纳单云环境和混合云、多云及联盟云等跨云环境下任务调度特征,并对部分相关典型文献的使用方法、优化目标、优缺点等方面进行阐述,在此基础上讨论各个环境下任务调度研究现状;进一步对各类环境下文献使用的调度优化方法进行梳理,明确其使用范围;总结并指出需要对计算数据密集型应用在跨云环境下的任务调度研究进行重点关注.

摘要： 随着地理计算问题的日益复杂和计算规模的不断扩大,目前很难通过手工对复杂地理计算过程进行控制.提出了一种基于科学工作流技术的地理计算流程管理方法,设计了地理计算流程管理系统的结构和功能,引入开源工具Swift进行系统实现,验证了科学工作流技术用于管理地理计算流程的可行性.最后,通过住址选址案例表明该系统能够通过提高计算任务的并行程度来加速地理计算.

摘要： 随着地理计算问题的日益复杂和计算规模的不断扩大,目前很难通过手工对复杂地理计算过程进行控制。提出了一种基于科学工作流技术的地理计算流程管理方法,设计了地理计算流程管理系统的结构和功能,引入开源工具Swift进行系统实现,验证了科学工作流技术用于管理地理计算流程的可行性。最后,通过住址选址案例表明该系统能够通过提高计算任务的并行程度来加速地理计算。

摘要： cqvip:伴随着“互联网+”技术的飞速发展,世界各地的网络环境越来越好,通过云计算技术操作异地计算资源的情况也越来越多。其中当本地资源不足时,私有云、公有云混合的混合云方案被各大企业广泛应用,本文针对混合云环境中的工作流任务调度问题,研究在满足任务截止期约束的同时使私有云利润最大化,节约企业成本。在私有云环境中,本文提出了一种优化的蚁群算法(Ant Colony Optimization Workflow Scheduling, ACOWS)用于工作流在用户指定的期限内完成任务的执行。在此基础上提出混合云下的动态多工作流调度算法(Hybrid Cloud Deadline-Constrained Cost Workflows Scheduling, HCDCW),该算法将优先在私有云中调度执行,当任务执行时间超出任务截止期约束时,使用公有云调度部分工作流。在实验阶段,利用WorkflowSim仿真平台对算法进行了验证,实验结果表明在不同截止期,该调度算法相比于传统混合云工作流调度算法能有效的帮助企业在使用混合云过程中降低租用公有云的费用成本,并获得更快的执行时间。

摘要： 混合云环境下,合理的数据布局策略对科学工作流的高效执行至关重要.传统的科学工作流数据布局策略主要基于确定性环境,而在实际网络环境中,由于不同数据中心之间的负载不同、带宽波动和网络拥塞等原因以及计算机自身的特性,数据传输时间存在不确定性.为了解决该问题,基于模糊理论,以最小化数据模糊传输时间为目标,提出了一种基于遗传算法算子的模糊自适应离散粒子群优化算法(Fuzzy Adaptive Discrete Particle Swarm Optimization Algorithm Based on Genetic Algo-rithm Operators,FGA-DPSO),对科学工作流数据进行合理布局,同时满足数据集的隐私要求和数据中心的容量限制.实验结果表明,该算法能够有效地减少混合云环境下科学工作流的数据模糊传输时间.

摘要： 超算环境中科学工作流技术广泛应用于科学研究和工程仿真领域.复杂多物理过程数值模拟、多阶段数据处理等应用往往需要使用多种应用软件相互协作,构建业务流程自动执行来提升工作效率.然而在超算环境中执行科学工作流应用面临着资源失效、任务配置错误等异常情况,造成工作流执行中断,严重影响完成效率,故容错功能对超算工作流应用的稳定持续运行有重要意义.介绍了科学工作流的容错设计分类,并对典型工作流系统的容错设计进行分析评述;提出了基于决策树的事件-条件-动作容错模型,设计了非侵入式可扩展的容错架构,并针对自主研发的部署在超算环境下的科学工作流应用平台HSWAP,实现了运行时可配置的容错策略.在实际的工程仿真任务中,基于所提出模型和架构实现的容错机制为提高工作流执行效率发挥了重要作用.

摘要： 科学工作流执行过程中,多个任务组成的聚类作业相对单任务故障风险更高.容错聚类算法在进行故障恢复的同时面临着负载不平衡问题,为此提出了一种平衡重聚类算法(Balanced Re-clustering,BR).该算法结合水平运行时间平衡聚类算法(Horizontal Runtime Balancing,HRB)对选择重聚类方法(Selective Re-clustering,SR)进行改进,将运行时间最长的任务分配给运行时间最短的类,在故障发生后重新运行失败的任务.实验结果表明,与现有的两种任务重聚类方法相比,BR算法的性能增益最高分别可达84％和18.75％,显著降低了工作流执行成本,提高了系统的运行效率.

摘要： 为降低云环境下科学工作流的执行代价,提出了一种执行计划的优化方法.引入猴群算法,依靠对当前执行计划的层内和层间优化,在保证工作流全局截止时间约束的前提下,通过同层任务的逻辑聚合和任务的层间调整,尽可能减少各层任务数的差异,以避免资源的闲置浪费,缩短任务的等待时间.实验表明,该方法与类似研究相比,可降低资源消耗量,减小总的延迟时间.

摘要： 高性能计算机硬件的快速发展带来了体系结构的高复杂性,对使用者利用好当代超算资源提出了更高要求.在工程实际和科学实验中,为完成某一专题作业,往往需要使用多种应用软件相互协作,在HPC环境中使用科学工作流技术集成相关业务软件,构建业务流程能够有效提升工作效率.本文描述了一种部署在HPC环境下的科学工作流应用平台,对平台中的引擎设计和资源调度方式进行了阐述,分析了引擎设计和资源调度的需求,设计了针对有向无环图(DAG)的并发异步流程执行引擎,采取调度算法和调度器、引擎相分离的设计策略,有利于算法扩展和引擎独立发展.基于科学工作流的调度问题一般抽象为DAG的调度,针对调度的资源供给问题提出了局部资源池化技术和资源预约算法,有效提升了工作流的整体执行性能;针对启发式调度算法,比较分析了五种常用调度算法的性能,给出了算法选择的建议.引擎和调度方案已在高性能科学工作流应用平台HSWAP中得到实际应用.

摘要： 本文对国内外围绕科学工作流(Scientific Workflow,SWF)开展的若干关键技术进行了综述,本文中提出了SWF生命周期的概念，并将SWF分为流程构建、资源匹配、执行以及来源管理四个阶段。每个阶段都有不同的研究内容，在流程的构建阶段主要的研究内容有SWF的表示、SWF语言、流程的组合方式等;在资源匹配阶段的研究内容主要包括服务的查找与匹配以及资源的调度策略和调度算法等;在执行与来源管理阶段主要涉及到SWfMS的容错与安全性，同时还包括对流程执行过程中的数据流、计算资源、计算环境等进行来源信息的捕获和记录。

摘要： 科学工作流是典型的大数据应用,每个任务涉及的数据体量大,分布式环境下移动的网络代价高,良好的数据布局策略对于降低跨数据中心的传输代价、提高科学工作流运行效率至关重要.随着大数据时代来临,科学工作流计算任务涉及到的数据集和数据存储节点增多,使得求解数据布局最优方案变得更加困难.使用传统数据布局策略往往只能得到局部最优方案.为此,提出一种基于释放和重构的数据布局策略,使得在超大规模的解空间中尽快找到更加接近全局最优的数据布局方案.策略首先基于前期研究成果产生初始解,然后遘过解的局部释放和重构,对解空间的不同邻域进行搜索,不断提高解的质量.通过实验验证并与传统方法比较,结果显示该数据布局方案数据持输代价更小,性能更好.

摘要： 在现代分布式网络环境中开发与应用科学工作流系统时,由于受数据采集的准确度和网络链路可靠性影响,将会导致工作流运行中所产生数据源图的不确定性,在这样的不确定式数据源图中进行面向工作流任务的概率式受限可选查询时将面临着新的技术挑战针对此问题提出了一种紧凑有效的概率式受限可达查询算法,用于解决不确定数据源图中任意两点间受限于特定任务集的概率可达查询;并提出了一种基于扩展树的数据结构,用于计算数据源图中任意两节点间的可达查询,并给出所有可达路径,然后根据客斥原理对已知可这路径的可达概率计算进行简化;最后给出实验对算法的特点进行评估与分析.

摘要： 科学工作流(Scientific Workflows,SWF)技术从上世纪90 年代发展至今,在科学研究和实验分析中发挥着越来越重要的作用,成为很多领域研究必不可少的研究手段.本文先综述了国内外SWF技术研究现状,通过对比常见的SWF系统,总结了SWF系统基本功能结构,并剖析了SWF系统的关键技术实现方法.然后将SWF技术应用于空间信息科学计算中,探讨了SWF带来的计算模式的改变,针对该领域亟待解决的问题设计实现了面向空间信息处理的SWF系统,并对调度延迟和系统扩展性指标进行了性能分析.最后文章提出了对空间信息处理领域SWF研究发展趋势的一些展望.

摘要： 随着科学工作流管理系统在科研领域的普及，科学工作流管理系统所完成的实验结果可不可靠或者说正确与否是科学工作流中的一个关键问题。了解数据结果的产生过程并可以重现对科学实验来说变得非常有意义。一直以来，科学家都是同过手工来记录实验结果的产生过程和查看实验结果的产生过程，这在当前海量数据等状况下手工记录这些信息已经不再现实，本文讨论了在一个自行研制的科学工作流管理系统Nebulas中，如何开发并设计一个简化的自动收集和管理数据出处信息的框架，介绍了其技术架构和基本思路。

摘要： 随着天文领域的发展，数据孤岛越来越制约着天文的研究和资源的共享，虚拟天文台[1]利用 web 服务整合资源，利用科学工作流[2,3]实现天文学家的相互协作。本文重点介绍用J2EE 实现一种轻量级的科学工作流的展现框架，通过配置XML 文件，可以描述出一个完整的工作流并给予展现，实现用户界面的柔性扩展。最后用一个太阳信息的查询例子，简述框架实现。

摘要： 科学工作流过程的日趋复杂对工作流建模提出了巨大的挑战。作为应对这一挑战的有效方式,协同建模日益受到人们的关注。提出了一种基于令牌的科学工作流协同建模方法,详细讨论了令牌规则和并发操作冲突与操作冗余的应对策略。基于上述工作,构造了一个科学工作流协同建模系统,并对其中的关键数据结构和控制算法进行了分析和总结。

摘要： 本文提出如何确定并推荐科学工作流确定并推荐科学工作流确定并推荐科学工作流以促进其重用和再利以促进其重用和再利以促进其重用和再利以促进其重用和再利的问题的问题.具体地.具体地,将科学工作流将科学工作流转化成层次结构,转化成层次结构,转化成层次结构,用层次结构说明工作流、子说明工作流、子和活动之间的层次关系.通过计算层次结构之间的语义相似度,一个科学工作流的网络模型构建完成.采用基于图骨架的聚类算法对层次结构进行,确定每个聚类中的重心以便于聚识别和工作流的排序和推荐.实验结果表明,该技术在排序和推荐适当的聚类科学工作流方面是高效准确.

摘要： 针对卫星获取的大规模数据进行快速数据处理一直是空间信息处理系统应用建设中的关键.面对空间科学卫星全天候观测、探测载荷类型多、处理算法多样带来的数据处理难题,现有基于CCSDS标准格式的数据分析方法,难以满足目前在轨的多颗空间科学卫星数据处理系统在正确性和时效性方面的要求.本文针对空间科学卫星探测数据处理特点,提出了一种空间科学数据快速处理方法,设计两层联合索引结构,将大数据处理问题转化为索引表和源包数据单元的处理问题,提高了数据处理效率;采用科学工作流技术设计了数据驱动和业务驱动协同的处理框架,支持多样化的空间科学卫星数据处理流程,各类载荷数据处理任务并行调度.实验结果表明这种方法处理速度可扩展,内存使用较少,已应用于空间科学卫星地面系统中,取得了良好效果.

摘要： 本发明公开了一种基于事件间接先于关系的科学工作流挖掘方法，该方法以XES格式描述的事件日志作为输入，以SVG格式描述的标准科学工作流文件为输出结果；首先，通过解析XES日志文件，获取所有事件序列集合，遍历事件序列集合，获得所有基于间接先于关系的事件关系对；其次，根据事件关系对进行分析，确定事件相互关系，包括事件先于关系、事件后于关系、事件并行关系，并根据所有事件关系对生成科学工作流；最后，通过传递规约操作，保证事件之间可达关系不变的情况下，获得最终精简的标准科学工作流模型。本发明挖掘的科学工作流是可靠的、完备的，即使在日志信息不完备的情况下，挖掘尽可能接近于实际的标准科学工作流。

摘要： 本发明提供了科学工作流任务管理方法及装置。确定科学工作流的有向无循环图，图中展示有工作流中各任务和用于计算该任务的各其他任务间的关联关系、该任务的存储费用、该任务和该各其他任务所对应的各计算费用；设置若干粒子，粒子的取值包括各任务的决策变量的值，该值对应于存储或计算；根据图和各粒子当前的最新取值，计算各粒子的效用函数并确定其中的最小值；判断当前的各最小值中是否存在最优值，最优值为极小值且不大于任一最小值，若是则根据计算最优值时所使用粒子的取值对各任务进行管理，否则利用粒子群算法对各粒子当前的最新取值进行一次迭代更新，并再次计算各粒子的效用函数。本方案更容易实现科学工作流处理的费用最低化。

摘要： 本发明公开了一种云环境下截止期‑预算驱动的科学工作流调度方法，通过同时考虑截止期和预算两个约束，在将截止期转换为任务节点的子截止时间的基础上，引入当前任务预算和工作流剩余预算，通过对计算资源花费的限制，能够降低任务节点在子截止时间内完成计算所需的成本，从而降低科学工作流的调度成本，使科学工作流的调度时间、时间成本在截止期、预算约束情况下均能成功调度。

摘要： 本发明实施例提供的一种云环境中科学工作流数据集的存储方法，通过获取科学工作流任务执行产生的数据集后，根据数据集之间的依赖关系，得到数据集的依赖关系图，基于数据集在依赖关系图中的不同的存储状态，确定多个存储策略，计算每一个存储策略对应的存储成本；基于依赖关系图中的起始数据集至目标中间数据集之间的中间数据集的依赖关系，计算在每个存储策略下生成目标中间数据集的计算成本；针对每个存储策略，基于该存储策略对应的存储成本以及计算成本，计算该存储策略的总成本，确定总成本最小的存储策略为最优存储策略，按照最优存储策略对应的数据集的存储状态，对数据集进行存储，因此本发明实施例可以节省云环境中科学工作流存储数据集的代价。

摘要： 本发明实施例通过一种面向多请求的科学工作流数据集存储方法，通过工作流的数据集构建工作流表示模型，确定对个存储策略，当多请求访问访问多个数据集时，对多个访问请求进行希尔排序，然后根据排序后的访问请求在工作流表示模型中的数据集的生成顺序，分别计算在每个存储策略下多个访问请求访问的数据集的再生代价以及每个存储策略对应的存储代价，计算每个存储策略的总代价，按照总代价最小的存储策略对应的数据集的存储状态，对数据集进行存储。因此本发明可以在多访问请求访问多个数据集时，降低云环境下科学工作流的花费。

摘要： 本发明设计了一种云环境下科学工作流数据放置方法，针对科学工作流数据密集及数据规模大的特征，首先根据工作流的数据和任务之间的关系，对数据进行预划分；然后把预划分的数据作为聚类的初始状态，结合数据规模及数据‑任务相关性特征，进行数据的聚类；最后结合数据中心可用存储容量的情况进行数据放置的决策和实施。实验证明本发明方法可以有效减少数据中心间的数据传输开销，提高数据放置的效率。

摘要： 本发明公开了一种云环境下截止期约束的科学工作流调度方法，将任务集合T中的任务按照拓扑结构进行排序得到T′；为T′中的任务计算向上排序值；根据所述的向上排序值为中每个任务分配子截止期；将T′中任务根据子截止期的紧急情况进行排序；根据所述的排序先后次序为任务分配虚拟机；对初始调度方案进行虚拟机升/降级优化。本发明方法实现了云环境下的截止期约束下费用最小化的科学工作流调度，一方面通过虚拟机类型改变、任务回填等策略对虚拟机的占用率进行优化，提高了虚拟机使用率，另一方面通过截止期约束下的费用开销优化，为整个调度方案节省费用开销。

摘要： 本发明涉及一种在混合云下科学工作流调度的策略，策略基于任务概率聚簇和多约束工作流划分的思想，有效降低系统开销，缩短执行时间，降低公有云的执行花费，提高研究机构的执行效率。策略包含以下步骤：一、利用任务概率聚簇思想，将科学工作流进行任务概率聚簇，提高任务调度粒度，降低系统开销；二、使用基于多约束工作流划分思想，当私有云无法满足研究机构所提的时间需求时，则采用多约束工作流划分，平衡每个子工作流的资源需求，降低每个子工作流间的通信量；三、按照截止时间，为每个子工作流分配合适的云资源，提高私有云的资源利用率，降低公有云的花费。

摘要： 本发明涉及数据密集型科学工作流技术领域，特别是一种基于改进二进制粒子群算法的科学工作流任务调度算法。主要技术特点是：改进二进制粒子群算法，该算法提高了最优解的探测能力，所得最优解具有更好的实际调度效率和成本，提高了资源利用率。按照粒子群算法的寻优模式，粒子在飞行过程中，粒子越来越靠近最优粒子，位变化概率应该越小，而二进制粒子群算法反而越大，影响算法的搜索能力。提出的算法基于粒子群算法的寻优模式进行调整，粒子速度作为粒子位置的修正项，在对二进制粒子群算法进行改进中，速度迭代公式仍保持不变，速度归一化公式sigm函数以及位置迭代公式进行修整。

摘要： 本发明的一种基于隐私等级分级的科学工作流数据布局方法及终端，建立粒子群模型，基于粒子群中的每一个粒子当前的最优解和粒子群当前的最优解对每一个粒子进行迭代，得到收敛后的粒子群；每一个粒子表示混合云环境下隐私等级分级科学工作流的一个数据布局方案，在每一个数据布局方案中保存对应粒子在当前迭代时每一个分位的数据存储位置。结合遗传算法的变异算子和交叉算子，对不满足隐私等级限制或者数据中心容量限制的粒子进行更新；根据已更新的粒子或者满足隐私等级限制和数据中心容量限制的粒子得到对应的数据布局方案，从而通过引入遗传算法的交叉和进化算子，平衡算法的探索与开发，在满足隐私数据存储条件的限制下，降低数据传输时延。