作业调度

摘要： 目前研究的电力巡检机器人作业调度优化方法的适应度无法满足收敛原则,导致调度优化过程耗费时间过长。为此,基于遗传算法研究了一种新的电力巡检机器人作业调度优化方法。通过分析尺度特征,确定电力巡检机器人运行图像,计算偏移角度。引入遗传算法,利用编码/解码,设计适应度函数、选择、交叉和变异,选择操作的目标是能够在群体中选出优等个体,并逐渐增加群体中的优等个体;在进行迭代时,根据个体的适应程度来选择确定结果为选中还是淘汰,并根据选择结果实现电力巡检机器人作业调度优化。实验结果表明,该文所提方法在不同函数下得到的适应度结果都能够很好地满足收敛原则,且收敛速度和收敛精度都高于传统方法,能够有效缩短作业调度过程所耗费的时间。

摘要： 为实现飞机总装生产线合理规划,建立了考虑工时可变,且以人员投入成本最低为目标,兼顾多重约束的飞机总装资源配置与作业调度数学模型。针对工时可变导致变量组合爆炸的问题,以遗传算法为框架提出了一种工时优选策略,首先设计了包含人员分配量列表与延时时间列表的双层实数编码方式,然后从精英解中提取关于人员分配量与延时时间的统计概率知识,实现工时优选,并将其应用于聚集与分散两条重启操作,改进优化方向。此外,还提出了一种不可行工期修复方法,以提高对可行域的搜索效率。最后,将该方法应用于不同规模的算例,得到了成本更低的优化结果,验证了该方法具有较强的搜索能力;同时,还探讨了不同工期对优化结果的影响。

摘要： 随着企业科研生产的信息化不断发展,软硬件需求不断增加,如何提高设备利用率,控制作业进程在不同的服务器上合理分配,变成一个亟待解决的问题。文章通过在实际生产系统中的应用测试,比较分析静态负载均衡、动态负载均衡——最少连接数、动态负载均衡——动态反馈等算法在企业集群中的实用性,进而提出一套基于Linux专业应用软件的可伸缩、高可用的服务器集群动态反馈机制算法。

摘要： 随着企业软硬件产品增多导致服务器忙闲不均,急需通过结构化的方式整合资源,来进行统一调度。文章调研并分类企业专业应用软件的资源使用需求,同时构建负载均衡集群系统,探索使用多种调度方法,实现平衡分配与调度。

摘要： 针对快速分拣线的自动补货系统调度存在的问题:补货不及时造成分拣线停机;补货过早造成货物拥堵,分拣周边无地存放。从拣选货位的品项分配、补货任务调度、补货车作业调度三个方面进行优化,并在某配送中心物流系统中的实际应用得到证实,取得了良好的效果,对自动补货系统在类似分拣线分拣线项目中的应用有一定的参考价值。

摘要： 为提升服务质量,数据中心需要确保在规定的截止时间前完成用户作业,因此必须根据实时的系统资源对作业进行有效的调度。提出了一种作业调度算法,根据预测的作业执行时间进行批作业调度,以最小化批作业的完成时间。作业执行时间预测模型基于长短期记忆LSTM网络,根据用户作业类型、作业量、作业需要的CPU核数和内存数量,以及作业需要的资源在系统总资源中的占比,对用户作业的执行时间进行预测。预测结果用于判断集群是否有能力按时完成用户作业,同时为合理安排各作业的执行顺序提供依据。通过实验确定了影响LSTM时间预测模型性能的各超参数取值,如迭代次数、学习率和网络层数等。实验表明,与SVR模型、ARIMA模型和BP模型相比,基于LSTM的作业执行时间预测模型的决定系数R2分别有2.97%,2.34%和5.66%的提升效果,且预测的平均误差仅为0.78%。

摘要： 为提高单载具自动化立体仓库动态工况下的进出库效率,针对自动化立体仓库作业集成优化问题建立了仿真优化模型。模型根据货物重质、出入库频率划分货架区域,以指令内最小化单载具堆垛机运行时间为研究目标,设计了一种两阶段狼群算法对其进行优化。该算法使用狼群算法对货位分配和作业调度进行集成优化,求解过程体现出两优化问题之间的关联和反馈。实验结果表明,在不同的订单规模下,相比其他优化方式,两阶段狼群算法能得到满意解,并有效缩短自动化立体仓库的作业时间。

摘要： 数据驱动的人工智能应用需要大数据支持,然而现实中因隐私保护等原因,数据往往互不流通,而以孤岛形式存在。如何实现数据安全可用是当前亟待解决的问题。设计和实现了面向数据共享的模型训练服务系统,通过向用户提供数据功能服务接口而非数据本身,实现数据可用不可见。重点针对资源受限的数据共享平台,设计了高效的资源分配和作业调度方法,特别是通过自动资源缩放来应对多变的工作负载,达到优化用户体验和提高资源利用的目的。实验表明,相较于常规的作业调度方法,本系统在各种工作负载下都具有响应服务请求快、作业完成时间短的优点。

摘要： 针对复杂瞬变的多用户多队列多数据中心云计算环境中作业调度困难的问题,提出一种基于深度强化学习的作业调度方法。建立了云作业调度系统模型及其数学模型,并建立了由传输时间、等待时间和执行时间三部分构成的优化目标。基于深度强化学习设计了作业调度算法,给出了算法的状态空间、动作空间和奖赏函数。设计与开发了云作业仿真调度器,完成作业的仿真调度。仿真结果表明,相比随机调度、轮转调度、首次适应、最佳适应等基准算法,提出的算法能够有效降低作业的整体完工时间。

摘要： 西北区域气象中心高性能计算集群使用LoadLeveler调度管理作业,为实现资源利用率和吞吐量的最大化,本文探讨了作业调度管理的作用和方法.通过配置文件关键字定义队列、设置调度算法和调度器调节参数,将作业的处理需求与可用资源进行匹配,依据实际需求定义集群和各种资源的可用性规则,防止作业之间的相互干扰.结合LoadLeveler作业抢占功能,保障区域数值预报业务模式优先稳定运行.利用Perl语言编写脚本对高性能计算机集群进行资源记账,使管理员充分掌握各类应用模式的资源使用情况,合理调整系统资源分配调度策略,充分发挥了西北区域气象中心高性能计算机集群的效益.

摘要： 针对当前云作业调度效率不高,资源利用不够充分,尚不能发挥其最大优势,提出一种基于Hopfield Neural Network(HNN)作业调度算法.为了实现系统资源调度能力的提高,首先分析影响云作业调度相关资源的特点;然后建立资源条件约束数学模型,设计霍普菲儿德能量函数,并对其优化;最后,通过标准用例Wordcount进行测试分析9个节点的平均利用率,并与3个典型算法包括基于资源的动态调用算法、基于能耗的算法和公平调度算法进行性能和资源利用方面的比较.实验表明,该方法在效率上较其它3个算法分别平均提升24.7％、29.2％和35.5％.因此,该方法在应用中可以更好地实现资源负载平衡,将有助于提升Hadoop作业调度能力.

摘要： 在高性能计算作业调度中,许多调度算法依赖于对作业运行时间的准确估计,尤其是以EASY为代表的回填算法,而使用用户提供的作业运行时间往往会降低调度性能.本文提出了一种基于分类和实例学习相结合的作业运行时间预测算法-GA-Sim,该算法在考虑预测准确性的同时考虑了低估问题.在两个实际调度日志上的数值实验结果表明,相较于IRPA和TRlP算法,GA-Sim在取得更高预测精度的同时降低了低估率.丈章对数值实验结果进行了深入的分析,并给出了不同情形下选择恰当预测算法的建议.

摘要： 风云四号卫星地面应用系统的资源调度是一套建立在操作系统和应用软件之间非常重要的中间件,该系统的主要功能是对业务应用系统的运行流程进行全自动化管理,将提交到作业调度系统的业务任务,分发到相应的计算设备上.跨平台作业管理调度系统对中心业务系统底层复杂的软硬件环境进行单一系统镜像,将计算资源进行池化管理,减轻业务开发和工程建设两方面工作之间的耦合度,提高整体系统的建设和维护效率.

摘要： 针对传统遗传算法在车间作业调度问题难以解决求解约束优化问题时存在难以同时兼顾求解质量和收敛效率这一问题,通过采用基于工序编码的方式生成可行调度及借鉴遗传算法单点交叉方法,生成基于工件的交叉算子作为粒子的更新方式,将改进后的粒子群优化算法用于求解车间调度问题,并在算法中通过利用局部搜索的方式提升粒子群中粒子收敛效率.通过对典型的调度测试问题进行精冲零件车间模拟实验,证明了改进后的混合粒子群算法对于求解车间调度问题的适用性及具有不错的求解性能.

摘要： 在上海宝信软件股份有限公司企业级批作业调度软件系统的设计和开发过程中,作者根据RPC(Remote Procedure Call)远程过程调用技术,为部署在作业调度网络中各工作站的Agent客户端软件系统,通过增加插件式模块实现了基于RPC通信技术的自定义文件传输协议,全面实现网络计算机系统间的信息集成.

摘要： 随着HPC(High Performance Computing)技术的发展,运维管理在HPC领域越来越普及.本文从地震资料处理系统现状出发,介绍了运维管理在系统管理、作业调度、系统监控等几个方面的应用情况,通过使用运维管理,大大提高了解决问题的速度和精准度,资源分配更加合理、高效,客观地反映了地震资料处理系统的整体运行情况,使得地震资料处理系统的管理达到了国内同行业先进水平,对拓展生存发展空间、提升企业核心竞争力,起到了至关重要的作用.

摘要： 高性能集群已经逐步成为科学计算必不可少的辅助工具,然而由于其体系结构的限制,高性能集群应用对科研人员而言是一个非常困难的事情.要想利用好集群系统,科研人员除了需要掌握其需要开展工作的技术知识外还必须认真了解集群工作原理和集群系统运行知识.为提升集群易用性,提高集群在生产科研中的应用深度和应用效率,需要为用户提供方便使用计算节点的技术手段,作业调度系统就是其中一种方法.PBS作为一种开源的队列管理和作业调度系统,目前已经广泛应用于集群管理当中.笔者根据新疆油田勘探开发研究院地球物理研究所集群工作模式的实际情况,利用PBS系统进行必要的定制开发工作,在较少改变科研人员工作习惯的前提下实现Paradigm公司EPOS处理系统集群队列管理和作业分发管理.PBS作业调度系统的基本结构是：PBS服务器响应用户作业请求并且通过作业调度器和作业执行器将作业调度到集群合适的节点，同时监控作业的运行。为实现对EPOS作业自动调度管理，研究所基于Torque和Maui调度器完成作业调度系统，并在目前相关的应用软件中进行功能测试、调整，完善系统功能对应用软件的支持效果，集中针对地震资料处理应用开展功能定制，逐步实现作业调度系统队列定制、应用程序封装、用户命令封装等多项工作。

摘要： 本文结合大港油田实际,设计了勘探开发研究云体系架构,论述了研究云建设的技术路线、方法和过程,并对软硬件集成、云端作业调度、三维显示远程发布、项目数据库建设等关键技术进行了介绍.研究云模式是对传统研究模式的变革,是油田企业未来发展的趋势,可有力提高油田勘探开发研究效率和水平.

摘要： 在基于回填策略的调度系统中,作业的预估执行时间是不可缺少的参数.传统基于用户预估的执行时间通常准确性较差.本文结合分类和基于实例的学习方法,综合使用模板相似和数值相似方法,在历史调度数据中获取当前作业的相似作业,并使用其历史信息预测当前作业执行时间.本文使用调度历史中的用户名、分组名、队列名、应用名、用户请求处理器数、用户请求(预估)执行时间和用户请求内存量这7个属性值进行训练和预测,算法中涉及的8个参数使用基因算法搜索得到.数值实验表明,相对于文献,本文在使用更少参数的前提下,得到了与文献结果中相近的低估率,并获得了更低的平均绝对误差.本文也对结果进行了初步分析,并指出了今后的改进方向.

摘要： 在基于回填策略的调度系统中,作业的预估执行时间是不可缺少的参数.传统基于用户预估的执行时间通常准确性较差.本文结合分类和基于实例的学习方法,综合使用模板相似和数值相似方法,在历史调度数据中获取当前作业的相似作业,并使用其历史信息预测当前作业执行时间.本文使用调度历史中的用户名、分组名、队列名、应用名、用户请求处理器数、用户请求(预估)执行时间和用户请求内存量这7个属性值进行训练和预测,算法中涉及的8个参数使用基因算法搜索得到.数值实验表明,相对于文献,本文在使用更少参数的前提下,得到了与文献结果中相近的低估率,并获得了更低的平均绝对误差.本文也对结果进行了初步分析,并指出了今后的改进方向.

摘要： 本发明公开了一种作业调度方法及作业调度系统。所述作业调度系统包括作业提交设备、以及由主服务器及多个子服务器组成的服务器集群。所述主服务器用于接收到服务器集群中任意一台子服务器M针对待处理作业队列中的第j个作业提交的任务处理请求并判断该台子服务器M并非第j个作业的本地服务器时，基于资源预估模型量化计算一个数据块传输周期T内服务器集群中第j个作业的本地服务器向第j个作业发起的任务处理请求次数E

摘要： 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价，并根据评价结果自适应地选择作业，缩短了优先级较高的小作业的等待时间，保证了对优先级高的小作业的公平性，同时缩短了多作业的整体运行时间，避免了局部最优的出现，提高了作业调度的适应性和调度合理性，改善了Hadoop集群处理任务的效率和整体性能。

摘要： 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，该方法包括以下步骤：S1、获取Hadoop集群中的各个资源池的资源使用量，根据各个资源池的资源使用量，选择当前资源池；S2、选择所述当前资源池中任务权重比最小的作业作为当前作业；S3、判断所述当前作业是否是小作业，如果是，则执行步骤S4；否则，执行步骤S5；S4、从所述当前作业中选择一个本地任务，向选择的本地任务分配空闲资源；S5、根据所述当前资源池中的空闲资源的位置以及所述当前作业的等待时间，向所述当前作业分配空闲资源。本发明能够避免将非本地节点的空闲资源资源分配给小作业带来的数据传输延迟和带宽消耗，提高了小作业的运行效率和系统的整体性能。

摘要： 本申请提供一种作业调度方法、作业调度系统及存储介质，其中，方法包括：在作业调度系统以预设周期频率对作业实例列表进行轮询遍历的过程中，获得作业实例列表中的作业j的可执行时间和配置信息；在基于配置信息，确定作业j满足调度条件的情况下，获得作业j在上一调度周期N内的历史执行记录信息；其中，历史执行记录信息包括实际执行时长T、计划申请资源数和实际使用资源数；基于计划申请资源数和实际使用资源数，确定作业j在上一调度周期N内的作业资源空闲因子；基于配置信息、可执行时间、作业资源空闲因子和实际执行时长，确定作业j的响应比；按照作业j的响应比，向大数据计算平台的资源管理器发送作业j的资源申请。

摘要： 本发明涉及作业调度程序、信息处理设备和作业调度方法。一种用于使计算机执行处理的作业调度程序，处理包括：通过将执行目标的多个作业以优先级的降序进行分组来生成一个或更多个作业组，以及调度关于多个作业的执行定时，使得包括具有较高优先级的作业的特定作业组中包括的相应作业的调度被实现为优先于在其他作业组中包括的相应作业的调度，其中调度包括调度特定作业组中包括的相应作业的执行定时，使得特定作业组中包括的所有作业的执行完成时间满足预定条件。

摘要： 本申请提供了一种作业调度方法以及作业调度装置，该方法包括：接收目标作业，目标作业包括n个任务；根据目标作业的n个任务在节点集群中分别进行节点筛选，得到n个候选节点集合，每一候选节点集合包括多个候选节点；在n个任务中的第m个任务对应的第m个候选节点集合中选择网络传输性能分数最高的候选节点作为第m个任务的目标节点，第m个任务的目标节点用于处理第m个任务，网络传输性能分数由n个任务在同一机架聚合度、n个任务之间的亲和度、n个任务的跨节点度和节点空闲度中的一者或任意组合决定，n为大于或者等于1整数，m为1至n之间的任意正整数。本申请的技术方案能够缩短目标作业的运行时间，提高目标作业的运行效率。

摘要： 本发明提出了一种作业调度方法、作业调度系统、计算机设备、计算机可读存储介质。其中，作业调度方法包括：根据运行环境配置相应的调度作业；获取一个或多个调度作业，将获取的调度作业配置为工作流；设置工作流中调度作业的执行顺序；按照执行顺序对调度作业调度执行，以生成调度执行结果。本发明充分利用了少资源低成本来进行调度，实现了简单轻量的调度，避免了很多繁多的调度工具，避免了资源的浪费，节省了成本。

摘要： 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，该方法包括以下步骤：S1、获取Hadoop集群中的各个资源池的资源使用量，根据各个资源池的资源使用量，选择当前资源池；S2、选择所述当前资源池中任务权重比最小的作业作为当前作业；S3、判断所述当前作业是否是小作业，如果是，则执行步骤S4；否则，执行步骤S5；S4、从所述当前作业中选择一个本地任务，向选择的本地任务分配空闲资源；S5、根据所述当前资源池中的空闲资源的位置以及所述当前作业的等待时间，向所述当前作业分配空闲资源。本发明能够避免将非本地节点的空闲资源资源分配给小作业带来的数据传输延迟和带宽消耗，提高了小作业的运行效率和系统的整体性能。

摘要： 本发明公开了一种Hadoop集群中的作业调度方法和作业调度器，根据作业的优先级、提交时间和任务运行数对Hadoop集群中的作业进行评价，并根据评价结果自适应地选择作业，缩短了优先级较高的小作业的等待时间，保证了对优先级高的小作业的公平性，同时缩短了多作业的整体运行时间，避免了局部最优的出现，提高了作业调度的适应性和调度合理性，改善了Hadoop集群处理任务的效率和整体性能。

摘要： 本发明公开了一种作业调度方法及作业调度系统。所述作业调度系统包括作业提交设备、以及由主服务器及多个子服务器组成的服务器集群。所述主服务器用于接收到服务器集群中任意一台子服务器M针对待处理作业队列中的第j个作业提交的任务处理请求并判断该台子服务器M并非第j个作业的本地服务器时，基于资源预估模型量化计算一个数据块传输周期T内服务器集群中第j个作业的本地服务器向第j个作业发起的任务处理请求次数E