一种基于机器学习的资源优先级的实时优化调整方法

摘要

本发明提供了一种基于机器学习的资源优先级的实时优化调整方法，属于资源调度技术领域，其方法包括：步骤1：获取并确认接收任务的需求信息，标定该任务的完成优先级；步骤2：获取针对该任务的资源申请请求信息；步骤3：根据资源申请请求信息从总资源池中选择相应的第一资源，并将第一资源初步分配至该任务；步骤4：基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突；步骤5：获取冲突并进行处理分析，产生相应的调度指令，对总资源池中的初步分配的第一资源进行优化调度。本发明通过及时对任务或资源冲突进行处理分析，合理地调动资源分配至任务，提升了资源的利用率；同时利用机器学习模型实现了资源的智能调度。

说明书

技术领域

本发明涉及资源调度技术领域，特别涉及一种基于机器学习的资源优先级的实时优化调整方法。

背景技术

随着人工智能、云计算、大数据分析、机器学习等技术的发展，不仅对大数据计算能力提出了更高的要求，而且在计算过程中对物理资源的需求也越来越大，计算机计算和处理的任务量也越来越大。

同时，随着互联网技术的快速发展，业务类型越来越多，如流媒体业务、互联网云计算、互联网教育等，不同的业务类型需要使用的计算机资源类型也不尽相同。且随着计算机在运行过程中同时执行任务的种类、数量越来越多，在接收到这些巨量的任务后，不可避免地会存在任务冲突或资源冲突的情况，合理的调整和分配计算机资源便成为当下的热点和难点。

因此，本发明提出一种基于机器学习的资源优先级的实时优化调整方法。

发明内容

本发明提供一种基于机器学习的资源优先级的实时优化调整方法，用以在计算机同时刻大量的任务时，及时对任务或资源冲突进行处理分析，并实时合理地调动计算机资源并分配至任务，以保证任务的顺利完成，同时提升计算机资源的利用率；同时利用优化好的机器学习模型实现总资源池中资源的智能分配。

本发明提供一种基于机器学习的资源优先级的实时优化调整方法，包括：

步骤1：获取并确认接收任务的需求信息，基于所述需求信息标定该任务的完成优先级；

步骤2：获取针对该任务的资源申请请求信息；

步骤3：根据所述资源申请请求信息从总资源池中选择相应的第一资源，并将所述第一资源初步分配至该任务；

步骤4：基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突；

步骤5：获取所述冲突并进行处理分析，产生相应的调度指令，基于所述调度指令，对所述总资源池中的初步分配的第一资源进行优化调度。

优选的，步骤1中，基于所述需求信息标定该任务的完成优先级，包括：

获取该任务的种类、该任务的工作量及该任务的完成时间；

对获取结果进行综合分析，标定执行该任务的完成优先级；

其中，所述完成优先级包括m个由高到低排列的梯队，且m大于1。

优选的，所述资源申请请求信息包括根据任务的种类申请相应的资源类型、所述资源类型下的资源内容以及支撑对应任务进行资源获取的算力资源。

优选的，根据所述资源申请请求信息从总资源池中选择相应的第一资源，并将所述第一资源初步分配至该任务，包括：

从所述总资源池中锁定根据任务的种类所申请相应的资源类型，生成资源种类调度信息；

从所述总资源池中确定所锁定资源类型下的资源内容，生成资源量使用信息；

根据所支撑对应任务进行资源获取的算力资源，生成基于所述总资源池的资源算力分配信息；

基于对所述资源种类调动信息、资源量使用信息以及资源算力分配信息，从所述总资源池中筛选得到第一资源，并将所述第一资源初步分配至该任务。

优选的，按照完成优先级对同时刻所存在的需求信息进行排序，并将同完成优先级对应任务作为第一冲突；

按照同任务类型的第一允许最大并行执行数量以及不同任务类型的第二允许最大并行执行数量，且结合不同任务的需求信息，确定第二冲突；

将所有任务所对应资源内容相似度大于预设度的任务作为第三冲突；

按照资源分配平台涉及到的不同任务所对应算力资源的最大允许运行量，且结合不同任务的需求信息，确定第四冲突；

基于所述第一冲突、第二冲突、第三冲突以及第四冲突，作为对应任务冲突。

优选的，在步骤5中，获取所述冲突并进行处理分析之前，包括：

确定每个冲突所对应的任务暂存区域，并确定所述任务暂存区域的数据信息以及所述数据信息基于任务暂存区域的占用地址；

确定所述数据信息中每个单位字符的占用地址，并确定所述占用地址对应的预设函数；

将所有占用地址按照地址大小依次排列得到地址序列，以及根据地址大小的排列顺序将所有预设函数进行组合，得到组合函数；

将所述地址序列与标准序列进行第一比较，以及将所述组合函数与标准函数进行第二比较，确定偏移地址以及偏移地址下的偏移函数；

当所述偏移地址为0以及偏移函数不存在时，将对应任务暂存区域视为允许正常调度的区域；

否则，确定对应任务暂存区域的区域空闲地址，并结合偏移地址以及偏移地址下的偏移函数，确定所述区域空闲地址中是否存在补充位置；

若存在，基于所述补充位置对偏移地址进行替换，将相应的数据信息进行合理放置，并视为允许正常调度的区域；

若不存在，则根据对应任务暂存区域中的跳转地址，将所述偏移地址下的原先待暂存信息基于所述跳转地址传输到备用区域中，实现对应数据信息的合理放置，并视为允许正常调度的区域；

根据允许正常调度的区域的当下暂存冲突的任务类型，并生成互斥监测指令对相应允许正常调度的区域进行监测；

若监测结果为对应允许正常调度的区域中存在互斥任务，则将对应允许正常调度的区域进行区域标定，并对存在的互斥任务进行互斥拆分，并分别向每个拆分项匹配第一调度接口；

若监测结果为对应允许正常调度的区域中不存在互斥任务，则将对应允许正常调度的区域进行区域锁定，并确定与对应允许正常调度的区域匹配的第二调度接口。

优选的，获取所述冲突并进行处理分析，产生相应的调度指令，包括：

获取所述总资源池的实时资源视图；

获取每个冲突所对应的调度接口，并按照每个冲突的冲突性质，且结合实时资源视图确定的资源分配策略，向对应冲突分配调度指令。

本发明提供的一种基于机器学习的资源优先级的实时优化调整方法，用以在计算机同时刻大量的任务时，及时对任务或资源冲突进行处理分析，并实时合理地调动计算机资源并分配至任务，以保证任务的顺利完成，同时提升了计算机资源的利用率；同时利用优化好的机器学习模型实现总资源池中资源的智能分配。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于机器学习的资源优先级的实时优化调整方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，如图1所示，包括：

步骤1：获取并确认接收任务的需求信息，基于需求信息标定该任务的完成优先级；

步骤2：获取针对该任务的资源申请请求信息；

步骤3：根据资源申请请求信息从总资源池中选择相应的第一资源，并将第一资源初步分配至该任务；

步骤4：基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突；

步骤5：获取冲突并进行处理分析，产生相应的调度指令，基于调度指令，对总资源池中的初步分配的第一资源进行优化调度。

该实施例中，需求信息：任务的种类、工作量以及完成时间等信息。

该实施例中，完成优先级：根据任务的种类、工作量以及完成时间等信息，综合评定不同任务的完成优先级级别。

该实施例中，第一资源：经计算机初步对冲突进行分析后调用的计算机资源，比如，基于需求信息所确定出的优先级为m，且该优先级m中只存在一个任务，所以，就直接从总资源池中获取与优先级m所对应的任务1匹配的资源，该资源与任务1的需求相关，比如是，搜索，“机器学习引擎论文”，此时，就会获取与“机器学习引擎”相关的资源。

该实施例中，冲突：由于计算机的资源有限，计算机同时执行多个任务时，在资源分配过程中产生的任务完成优先级冲突、任务对应资源算力的冲突等冲突。

该实施例中，对冲突的处理分析，比如，任务1与任务2属于同优先级任务，此时，如果任务1的资源调取时长为t2，任务2的资源调度时长为t1，且t2远大于t1，此时，就可以先对任务2进行资源优先调度，在调度完成后，对任务1对应的资源进行再次调度，来避免任务冲突。

上述技术方案的有益效果是：当计算机同时接收大量的任务时，可以首先根据任务的需求信息进行综合分析，进而对接收的多个任务完成优先级进行标定，并通过任务的资源申请请求信息对不同优先级的任务进行资源分配，不仅可以保质保量的完成计算机同时处理的多个任务，合理的利用计算机资源；同时利用优化好的机器学习模型实现总资源池中资源的智能分配，从而提升了计算机在同时处理多个任务时资源的智能分配效率。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，步骤1中，基于需求信息标定该任务的完成优先级，包括：

获取该任务的种类、该任务的工作量及该任务的完成时间；

对获取结果进行综合分析，标定执行该任务的完成优先级；

其中，完成优先级包括m个由高到低排列的梯队，且m大于1。

种类：根据任务的不同分类标准将任务划分为不同种类的任务，例如，核心任务、标准任务、预约任务等；

工作量：根据任务对应的类型，完成该任务所需的资源量。

该实施例中，本发明根据任务的种类、工作量及完成时间分别赋予其相应的权重，通过对任务种类的权重、工作量的权重及完成时间的权重的叠加运算，计算出当前任务的综合计算结果，并将该综合计算结果与预设对照表中的完成优先级数据进行对比，判断当前任务的完成优先级。

上述技术方案的有益效果是：本发明通过对任务的完成优先级进行综合判定，从多个角度对任务的完成优先级进行综合分析，减少了任务延误的概率，不仅保证了任务的顺利完成，而且优化计算机执行任务的流程，同时简化了计算机的资源分配流程，从而提升了资源的利用率。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，资源申请请求信息包括根据任务的种类申请相应的资源类型、资源类型下的资源内容以及支撑对应任务进行资源获取的算力资源。

上述技术方案的有益效果是：根据任务的种类、工作量及完成时间的资源申请请求信息，进而对资源的类型、资源类型下的资源内容及支撑对应任务进行资源获取的算力资源进行细化，在计算机接收任务后根据不同任务的需求信息匹配与其相适用的资源，不仅提高了任务与资源的匹配度，而且通过将资源进行细化分类，提升了资源使用的透明度，可以了解到资源的使用情况。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，根据资源申请请求信息从总资源池中选择相应的第一资源，并将第一资源初步分配至该任务，包括：

从总资源池中锁定根据任务的种类所申请相应的资源类型，生成资源种类调度信息；

从总资源池中确定所锁定资源类型下的资源内容，生成资源量使用信息；

根据所支撑对应任务进行资源获取的算力资源，生成基于总资源池的资源算力分配信息；

基于对资源种类调动信息、资源量使用信息以及资源算力分配信息，从总资源池中筛选得到第一资源，并将第一资源初步分配至该任务。

第一资源：通过总资源池对资源调动信息、资源量使用信息以及资源算力分配信息的分析处理后，从总资源池中筛选出的符合执行当前任务的资源；

上述技术方案的有益效果是：通过任务相匹配的资源种类调度信息、资源量使用信息以及资源算力分配信息，不仅可以提高总资源池中资源的种类的调动情况、资源量的使用情况以及资源算力的分配情况的透明度，从而可以实时对总资源池中的资源的使用信息进行实时监测，进而通过细化的资源信息可以更高的匹配相应的任务，提高资源的利用率及任务的完成效率，从而可以提升资源的智能分配水平。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，基于机器学习模型分析多个任务基于完成优先级以及资源申请请求信息的冲突，包括：

按照完成优先级对同时刻所存在的需求信息进行排序，并将同完成优先级对应任务作为第一冲突；

按照同任务类型的第一允许最大并行执行数量以及不同任务类型的第二允许最大并行执行数量，且结合不同任务的需求信息，确定第二冲突；

将所有任务所对应资源内容相似度大于预设度的任务作为第三冲突；

按照资源分配平台涉及到的不同任务所对应算力资源的最大允许运行量，且结合不同任务的需求信息，确定第四冲突；

基于第一冲突、第二冲突、第三冲突以及第四冲突，作为对应任务冲突。

该实施例中，第一冲突：计算机在同时刻接收的同优先级的任务冲突，比如，在时刻1，任务1与任务2的优先级都是m，此时，任务1与任务2就存在冲突。

该实施例中，第二冲突：计算机在同时刻接收的同优先级的任务中，相同任务类型或不同任务类型的最大执行数量的冲突，比如，时刻1，任务类型01下的最大并行执行任务的数量为10，超过10的剩余任务即为冲突任务。

该实施例中，第三冲突：计算机在同时刻接收的所有任务中所需的资源内容相似度超过预设度产生的冲突，比如，任务1所对应的资源内容01与任务2所对应的资源内容02的相似度为80%，且大于预设度60%，此时，由于任务1在调用了资源内容01后，任务2对同样的内容调用会失败，所以，存在冲突。

该实施例中，第四冲突：计算机在向不同的任务分配资源时，不同的任务对应的资源池中相应算力资源的最大运行量产生的冲突，比如，任务1与任务2需要同时调取，但是任务1的算力资源与任务2的算力资源所累加的量大于最大允许运行量，此时，任务1的算力资源的量小于最大允许运行量，任务2的算力资源的量小于最大允许运行量，此时，可以留一个任务进行正常调度，将另一个任务作为冲突。

该实施例中，资源内容相似度：同时刻多个任务的资源申请信息中，申请资源的种类、算力等特征综合判定不同任务所需资源相似程度的量值。

该实施例中，预设度：标定的用于判断不同任务对应的资源内容相似度是否超标的预设值，是提前设定好的。

上述技术方案的有益效果是：根据计算机同时刻接收多个任务的完成优先级及相应的资源申请请求信息，建立相同完成优先级任务对应不同情况下的冲突信息，进而将相同完成优先级任务下的冲突信息进行深入细化，增加计算机系统分配资源时的判别条件，提升了对冲突信息的分析精度，从而可以合理的针对相同完成优先级的不同任务，相应的将合适的资源分配至该完成优先级的不同任务，因此可以提高资源分配的精确度并提高资源的利用率。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，在步骤5中，获取冲突并进行处理分析之前，包括：

确定每个冲突所对应的任务暂存区域，并确定任务暂存区域的数据信息以及数据信息基于任务暂存区域的占用地址；

确定数据信息中每个单位字符的占用地址，并确定占用地址对应的预设函数；

将所有占用地址按照地址大小依次排列得到地址序列，以及根据地址大小的排列顺序将所有预设函数进行组合，得到组合函数；

将地址序列与标准序列进行第一比较，以及将组合函数与标准函数进行第二比较，确定偏移地址以及偏移地址下的偏移函数；

当偏移地址为0以及偏移函数不存在时，将对应任务暂存区域视为允许正常调度的区域；

否则，确定对应任务暂存区域的区域空闲地址，并结合偏移地址以及偏移地址下的偏移函数，确定区域空闲地址中是否存在补充位置；

若存在，基于补充位置对偏移地址进行替换，将相应的数据信息进行合理放置，并视为允许正常调度的区域；

若不存在，则根据对应任务暂存区域中的跳转地址，将偏移地址下的原先待暂存信息基于跳转地址传输到备用区域中，实现对应数据信息的合理放置，并视为允许正常调度的区域；

根据允许正常调度的区域的当下暂存冲突的任务类型，并生成互斥监测指令对相应允许正常调度的区域进行监测；

若监测结果为对应允许正常调度的区域中存在互斥任务，则将对应允许正常调度的区域进行区域标定，并对存在的互斥任务进行互斥拆分，并分别向每个拆分项匹配第一调度接口；

若监测结果为对应允许正常调度的区域中不存在互斥任务，则将对应允许正常调度的区域进行区域锁定，并确定与对应允许正常调度的区域匹配的第二调度接口。

该实施例中，任务暂存区域：用于短暂存放计算机接收任务数据的区域。

该实施例中，占用地址：暂存区域涉及到计算机的存储器是由大量存储单元组成，需要用编号区别每个单元：编号=地址。每个存储单元存放一个字节量的数据。

该实施例中，字符：计算机中使用的字母、数字、字和符号，根据编码规则的不同，每个字母、数字、字和符号占用不同个数的字节；其中，字节：（byte）：是计算机中数据处理的基本单位，习惯上用大写B来表示,1B（byte,字节）=8bit（位）。

该实施例中，预设函数：与任务数据信息在任务暂存区域的占用地址一一对应的函数，比如，任务1在任务占村区域的占用地址为0001，该地址对应的函数为

该实施例中，组合函数：将每一地址所对应的预设函数按照地址大小的排列顺序进行组合得到的函数，且函数一般是预先设定好的，是地址与程序代码的结合。

该实施例中，地址序列：将任务数据信息占用的所有地址按照地址大小依次排列得到的序列，比如，00x1到110x。

该实施例中，标志序列：正常无偏移的地址序列。

该实施例中，标准函数：将组合函数与其进行比对，可以分析地址是否发生偏移的参考函数，且标准函数是预先设定好的。

该实施例中，偏移地址：通过比较地址序列与标准序列，判断任务暂存区域内的地址是否发生偏移得到的地址，当地址没有发生偏移时，偏移地址为0。

该实施例中，偏移函数：通过比较组合函数和标准函数，判断地址是否发生偏移得到的函数，当地址没有发生偏移时，偏移函数不存在。

该实施例中，允许正常调度的区域：通过比对后，存放相应任务数据的地址没有发生偏移，进而在接收到调度指令后可以正常进行调取任务信息的任务暂存区域。

该实施例中，区域空闲地址：没有存放有任务信息，闲置的地址。

该实施例中，补充位置：空闲地址中可存放当前任务信息或将偏移地址中的任务数据信息进行暂存的替补地址。

该实施例中，跳转地址：当空闲地址中不存在补充位置时，通过任务暂存区域内的跳转地址可以将偏移地址的待暂存信息传输至备用区域，可以将偏移地址不能保存的任务数据信息转存至备用区域，以便后续的正常调用。

该实施例中，待暂存信息：因地址发生偏移而未能成功储存至任务暂存区域的任务数据信息。

该实施例中，互斥任务：不兼容的任务，在同一时刻只能执行其中一个，而不能同时进行两个或两个以上的任务。

该实施例中，第一调度接口：互斥任务拆分后，在资源调用时，用于调取区域内拆分后的不同任务的数据信息的接口。

该实施例中，第二调度接口：当允许正常调度的区域中不存在互斥的任务时，对该区域进行锁定后设定的与该区域匹配的接口。

且第一调度接口与第二调度接口，都是为了方便后续资源的有效调度。

上述技术方案的有益效果是：当任务的数据信息通过外部io接口接入计算机，并暂存至计算机的暂存区域内时，通过获取任务暂存区域内任务数据信息的占用地址，进而通过组合函数与标准函数、地址序列和标准序列的对比来判定储存有任务数据信息的暂存区域是否存在异常，以确定在接收调动指令时从总资源池中调动资源时，能否正常将任务暂存区域内的数据信息提取出来，进而获取与任务相匹配的资源。同时，通过互斥监测指令可以对任务暂存区域内的正常调度区域进行实时监测，并根据监测结果确定不同任务的调度接口，方便后续资源的调用。

本发明实施例提供一种基于机器学习的资源优先级的实时优化调整方法，获取冲突并进行处理分析，产生相应的调度指令，包括：

获取总资源池的实时资源视图；

获取每个冲突所对应的调度接口，并按照每个冲突的冲突性质，且结合实时资源视图确定的资源分配策略，向对应冲突分配调度指令。

该实施例中，向对应冲突分配调度指令，包括：

构建调度函数D0(x01,x02,x03)，其中，x01与对应冲突的调度接口相关；x02与对应冲突的冲突性质相关；x03与对应实时资源视图的资源分配策略相关；

基于所述调度函数D0(x01,x02,x03)，向对应冲突分配调度指令。

该实施例中，冲突性质指的是对应冲突所属第一冲突、第二冲突、第三冲突或第四冲突所对应判断是否为冲突的判断类型。

该实施例中，调度接口指的是可以基于该接口将资源进行正常调度的接口。

该实施例中，调度指令是根据不同冲突的冲突情况以及当下资源的视图情况等，来综合匹配对应冲突的可以分配的指令，方便后续的合理调度。

该实施例中，资源视图：包含有资源种类调度信息、资源算力分配信息、资源量总量信息、资源量占用信息等反应资源使用情况的信息，通过该信息可以实时了解到计算机当前资源的使用情况。

该实施例中，调度指令：计算机接收任务并对该任务进行分析判定后，用于将计算机中总资源池中资源分配至该任务的指令。

该实施例中，资源分配策略：根据总资源池的资源分配情况分为以下三种资源分配策略；

其中，低负载集群的资源分配策略，当前接收任务及正在运行任务的资源申请量的总量远小于总任务池的资源总量，不足资源总量的二分之一时，执行先进先出的资源分配策略，根据接收任务的时间顺序及任务量依次为接收任务分配资源，且优先调用低算力的算力资源；

正常负载集群的资源分配策略，当前接收任务及正在运行任务的资源申请量的总量高于总任务池的资源总量的二分之一，低于总任务池的资源总量的四分之三时，执行统一分配的资源分配策略，根据每一任务的资源申请量及其占总资源申请量的比重，将每一算力等级的资源均匀分配至当前任务；

高负载集群的资源分配策略，当前接收任务及正在运行任务的资源申请量的总量高于总任务池的资源总量的四分之三时，根据接收任务的优先级执行资源实时调整策略，完成优先级高的任务优先调用高算力的资源，当该优先级任务完成后，其释放的高算力资源根据完成优先级由高到低依次分配给当前运行任务；当接收任务中再次出现高于当前执行任务完成优先级的任务时，根据任务完成优先级由低到高依次释放低优先级任务占用的高算力资源，同时基于对当前执行任务占用资源算力等级信息的综合分析，将高算力的资源优先分配至完成优先级较高的任务。

上述技术方案的有益效果是：根据计算机资源的负载情况，智能分配总资源池中的资源，当负载低时，充分利用计算机中算力等级较低的资源，并将算力较高的资源空余出来，以备计算机在短时间内接收到工作量量较高的任务；当负载适中时，均匀分配计算机中的算力资源，使得总资源池中的算力资源得到充分利用，且每个算力等级的资源都留有余量，以备短时间内激增的工作量；当负载较高时，优先将高算力的资源分配至完成优先级较高的任务，保证任务的质量和完成时间。通过三种资源分配策略，在保质保量完成任务的前提下，减少了资源的浪费，从而提升了资源的使用效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。