基于分布式调度的数据关联整合方法及系统

摘要

本发明公开了基于分布式调度的数据关联整合方法及系统，通过设置阈值线能够避免分布式计算节点在运行时一直反复在CPU高负荷状态运行，这样会严重影响分布式计算节点的CPU的使用寿命，保证分布式计算节点一直以安全的数据处理速度运行，能够在分布式计算节点在可接受的范围内以较高速度进行数据处理。阈值线通过将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到。

说明书

技术领域

本公开涉及数据处理技术领域，具体涉及基于分布式调度的数据关联整合方法及系统。

背景技术

在进行分布式调度的数据关联整合时，往往需要很多的分布式计算节点进行大量的数据运算，最终进行分布式存储；

这一过程中对于分布式计算节点的CPU的使用强度是很高的，如果不对CPU进行负荷保护，分布式计算节点的CPU的使用寿命是不长的，这在一定程度上会带来损失。

发明内容

本公开提供基于分布式调度的数据关联整合方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，根据本公开的一方面，提供基于分布式调度的数据关联整合方法，所述方法包括以下步骤：

S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；

S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；

S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；

S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到阈值线；

S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；

S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。

进一步，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。

进一步，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：

设阈值线上低数据处理速度、中数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点的坐标为(x

对z进行求导得：

进一步，在上述步骤S600中，第一阈值的具体为：低数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量对应在平面坐标系上的两个坐标点之间距离的一半。

进一步，在上述步骤S600中，如果分布式计算节点处于处于低数据处理速度，且被控制停止运行，则经过第二阈值的时间后，所述分布式计算节点将被重新启动，并以高数据处理速度运行，且重新执行步骤S100至步骤S600。

本发明还提出基于分布式调度的数据关联整合系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

分布式计算节点数据获取单元，用于分别获取在低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量；

坐标系构建单元，用于通过低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量构建以CPU使用率为X轴，数据处理流量为Y轴构建平面坐标系；

阈值线单元，用于将低数据处理速度、中数据处理速度以及高数据处理速度情况下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点分别为低数据处理速度点、中数据处理速度点以及高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点得到关联折线；

微调单元，用于对关联折线进行微调得到阈值线；

抽样点采集单元，用于在分布式计算节点运行时，将当前数据处理速度下的CPU使用率以及数据处理流量在平面坐标系上对应的点作为抽样点；

判别控制单元，用于当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。

本公开的有益效果为：本发明提供基于分布式调度的数据关联整合方法及系统，通过设置阈值线能够避免分布式计算节点在运行时一直反复在CPU高负荷状态运行，这样会严重影响分布式计算节点的CPU的使用寿命，保证分布式计算节点一直以安全的数据处理速度运行，能够在分布式计算节点在可接受的范围内以较高速度进行数据处理。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为基于分布式调度的数据关联整合方法的流程图；

图2所示为基于分布式调度的数据关联整合过程的运行流程图。

具体实施方式

以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本公开的基于分布式调度的数据关联整合方法的流程图，图2则是对数据关联整合的运行过程进行了介绍，下面结合图1来阐述根据本公开的实施方式的基于分布式调度的数据关联整合方法。

本公开提出基于分布式调度的数据关联整合方法，所述方法包括以下步骤：

S100，预定义低数据处理速度、中数据处理速度以及高数据处理速度，分别在以上3种处理速度的情况下采集分布式计算节点的CPU使用率以及数据处理流量；

S200，以低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量，通过以CPU使用率为X轴，数据处理流量为Y轴建立平面坐标系；

S300，将低数据处理速度、中数据处理速度以及高数据处理速度情况下的CPU使用率以及数据处理流量在平面坐标系中对应的三个点作为低数据处理速度点、中数据处理速度点、高数据处理速度点；

S400，连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点，形成处理速度关联折线，对所述处理速度关联折线进行调整得到阈值线；

S500，获取分布式计算节点的实时运行CPU使用率以及数据处理流量，并在平面坐标系中形成对应的抽样点；

S600，当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。

作为本发明的优选实施方式，在上述步骤S100中的低数据处理速度、中数据处理速度以及高数据处理速度通过大量实验论证进行人工划分，具体的数据处理速度能够通过分布式计算节点进行读取。

作为本发明的优选实施方式，在上述步骤S400中，对关联折线进行调整得到阈值线的方法包括以下：

设阈值线上低数据处理速度、中数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点的坐标为(x

对z进行求导得：

作为本发明的优选实施方式，在上述步骤S600中，第一阈值的具体为：低数据处理速度以及高数据处理速度下分布式计算节点的CPU使用率以及数据处理流量对应在平面坐标系上的两个坐标点之间距离的一半。

作为本发明的优选实施方式，在上述步骤S600中，如果分布式计算节点处于处于低数据处理速度，且被控制停止运行，则经过第二阈值的时间后，所述分布式计算节点将被重新启动，并以高数据处理速度运行，且重新执行步骤S100至步骤S600。

本发明还提出基于分布式调度的数据关联整合系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

分布式计算节点数据获取单元，用于分别获取在低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量；

坐标系构建单元，用于通过低数据处理速度、中数据处理速度以及高数据处理速度情况下的分布式计算节点的CPU使用率以及数据处理流量构建以CPU使用率为X轴，数据处理流量为Y轴构建平面坐标系；

阈值线单元，用于将低数据处理速度、中数据处理速度以及高数据处理速度情况下分布式计算节点的CPU使用率以及数据处理流量在平面坐标系上对应的三个点分别为低数据处理速度点、中数据处理速度点以及高数据处理速度点；连接低数据处理速度点以及中数据处理速度点，连接中数据处理速度点以及高数据处理速度点得到关联折线；

微调单元，用于对关联折线进行微调得到阈值线；

抽样点采集单元，用于在分布式计算节点运行时，将当前数据处理速度下的CPU使用率以及数据处理流量在平面坐标系上对应的点作为抽样点；

判别控制单元，用于当抽样点距离阈值线的最短距离小于第一阈值时，若分布式计算节点处于非低数据处理速度，则控制分布式计算节点降低一个档位的处理速度，若分布式计算节点处于低数据处理速度，则控制分布式计算节点停止运行。

所述基于分布式调度的数据关联整合系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述基于分布式调度的数据关联整合系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是基于分布式调度的数据关联整合系统的示例，并不构成对基于分布式调度的数据关联整合系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于分布式调度的数据关联整合系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于分布式调度的数据关联整合系统运行系统的控制中心，利用各种接口和线路连接整个基于分布式调度的数据关联整合系统可运行系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于分布式调度的数据关联整合系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。