基于多目标优化的自适应网络数据采集方法及相关设备

摘要

本说明书实施例提供一种基于多目标优化的自适应网络数据采集方法及相关设备；所述方法包括：利用Holt‑Winters方法，预测将被采集的数据；量化采集数据的频率和采集失真度，构建多目标优化问题；通过目标加权法将多目标优化问题转化为新的目标函数，再基于预测数据，利用遗传算法对新的目标函数求解，得出最佳采集时间序列；根据被采设备的CPU利用率，动态调节新的目标函数中的权重参数。与传统周期性采集方法相比，本说明书提供的方法考虑到了被采数据的变化，通过合理分布采集时间点，实现降低采集数据的频率的同时，尽可能减少采集过程造成的失真，同时将被采设备的CPU利用率纳入考虑范围，避免对其造成过大的采集负担。

说明书

技术领域

本说明书一个或多个实施例涉及数字信息传输及数据采集技术领域，尤其涉及一种基于多目标优化的自适应网络数据采集方法及相关设备。

背景技术

当前互联网应用场景下，数据变得越来越重要，数据是支持很多业务实现的基础，比如通过采集网络数据，进而分析数据的特征来检测攻击和入侵，从而实现网络系统防护，但目前数据采集是大多数与数据相关的业务系统的性能瓶颈。

现有大量网络管理软件中采用的相等时间间隔数据采集算法，是根据系统或用户设定采集频率，周期性地对被管理的设备进行数据采集，忽略了被采集数据的变化。例如当被采集数据变化剧烈时，采集频率过低会不能准确反映采集对象的变化趋势，容易丢失重要数据；而当被采集数据基本不变时，若采集频率过高会造成数据冗余和网络资源的浪费，同时由于请求的数据量大，经常会导致设备的简单网络管理协议SNMP代理无法响应请求，甚至占用过高的CPU，影响网络设备的其他正常业务。

基于此，需要一种能够自适应采集网络数据的方法。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种基于多目标优化的自适应网络数据采集方法及相关设备。

基于上述目的，本说明书一个或多个实施例提供了一种基于多目标优化的自适应网络数据采集方法，包括：

按照采集时间表对设备进行数据采集，将采集到的数据存入数据库中；

基于所述数据库中的历史采集数据，利用Holt-Winters方法计算得到下一时间段内被采集数据的预测值；

基于所述预测值，以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，然后通过目标加权法得到新的目标函数，利用遗传算法对所述新的目标函数进行求解，得出最佳采集时间序列；

当达到所述采集时间表的更新阈值时，调用所述最佳采集时间序列对所述采集时间表进行更新；

当所述设备的CPU利用率小于空闲阈值或大于繁忙阈值时，调节所述新的目标函数中的权重参数，以改变采集数据的频率。

基于同一发明构思，本说明书一个或多个实施例还提供了一种基于多目标优化的自适应网络数据采集装置，包括：

采集模块，被配置为按照采集时间表对设备进行数据采集，将采集到的数据存入数据库中；

预测模块，被配置为基于所述数据库中的历史采集数据，利用Holt-Winters方法计算得到下一时间段内被采集数据的预测值；

计算模块，被配置为基于所述预测值，以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，然后通过目标加权法得到新的目标函数，利用遗传算法对所述新的目标函数进行求解，得出最佳采集时间序列；

更新模块，被配置为当达到所述采集时间表的更新阈值时，调用所述最佳采集时间序列对所述采集时间表进行更新；

调节模块，被配置为当所述设备的CPU利用率小于空闲阈值或大于繁忙阈值时，调节所述新的目标函数中的权重参数，以改变采集数据的频率。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的方法。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一项所述的方法。

从上面所述可以看出，本说明书一个或多个实施例提供的基于多目标优化的自适应网络数据采集方法及相关设备，考虑到了被采集数据的变化，利用基于目标加权的遗传算法，使采集数据的频率和采集失真度最小化，实现降低采集数据的频率的同时，尽可能减少采集过程造成的失真，并且提高了采集数据的准确性，同时将被采设备的CPU利用率纳入考虑范围，避免了设备由于采集带来的额外过大的性能负担。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的基于多目标优化的自适应网络数据采集方法流程图；

图2为本说明书一个或多个实施例的基于多目标优化的自适应网络数据采集装置结构示意图；

图3为本说明书一个或多个实施例的电子设备结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

如背景技术部分所述，现有的网络数据采集方法忽略了采集数据的变化，从而导致采集失真度大、采集数据不准确、设备采集负担增大等问题的出现。目前，也有一些技术提出了自适应采集来动态的调节采集数据的频率，其根据采集对象的变化情况动态调节采集数据的频率。

申请人在实现本公开的过程中发现，现有自适应网络数据采集方法也存在一些不足：根据最近数据波动程度来调整采集频率，实时计算采集对象的变化，计算消耗大且准确性不足；对采集频率的调整，通常根据数据波动程度凭主观经验设置调整规则，难以准确把握调整尺度，易降低采集效率或采集精度，可靠性较差；没有考虑到采集行为本身对被采集设备造成的影响，可能导致在被采集设备本身压力大时频繁进行采集，造成设备宕机等严重后果。

有鉴于此，本说明书一个或多个实施例提供了一种基于多目标优化的自适应网络数据采集方法，具体的，首先，按照采集时间表对设备进行数据采集，将采集到的数据存入数据库中，其中，采集时间表中存有每个被采集设备的采集数据时间。然后，基于所述数据库中的历史采集数据，利用Holt-Winters方法计算得到下一时间段内被采集数据的预测值。此外，再基于所述预测值，将采集策略目标量化为两个优化目标，即以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，然后通过目标加权法得到新的目标函数，利用遗传算法对所述新的目标函数进行求解，得出最佳采集时间序列。进一步的，当达到所述采集时间表的更新阈值时，调用所述最佳采集时间序列对所述采集时间表进行更新。最后，利用被采集设备的CPU利用率作为衡量标准，当所述设备的CPU利用率小于空闲阈值或大于繁忙阈值时，动态调节所述新的目标函数中的权重参数，以改变采集数据的频率。

可见，本说明书一个或多个实施例的基于多目标优化的自适应网络数据采集方法，考虑到了被采集数据的变化，实现降低采集数据的频率的同时，尽可能减少采集失真度，并且提高了采集数据的准确性，同时将被采设备的CPU利用率纳入考虑范围，避免了设备由于采集带来的额外过大的性能负担。

以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。

参考图1，本说明书一个实施例的基于多目标优化的自适应网络数据采集方法，包括以下步骤：

步骤S101、按照采集时间表对设备进行数据采集，将采集到的数据存入数据库中。

本步骤中，采集时间表中为每个被采集数据的设备维护一个n位的二进Y＝{y

所述步骤S101具体包括：每隔Δt，遍历所述采集时间表，y

遍历完成后，根据所述待采集列表，构造简单网络管理协议SNMP请求，向所述每个设备发起采集数据请求；

将所述采集到的数据存入数据库中。

步骤S102、基于所述数据库中的历史采集数据，利用Holt-Winters方法计算得到下一时间段内被采集数据的预测值。

所述步骤S102具体包括：

初始值部分，基于所述数据库中的历史采集数据，选择使用接下来要采集数据的第一个预测点的前两个周期的历史数据进行计算：

稳定值初始值为：

趋性值初始值为：

季节性值初始值为：

其中S′

S″

其中，L为周期长度，即每个周期内的采集次数，x

根据上述初始值部分的计算公式递推得到所述设备在第t次采集的数据的平稳性值a

b

上述a

利用Holt-Winters方法，预测经过h个最小采集间隔时长后的性能指标数据预测值x

x

其中，S

步骤S103、基于所述预测值，以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，然后通过目标加权法得到新的目标函数，利用遗传算法对所述新的目标函数进行求解，得出最佳采集时间序列。

所述步骤S103具体包括：设基于目标加权法的遗传算法求解得出的任一设备的最佳采集时间序列为n位的二进制数X，X＝{x

将采集数据的频率定义为：

接下来，利用基于目标加权法的遗传算法对所述多目标优化问题进行求解，首先通过目标加权法对所述多目标优化问题进行加权，即对每一个优化目标向量分一个权重，得到一个新的目标函数：

G(X)＝(1-w

其中，w

然后，利用遗传算法对所述新的目标函数进行求解，求得所述每个设备minG(X)对应的最佳采集时间序列X。

所述利用遗传算法对所述新的目标函数进行求解的步骤为：

(a)初始化，产生初始种群。由于所求解本身为二进制数，因此不需要再进行编码操作，n位长度的二进制数即为种群中的个体。首先初始化一个种群规模为q的种群Q，即随机生成q个n位长度的二进制数；

(b)个体评价对种群Q中的个体用适应性函数对每一基因个体进行适应度评估，适应性函数即上述G(X)的相反数，即Q(X)＝-(1-w

(c)按照选择概率，执行选择算子，从当前种群中选择部分个体进入下一代种群，本实施例中使用轮盘赌选择方法，依据适应度选择，适应度高的个体被选中的概率高，适应度低的个体被淘汰；

(d)按照交叉概率，执行交叉算子，本实施例中使用均匀交叉，两个配对个体的每个基因座上的基因都以相同的交叉概率进行交换；

(e)按照变异概率，执行变异算子，本实施例中使用均匀变异，以某一较小的概率来替换个体编码串中各个基因座上的原有基因值；

(f)由交叉和变异产生新一代的种群，返回步骤(b)。

由此，求得所述每个设备的更新值，即最佳采集时间序列X。

步骤S104、当达到所述采集时间表的更新阈值时，调用所述最佳采集时间序列对所述采集时间表进行更新。

所述步骤S104具体包括：所述采集时间表中为每个被采集数据的设备维护一个n位的二进制数Y，每隔Δt读取一位二进制数，当读到第w(1＜w＜n)位时，达到所述采集时间表的更新阈值，所述每个被采集数据的设备得到一个所述最佳采集时间序列X；

使用所述最佳采集时间序列，即n位的二进制数X，替换所述采集时间表中为每个被采集数据的设备维护的一个n位的二进制数Y；

按照更新后的采集时间表对设备进行数据采集。

步骤S105、当所述设备的CPU利用率小于空闲阈值或大于繁忙阈值时，调节所述新的目标函数中的权重参数，以改变采集数据的频率。

所述步骤S105具体包括：为所述每个被采集数据的设备设置空闲阈值为空闲时间段CPU利用率U

定时轮询所述设备，当所述设备的CPU利用率U

当所述设备的U

当所述设备的U

可见，本说明书实施例提供的基于多目标优化的自适应网络数据采集方法，量化了采集数据的频率和采集失真度，并以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，利用基于目标加权的遗传算法对多目标优化问题进行求解，计算出未来一个时间段内最佳采集时间序列。相较于计算一个采集频率的方法，本说明书提供的方法避免了频繁计算且更加灵活，同时采用二进制存储，避免占用过多存储资源；相较于传统周期性采集方法，本说明书提供的方法考虑到了被采数据的变化，实现降低采集数据的频率的同时，尽可能减少采集失真度，利用Holt-Winters方法预测未来一个时间段内被采集数据的值，基于此进行最佳采集时间点计算，提高了采集数据的准确性，同时将被采设备的CPU利用率纳入考虑范围，避免了设备由于采集带来的额外过大的性能负担。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种基于多目标优化的自适应网络数据采集装置。参考图2，所述的基于多目标优化的自适应网络数据采集装置，包括：

采集模块201，被配置为按照采集时间表对设备进行数据采集，将采集到的数据存入数据库中；

预测模块202，被配置为基于所述数据库中的历史采集数据，利用Holt-Winters方法计算得到下一时间段内被采集数据的预测值；

计算模块203，被配置为基于所述预测值，以采集数据的频率和采集失真度作为优化目标，构建多目标优化问题，然后通过目标加权法得到新的目标函数，利用遗传算法对所述新的目标函数进行求解，得出最佳采集时间序列；

更新模块204，被配置为当达到所述采集时间表的更新阈值时，调用所述最佳采集时间序列对所述采集时间表进行更新；

调节模块205，被配置为当所述设备的CPU利用率小于空闲阈值或大于繁忙阈值时，调节所述新的目标函数中的权重参数，以改变采集数据的频率。

作为一个可选的实施例，所述采集模块201，具体被配置为采集时间表中为每个被采集数据的设备维护一个n位的二进制数Y，Y＝{y

作为一个可选的实施例，所述预测模块202，具体被配置为基于所述数据库中的历史采集数据，计算得到所述设备在第t次采集的数据的平稳性值a

作为一个可选的实施例，所述计算模块203，具体被配置为设基于目标加权法的遗传算法求解得出的任一设备的最佳采集时间序列为n位的二进制数X，X＝{x

作为一个可选的实施例，所述更新模块204，具体被配置为当达到所述采集时间表的更新阈值时，所述每个被采集数据的设备得到一个所述最佳采集时间序列X；

使用所述最佳采集时间序列，即n位的二进制数X，替换所述采集时间表中为每个被采集数据的设备维护的一个n位的二进制数Y。

作为一个可选的实施例，所述调节模块205，具体被配置为为所述每个被采集数据的设备设置空闲阈值为空闲时间段CPU利用率U

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的基于多目标优化的自适应网络数据采集方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的基于多目标优化的自适应网络数据采集方法。

图3示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的基于多目标优化的自适应网络数据采集方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一实施例所述的基于多目标优化的自适应网络数据采集方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于实现前述任一实施例中相应的基于多目标优化的自适应网络数据采集方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。