一种多尺度扩张卷积神经网络的网络流量预测方法

摘要

本发明涉及网络流量预测技术领域，且公开了一种多尺度扩张卷积神经网络的网络流量预测方法，本发明采用公开的噪声和异常值大的5个数据集(NTBS、WTSW、AIIA、ISP以及EC)进行有效性验证：首先对数据进行预处理和分析，使其成为输入变量；再设计基于随机稀疏自注意机制的多尺度扩张卷积神经网络预测模型结构；将处理好的训练集输入到模型中，进行网络流量预测模型的训练，等待训练完成后，保存模型参数；最后将测试集输入到训练好的模型中，进行模型性能的测试。本发明的主要创新点在于开发了一个由不同大小的卷积核组成的三分支多尺度模型，使整个模型更灵活，且参数复杂度更低；提出了层确定机制，使层的确定不再依赖于特定的数据集。

说明书

技术领域

本发明涉及网络流量预测技术领域，具体为一种多尺度扩张卷积神经网络的网络流量预测方法。

背景技术

随着电子通信技术的发展和5G技术的日益普及，网络流量预测正逐渐成为许多企业和企业领域的一个重要课题。在网络流量高峰时段，服务器负载往往超过其最大容量，网站和应用软件也容易有缓慢的反应。在网络流量的非峰值时段，如果服务仍在按照峰值时间的设置运行，就会产生大量不必要的浪费。因此，准确、高效的网络流量预测技术是很有必要的，对充分利用网络资源以及有效提升用户服务体验方面上有很重要的现实意义。

早期网络流量预测采用的是传统的基于统计理论的方法，例如，对于平稳的序列，可使用ARIMA模型；而对于非平稳的序列，利用平滑方法转化为平稳序列再使用统计理论的方法。但是，随着人们的不断研究，发现实际中的时间序列往往呈现出非线性、非随机的现象，同时数据往往存在较大的噪声。这些导致了传统网络流量预测模型难以对复杂场景和特殊情形进行有效预测。

为了解决这个问题，机器学习和深度学习方法被广泛使用。现有的网络流量预测研究主要集中在网络流量序列的特征上。一些研究人员试图引入外部相关信息来描述序列的突然变化，例如，重大节日，突发天气等。然而对于外部信息的选取是有一定的主观性的。而一些学者希望将时间序列分解为几个组件，然后分别对不同的组件进行建模。

然而，很少有研究人员关注网络流量序列中不同尺度的潜在特征。研究人员指出时间序列可以分成长期，中期，短期模式，对于较小的卷积核可以提取更具体的信息和特征，而较大的卷积核可以提取更抽象的信息和特征。因此，有学者提出了利用基于初始结构的多尺度模型，主要是使用不同大小的卷积核从时间序列中提取不同尺度特征，虽然多尺度模型在其他领域中广泛应用，但仍有两个主要问题尚未解决。首先，多尺度模型的参数过多，因此训练和推理在内存使用和通信计算成本上都不经济，而且容易过拟合。其次，目前还没有研究讨论对于多尺度模型应该使用卷积核的具体大小。

近年来，一些学者将自注意机制应用于时间序列预测，挖掘了时间序列预测中的高阶自相关，也取得了更准确的结果。在时间序列中，自注意机制通过学习不同时刻之间的潜在相关性，抑制无效信息，增加有用信息的权重，提高了信息的利用效率。但所需的大量计算资源却受到了批评。因此，许多学者在引入自注意机制的稀疏性领域做出了许多贡献，通过在注意分数矩阵中引入各种稀疏性的方法来降低计算复杂度。

现有的方案为基于初始化的模型引入了初始化模块，初始化模块的结构如图2所示，其中初始化模块的结构的基本组成包括四个部分：1×1卷积，3×3卷积，5×5卷积，3×3最大池化。这里使用不同的卷积大小来抓取不同的感受野，最后再进行拼接意味着不同尺度的特征的融合。3×3卷积，5×5卷积前加1×1卷积，目的是为了先进行降维，相比较于原来结构减少了较多参数。而把1×1卷积放在3×3最大池化之后，相比较于放在前面，也是为了减少参数量。同时基于初始化模型提出Batch Normalization，通过一定的手段，把每层神经元的输入值分布转换为均值为0，方差为1的正态分布，使其落入激活函数的敏感区，避免梯度消失，加快收敛。最后去除了最后的全连接层，改用全局平均池化层来代替，即大大减少计算量。

总的来说，现有方案有以下缺点：第一是多尺度模型的参数太多，因此训练和推理在内存使用和计算成本上消耗太大，而且容易过拟合。第二就是很少有研究考虑不同时间特征的重要性差异。对于不同贡献的信息应该赋予不同的重要性，这样才能高效地分配计算资源。在计算资源有限的条件下，如果网络对所有信息视为同等重要可能造成资源的浪费，而且当对信息有较大贡献的特征被忽视时，将会严重影响网络流量的预测性能，为此我们提出了一种基于随机稀疏性自注意机制的多尺度扩张卷积神经网络的网络流量预测方法。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种多尺度扩张卷积神经网络的网络流量预测方法，建立了三分支多尺度模型，用于解决多尺度参数太多，在训练容易过拟合的缺点。同时添加了随机稀疏自注意机制来区分网络流量的有用信息，缓解异常值和噪声的干扰。采用本发明公开的方法，可以有效提取不同尺度的潜在特征，并且保证有更准确的预测能力。

(二)技术方案

为实现上述所述目的，本发明提供如下技术方案：一种基于随机稀疏性自注意机制的多尺度扩张卷积神经网络的网络流量预测方法，包括以下步骤：

第一步：获取了噪声和异常值大的5个数据集，分别是NTBS、WTSW、AIIA、ISP以及EC数据，对数据进行整理和分析，使其成为输入变量；

第二步：将整理后的数据划分为训练集和测试集，训练集与测试集比例为8：2，同时对训练数据集进行滑动平均，其中滑动窗口值设置为3，也就是将原始数据相邻的三个数做均值处理而得到；

第三步：建立基于随机稀疏自注意机制的扩张卷积神经网络预测模型；

第四步：将训练集输入到基于随机稀疏自注意机制的扩张卷积神经网络预测模型中，进行网络流量预测模型的训练，等待训练完成后，保存模型参数；

第五步：加载模型参数，获得训练好的网络流量预测模型，将测试集输入到模型中，得到网络流量预测值；

第六步：对训练好的网络流量预测模型进行预测性能评估。

优选的，第一步中的NTBS和WTSW数据包含多个时间序列，而AIIA、ISP以及EC数据只有一个时间序列。

优选的，第三步的具体内容为：

S1：将输入序列分别输入到卷积核大小为k1、k2和k3的扩张卷积神经网络的三个分支中；

S2：通过层确定机制确定卷积层数N1、N2和N3；

S3：在每三个扩张卷积层之间的网络中插入随机稀疏自注意机制，以考虑不同时间特征的重要性差异，将得到的三个分支网络的结果连接起来；

S4：将得到的结果进行线性变换，得到输出序列。

优选的，第四步中模型参数设置为：

学习率为0.0001，使用Adam优化器来优化网络模型参数，损失函数采用以下的Loss函数，训练周期是150轮，对于数据集ISP、AIIA和EC，输入序列的长度设置为200，对于数据集NTBS和WTSW，输入序列的长度分别设置为504和350，输出序列的长度分别设置为168和47；

其中

优选的，第六步中利用MAE、MSE和MAPE来评价模型的性能，指标可以定义如下：

(三)有益效果

与现有技术相比，本发明提供了一种多尺度扩张卷积神经网络的网络流量预测方法，具备以下有益效果：

1、该多尺度扩张卷积神经网络的网络流量预测方法，结合多尺度扩张卷积和自注意机制的网络流量预测模型，在多个数据集上取得了更好的性能。

2、该多尺度扩张卷积神经网络的网络流量预测方法，为了简化多尺度模型的结构，我们开发了一个三分支多尺度模型，其中引入了扩张卷积，其扩张规模随着层数的增加呈指数增长。在此基础上，设计了一种灵活的层确定机制，它不依赖于特定的数据集，而是依赖于卷积核的大小和输入序列的长度来确定网络层数。因此，我们的三个分支多尺度模型比基于初始模型的模型更灵活，且具有更低的参数复杂度。

3、该多尺度扩张卷积神经网络的网络流量预测方法，提出了随机稀疏自注意机制，引入了dropout，不仅可以区分网络流量的有用信息，而且有助于模型缓解异常值和噪声的干扰。

4、该多尺度扩张卷积神经网络的网络流量预测方法，比较和分析了不同卷积核组合在多个数据集中的性能，并得出卷积核大小的确定应该考虑时间序列的循环，为确定卷积核的大小提供了很好的参考价值。

附图说明

图1为该发明整体结构示意图；

图2为初始化模型的初始化模块示意图；

图3为多尺度扩张卷积神经网络的整体结构示意图；

图4为扩张卷积块的结构示意图；

图5为以输入序列长度为6的随机稀疏性自注意机制的详细过程示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，一种基于随机稀疏自注意机制的多尺度扩张卷积神经网络的网络流量预测方法，包括以下步骤：

步骤1、获取数据；

获取了噪声和异常值大的5个数据集，分别是基站网络流量(NTBS)、维基百科页面的网络流量时间序列(WTSW)、AIIA数据、ISP数据、EC数据。其中NTBS和WTSW数据包含多个时间序列，而AIIA,ISP,EC数据只有一个时间序列。并对数据进行预处理和分析，使其成为输入变量。

步骤2、选取训练集和测试集；

将这些数据划分为训练集和测试集，划分比例为8：2。对训练数据集进行滑动平均，其中滑动窗口值设置为3，也就是将原始数据相邻的三个数做均值处理而得到，这样做的目的是去噪。当数据是多个时间序列时，训练集形式：

步骤3、建立基于随机稀疏自注意机制的多尺度扩张卷积神经网络预测模型。

该方法模型总体结构如图3所示，可概述为：首先将输入序列分别输入到卷积核大小为k1、k2和k3的扩张卷积神经网络的三个分支中，用于提取不同尺度的潜在特征，然后通过层确定机制可以确定卷积层数N1、N2和N3，此外，在每三个扩张卷积层之间的网络中插入随机稀疏自注意机制，以考虑不同时间特征的重要性差异。将得到的三个分支网络的结果连接起来。最后，加入一个线性变换，得到输出序列。该模型可分为两部分，即三分支多尺度扩张卷积神经网络、随机稀疏自注意机制。

步骤3.1.扩张卷积神经网络

扩张卷积是通过一个超参数d来跳过部分输入使滤波器可以作用于大于滤波器本身长度的区域，等同于通过增加0来使原始滤波器生成更大的滤波器，增加了感受野。这里的超参数d会随着层数呈指数型变化。图4为扩张卷积块的模块图，它的输入经历了扩张卷积，1×1卷积，权重归一化，激活函数和Dropout，这里使用LeakyRelu函数作为激活函数来防止过多的死亡细胞，在每一个扩张的卷积层后加上一个1×1的卷积，以进行轻微的降维，由于扩张卷积后的瓶颈结构，输入和输出序列有不同的通道数。因此，在残差连接中加入了一个1×1的卷积，最后在执行对应维度相加操作，得到扩展卷积块的最终值。

步骤3.2.随机稀疏自注意机制

随机稀疏性自注意机制的总体结构如图5所示。首先由于一维序列并不满足作为自注意机制的输入的要求。为了解决这一问题，我们首先利用卷积运算将一维时间序列的原始一个通道转换为多个通道，并且在卷积前后得到的序列长度保持相等。其次，通过卷积和dropout来生成序列。如果这些序列由行连接，则得到输入序列为Q和K的矩阵。具体表现：矩阵Q和矩阵K由大小大于1的卷积核生成，为了防止未来的信息泄漏，卷积后去掉最后两个神经元,而向量V由1×1卷积生成。其中卷积使用高斯初始化，即从均值为0，方差为0的高斯分布中采样，作为卷积的初始权值。再对得到的序列进行连接，得到矩阵Q和K。然后对矩阵Q和K进行Dot product得到注意矩阵，而注意矩阵中相应位置的上三角部分具有相同的值。因此，Softmax函数进行归一化将不可避免地会导致未来的信息泄漏。所以本文除了归一化前的对角线位置外，还在注意矩阵QK

步骤3.3.层确定机制

该机制只考虑卷积核的大小和输入序列的长度来确定卷积层的数量。如果输入序列和输出序列长度，隐藏层中的神经元数量为L，卷积核大小为奇数，等于k，卷积核扩张大小d＝2

此外，从感受野的对称性来看，感受野rf的范围为：[RF,min(L,2RF)]

从上面公式反推，可以得到层数如下：

步骤3.4.卷积核大小的确定

在多尺度模型中，指出如何选择卷积核的大小的论文还很少。在本文中，决定多尺度模型卷积核大小的一个重要原则是考虑时间序列中的循环。具体来说，如果是一个周期级数等于T，则三个卷积核的大小应分别近似于

步骤4：将步骤2所建立的训练数据集输入到步骤3建立的基于随机稀疏自注意机制的多尺度扩张卷积神经网络中，进行网络流量预测模型的训练，设置学习率为0.0001，同时使用Adam优化器来优化网络模型参数，损失函数采用以下的Loss函数，训练周期是150轮。其中

步骤5、加载步骤4中得到的模型参数，获得训练好的网络流量预测模型，将步骤2建立的测试集输入到模型中，得到网络流量预测值。

步骤6、对训练好的网络流量预测模型进行预测性能评估。

对于预测性能，本文利用平均绝对误差(MAE)、平均平方误差(MSE)和平均绝对百分比误差(MAPE)三个常见的性能指标来评价该模型的性能。这三个指标可以定义如下：

为了说明本文提出的模型方法的优势，选取了几个常用的预测模型进行比较，得到的结果如下，参阅下述表1以及表2，我们提出的模型SMDCN在数据集NTBS、WTSW和AIIA的所有指标上都优于其他基线模型，在MSE和MAE的数据集ISP和EC中排名第二。说明预测性能还是很好的。

表1：模型SMDCN在数据集NTBS以及WTSW的指标

表2：模型SMDCN在数据集AIIA,ISP以及EC的指标

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。