基于深度Attention-LSTM的短期负荷分位点概率预测方法

摘要

本发明公开了一种基于深度Attention‑LSTM的短期负荷分位点概率预测方法，首先，设计一种基于深度Attention‑LSTM网络的短期概率负荷预测模型；其次，选取负荷影响因素构建输入输出特征向量，并对原始数据进行数据预处理，得到训练集、验证集和测试集；最后，应用短期概率负荷预测模型进行短期概率负荷预测，得到预测结果。本发明建立了负荷概率分布对应的分位点预测方法，采用Pinball损失函数建立可靠性度量标准，度量特定分位点条件下的负荷概率预测的可靠性。

说明书

技术领域

本发明属于电力工业技术领域，具体涉及短期负荷预测方法。

背景技术

负荷预测是电力工业的重要环节，短期负荷预测在保障电网安全稳定、经济高效运行方面具有重要支持作用，是启停机计划和调度计划安排的依据。负荷预测还是光伏、风能消纳的核心技术，特别是对于可再生能源丰富的地区，负荷预测精度低不仅会致使光伏基地/风场经济利益受损，更会影响整个电网的电能质量乃至可靠性问题，对能源管理和节能减排都具有重要意义。

短期负荷预测方法主要可归纳为统计方法和机器学习方法两大类。其中，统计方法主要包含时间序列法、回归分析法等；机器学习方法则主要包含支持向量机(supportvector regression,SVR)、决策树模型等，其中，决策树模型中常应用于电力负荷预测的算法有随机森林算法及梯度提升算法 (gradient boosting regression tree,GBRT)等。

近年来，深度学习方法以其在高维非线性复杂系统的强大映射能力，被广泛应用于电力负荷预测领域，深度信念网络(deep believe network,DBN)、长短期记忆网络(longshort term memory,LSTM)、卷积神经网络 (convolutional neural network,CNN)等深度学习模型成为负荷预测领域的热点模型。深度学习方法可通过多层网络逐层学习到海量数据中的抽象特征，结合负荷与天气、经济等影响因素之间的非线性关系，能够达到更高精度的负荷预测效果。

LSTM是循环神经网络的一种结构，它将序列隐含层神经元相互连接，形成一个序列的反馈，且有效解决原始RNN中可能产生的梯度消失问题，在学习数据动态时序特性方面表现出良好的性能，在语音识别、文本预测等许多序列识别场景有广泛应用。负荷在短时间尺度内具有较为明显的周期性规律，在预测时应考虑其时序相关性，故具有记忆功能的LSTM模型能够有效学习历史负荷序列中的规律性，近年来在负荷预测领域得到应用。例如，将LSTM网络应用于短期负荷预测，通过将结果与多层BP网络进行对比，可以看出LSTM网络的预测效果远优于后者；又例如将LSTM网络应用于区域级超短期负荷预测，与传统算法的对比表明了其性能的优越性。

另一方面，负荷预测效果与输入特征的选取、时序关联性等密切相关，需要考虑输入特征序列对负荷波动性、不确定性的影响程度。基于注意力机制 (Attention)的神经网络在自然语言处理、计算机视觉等领域取得良好应用效果，它可通过为隐含层神经元分配不同的概率权重使得隐含层关注到更关键的信息，可利用该特性挖掘负荷预测中输入特征序列的关联性。例如将Attention 机制与LSTM网络结合应用于超短期负荷预测，实现历史负荷数据与预测点负荷之间相关性的挖掘；又例如提出了基于Attention-LSTM方法的电力市场负荷预测方法，重点关注电价与负荷序列的相关性。然而，以上研究大多仅仅使用了浅层LSTM网络模型，未充分发挥深度神经网络的特征提取优势，且未考虑负荷的概率特性，预测数据为确定性负荷曲线，难以体现负荷的概率特性分布。

发明内容

为了解决短期负荷预测存在的波动性、不确定性问题以及负荷概率预测可靠性难题，本发明提供一种基于深度Attention-LSTM的短期负荷分位点概率预测方法。

为解决上述技术问题，本发明采用如下技术方案：基于深度Attention-LSTM 的短期负荷分位点概率预测方法，

首先，设计一种基于深度Attention-LSTM网络的短期概率负荷预测模型；

其次，选取负荷影响因素构建输入输出特征向量，并对原始数据进行数据预处理，得到训练集、验证集和测试集；

最后，应用短期概率负荷预测模型进行短期概率负荷预测，得到预测结果。

优选的，所述一种基于深度Attention-LSTM网络的短期概率负荷预测模型包含两个LSTM隐含层、一个Attention层，输入向量先通过LSTM网络提取负荷时序特性，最后通过Attention层依据当前输入向量计算序列输入的特征权重，再将权重向量与当前输入向量合并得到预测点输出值。

优选的，LSTM的计算公式表示如下：

f

i

o

h

其中：x

优选的，连接于LSTM后的Attention机制计算公式如下：

u

式中，Attention层首先将LSTM隐含层的输出信息h

W

优选的，用pinball损失函数获取负荷概率分布对应的分位点信息，

其中，求取多组分位点得到负荷的概率特征，即

式中，

采用pinball损失函数描述的分位点信息定义为下式

式中，N为样本个数，s为符号函数，仅当满足条件时为1；p为分位点对应概率，

当

对建立的神经网络训练过程即为求解一个无约束优化问题，使得损失函数最小，即

式中，ω

优选的，数据预处理中，对不超过数据量20％的空缺值和“NAN”异常值，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。

优选的，由于不同输入特征具有不同量纲，故对原始特征数据x(i)进行归一化处理，使输入均限制在[0,1]范围内，归一化后的输入数据x

式中，x

优选的，对数据集整体以70％:15％:15％的比例划分训练集、验证集和测试集。

本发明采用上述技术方案，具有如下有益效果：

1)针对短期负荷预测存在的波动性、不确定性等技术难点，本发明充分考虑负荷时序特性，在深度LSTM的基础上引入Attention机制，建立基于深度 Attention-LSTM网络的短期负荷预测模型。

2)针对负荷概率预测问题，本发明建立了负荷概率分布对应的分位点预测方法，采用Pinball损失函数建立可靠性度量标准，度量特定分位点条件下的负荷概率预测的可靠性。

本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。

附图说明

下面结合附图和具体实施方式对本发明作进一步描述：

图1为LSTM网络基本单元结构图。

图2为Attention基本单元结构图。

图3为深度Attention-LSTM网络模型图。

图4为基于深度Attention-LSTM的概率负荷预测流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明首先设计了一种基于深度Attention-LSTM网络的短期概率负荷预测模型；其次，选取负荷影响因素(包括天气、节假日、经济等因素)构建输入输出特征向量，并对原始数据进行数据预处理，得到训练集、验证集和测试集；进而，应用建立的短期概率负荷预测模型进行短期概率负荷预测，得到预测结果。

各个步骤的具体实施方式如下所述。

基于深度Attention-LSTM网络的短期概率负荷预测模型设计

LSTM网络结构

LSTM长短期记忆网络是一种改进的RNN，将记忆参数限制于[0,1]区间内，防止较远时刻的记忆对输出产生指数爆炸的影响，有效解决了RNN无法处理的梯度消亡问题，可充分利用历史信息，在时序数据分析中具有更强的适应性。 LSTM单元基本结构如图1所示。

图中：x

LSTM的计算公式可表示如下：

f

i

o

h

Attention机制

Attention机制模拟了人脑注意力机制，即人脑注意力会在某个特定时刻会集中于特定的地方而减小或忽略其余部分的注意力这一特性。负荷序列具有时序性，当前时刻负荷水平与不同历史时刻的输入相关，因此本发明将Attention 机制引入LSTM模型中，通过对不同时序位置的输入量赋予不同的权值，突出关联性强的影响因素，从而帮助模型达到更准确的预测效果，并且基本不增加模型的计算和存储开销。

连接于LSTM后的Attention机制结构图如图2，计算公式如下：

u

式中，Attention层首先将LSTM隐含层的输出信息h

W

模型整体结构设计

基于深度Attention-LSTM的负荷预测模型整体结构如图3所示，其中包含两个LSTM隐含层、一个Attention层。输入向量先通过LSTM网络提取负荷时序特性，最后通过Attention层依据当前输入向量计算序列输入的特征权重，再将权重向量与当前输入向量合并得到预测点输出值。

网络构建流程如算法1所示。

训练方法及概率负荷预测指标

本发明建立的负荷预测模型将基于Python语言的TensorFlow架构实现。训练流程如图4给出：对数据集进行预处理后，将数据划分为训练集、验证集和测试集。建立网络并随机初始化，使所有连接权值和阈值为均值是0、方差为1 的高斯分布。此后，通过循环迭代更新网络参数，训练优化算法采用Adam优化器，学习速率设置为指数下降的方式，即lr＝lr

在训练过程中，采用验证集监视模型的泛化性能，当验证集损失函数基本不再下降时停止训练，并记录训练结束时模型权重以及在训练过程中验证集上误差最小的模型权重，选取其中泛化能力最好的一组作为最终训练完成的模型。

为进一步描述负荷波动的不确定性，本发明未采用确定性预测时常用的 MAPE、RMSE等指标作为损失函数，而采用pinball损失函数获取负荷概率分布对应的分位点信息。

其中，求取多组分位点得到负荷的概率特征，即

式中，

采用pinball损失函数描述的分位点信息定义为下式

式中，N为样本个数，s为符号函数，仅当满足条件时为1；p为分位点对应概率，

式中，ω

数据预处理

实验数据描述及输入输出选取

实验数据来源于浙江某市配用电管理系统2018-06-16至2019-06-16的负荷数据，数据步长为15分钟，以及该地区气象局提供的气象数据，

包括平均温度、最高温度、最低温度组成的气象数据，数据步长为24小时。本发明假设一日内气象数据保持不变，对气象数据进行周期延拓。对数据集整体将以70％:15％:15％的比例划分训练集、验证集和测试集。最终，模型输入数据为预测点前一日负荷、日期类型、时刻值及平均温度、最低温度、最高温度组成的天气因素，输入序列长度为96；输出数据为单点预测负荷，输出长度为1。

数据预处理

对原始数据中可能存在某些缺失、偏离的异常值除错补缺，其中，对不超过数据量20％的空缺值和“NAN”异常值，采用相邻负荷数据的均值进行填充，若出现连续异常数据，则继续向两端查找直至非空值。

由于不同输入特征具有不同量纲，故对原始特征数据x(i)进行归一化处理，使输入均限制在[0,1]范围内，从而提升预测精度与收敛速度。归一化后的输入数据x

式中，x

短期负荷预测实施与结果

为验证本发明所提深度Attention-LSTM模型的性能，采用LSTM+全连接层 (fullyconnected layer,FC)、SVR、GBRT网络作对照组，LSTM+FC基于 TensorFlow架构实现，其余两者基于Sklearn库实现，均采用损失函数为 pinball函数，且均通过随机搜索法确定超参数。其中，LSTM+FC节点数及超参数与本发明所提模型相同，各隐含层神经元个数分别为100、50、20，即网络结构为96-100-50-20-1，SVR结构为96-50-20-1，采用RBF核函数，GBRT根据经验设置决策树最大深度为10，其余参数略去描述。各算法训练迭代收敛条件相同，即连续50次迭代损失函数下降值小于阈值时停止训练。

采用预测精度及程序运行时间作对比。以6月10日至6月16日为测试区间，进行日前负荷预测实验。取分位点概率在0.2-0.8范围内，深度 Attention-LSTM、LSTM+FC、SVR、GBRT几种网络测试集Pinball损失函数表给出。特别地，分位点概率p＝0.5时，真实负荷曲线与各方法的预测结果对比结果显示，本发明建立的深度Attention-LSTM网络应用于负荷预测时，虽然在不同预测日期内预测精度不尽相同，但其整体预测精度明显优于传统SVR及GBRT，相比LSTM+FC也略有提升，在不同分位点概率下测试误差均小于对比算法，保持预测精度优势。针对负荷概率预测问题，本发明深度Attention-LSTM算法在不同分位点概率设置下的预测结果，结果表明所有分位点均可有效把握负荷变化趋势，且分布较为集中，各个分位点组成的负荷预测曲线群构成的区间可实现对负荷实际值的较好覆盖，为调度运行提供了可靠依据。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。