基于偏差控制机制的Mapreduce化两步法短期负荷预测方法

摘要

本发明公开了一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法，第一步采用自回归滑动平均模型ARMA法，不考虑负荷的影响因素，得到预测相对误差值；第二步采用SVM法，以第一步预测相对误差值、待预测点日平均气温为影响因素来进行二次负荷预测，在第一步的预测基础上修正预测值，实现对负荷的偏差控制预测；同时将ARMA法与SVM法实现Mapreduce化，具有较好的加速比和可扩展性，同时利用实时温度数据，在Hadoop平台上并行化运行预测方法，在保证预测速度和预测精度的基础上实现短期实时负荷预测。

说明书

技术领域

本发明涉及发一种基于大数据的电力负荷预测方法，特别是基于偏差控制机制的负荷预测方法。

背景技术

时间序列模型是被认为最经典、最系统、最被广泛采用的一类短期负荷预测方法，但其有以下缺点： ①在电网正常运行、气候等因素变化不大时的预测比较准确，但在随机性因素变化较大或存在坏数据时， 预测结果则不太理想；②不能很好处理其他影响负荷预测的因素；③在每日的负荷丰谷转折点预测精度差。

而一个好的负荷预测方法应满足：①能处理实时气象因素；②根据预测的偏差不断调整模型的结构与 参数，构成了一个闭环反馈。因此应该充分利用时间序列模型预测得到的相对误差值进行考虑实时气象因 素的二次负荷预测，实现对负荷预测偏差的控制。

发明内容

本发明的目的是提供一种实现偏差控制的两步法短期负荷预测算法，以解决传统时间序列预测算法在 每日的负荷丰谷转折点预测精度差，无法实时处理气象因素、有效利用模型预测偏差，导致的负荷预测精 度低的问题。

本发明为解决上述技术问题而提供一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法， 第一步采用自回归滑动平均模型AutoregressiveMoving-AverageModel(ARMA)法，不考虑负荷的影响因 素，得到预测相对误差；第二步采用支持向量机SupportVectorMachine(SVM)法，考虑第一步的预测相 对误差、实时待预测点气温的影响来进行二次负荷预测，在第一步的预测基础上修正预测值，实现对负荷 的实时预测。具体步骤如下：

步骤1、配置Linux运行环境，搭建分布式集群Hadoop平台，配置分布式文件系统HDFS、并行运算 Mapreduce；

步骤2、数据采集：从待预测地区供电公司的EMS系统中采集历史负荷数据，从气象局的数据库中采 集历史温度数据，两种数据的样本总数均为M，每天的采样频率均为f，且采样时刻相同；

步骤3、数据预处理：对历史负荷数据、历史温度数据进行归一化处理，将历史负荷数据划分为负荷 训练集：L_r＝{l_r}，r＝1,2,…Q，以及负荷测试集：L_u＝{l_u}，u＝1,2,…S，其中l_r与l_u为历史负荷数据 样本，Q+S＝M；将历史温度数据划分为温度训练集：T_r＝{t_r}，r＝1,2,…Q，以及温度测试集： T_u＝{t_u}，u＝1,2,…S，其中t_r与t_u为历史温度数据样本，Q+S＝M；历史负荷数据和历史温度数据的划 分方法相同。

步骤4、将自回归滑动平均模型ARMA法Mapreduce化，进行一次负荷预测，具体步骤如下：

4A.负荷训练集分割：确定并行ARMA的数目为N，修改HDFS的配置文件，使得负荷训练集分割为N个 历史负荷数据子集，上传至HDFS文件系统；

4B.设计Map函数：采用ARMA法得到模型参数，并作为value值输出；

4C.设计Reduce函数：将N个Map任务得到的ARMA模型参数进行平均，得到最终ARMA模型，对 所有的历史负荷进行预测，并按照下式计算相对误差E₁，同时存入HDFS文件系统：

$E_1=\left(\frac{l_{F1}-l_R}{l_R}\right)\times 100\%$

其中：E₁为采用ARMA法得到的待预测负荷的预测相对误差，l_F1为采用ARMA法进行负荷预测得到的 负荷预测结果，l_R为负荷实际值；

步骤5、数据整理：综合训练集：x_r＝(E_1r,t_r,l_r)，r＝1,2,…Q，综合测试集：x_u＝(E_1u,t_u,l_u)，u＝ 1,2,…S，其中l_r、l_u代表步骤3中历史负荷值，E_1r、E_1u代表由步骤4得到的l_r对应的相对误差值，t_r、t_u代表l_r、 l_u点对应的步骤3中历史温度值；

步骤6、将SVM法Mapreduce化，进行二次负荷预测，具体步骤如下：

6A.综合训练集分割：确定并行SVM的数目为N，修改HDFS的配置文件，使得综合训练集数据分割 为N个综合子训练集，上传至HDFS文件系统；

6B.设计Map函数：选择径向基作为核函数，选定核函数参数与惩罚因子，对综合子训练集进行SVM 模型训练，得到子支持向量，并将其作为Map函数的value输出；

6C.设计Reduce函数：汇集N个Map函数输出的子支持向量得到总支持向量集，再对总支持向量集 进行SVM训练，得到最优拉格朗日乘子a^*以及最优阈值b^*，建立进行负荷预测的SVM回归函数：

$y^{*}\left(x\right)=\underset{r=1}{\overset{M}{\Sigma }}({\hat{\alpha }}_i^{*}-{\alpha }_i^{*})K(x_r,x_u)+b^{*}$

式中，x_r＝(x_r1,x_r2,y_r)，r＝1,2,…Q为训练样本，x_u为待预测点的特征值向量；

利用SVM回归函数进行负荷预测得到预测结果L_Fi2，并按照下式计算相对误差：

$E_2=\left(\frac{L_{F2}-l_R}{l_R}\right)\times 100\%$

其中：E₂为采用SVM法得到的待预测负荷的预测相对误差，L_F2采用SVM法得到的为负荷预测值，l_R为 负荷实际值；将SVM法得到的二次负荷预测结果与相对误差结果存入HDFS文件系统。

与传统技术相比，本发明的有益效果是：

传统时间序列预测方法应用于负荷预测时，无法有效考虑影响负荷预测精度的因素，同时其在每日的 负荷丰谷转折点预测精度差，而且现有其他负荷预测方法都没有考虑充分利用预测误差值，本发明以时间 序列预测法的预测误差值与以待预测点的预测温度作为二次负荷预测SVM法的输入特征，消除了时间序列 预测方法在每日的负荷丰谷转折点预测精度差的问题，同时利用实时温度数据，在Hadoop平台上并行化 运行预测方法，在保证预测速度和预测精度的基础上实现短期实时负荷预测。

附图说明

图1是本发明基于偏差控制机制的Mapreduce化两步法短期负荷预测方法的流程图。

图2是第一步Mapreduce化的ARMA负荷预测流程图。

图3是第二步Mapreduce化的SVM负荷预测流程图。

具体实施方式

为使本发明更明显易懂，配合附图作详细说明如下，

一种基于偏差控制机制的Mapreduce化两步法短期负荷预测方法，具体步骤包括：

步骤1、配置Linux运行环境，搭建分布式集群Hadoop平台，配置分布式文件系统HDFS、并行运算 Mapreduce；

步骤2、数据采集：从待预测地区供电公司的EMS系统、气象局的数据库中采集历史负荷数据、历史 温度数据，两种数据的样本总数均为M，每天的采样频率均为f，且采样时刻相同；

步骤3、数据预处理：对历史负荷数据、历史温度数据进行归一化处理，将历史负荷数据划分为负荷 训练集：L_r＝{l_r}，r＝1,2,…Q，以及负荷测试集：L_u＝{l_u}，u＝1,2,…S，其中l_r与l_u为历史负荷数据 样本，Q+S＝M；将历史温度数据划分为温度训练集：T_r＝{t_r}，r＝1,2,…Q，以及温度测试集： T_u＝{t_u}，u＝1,2,…S，其中t_r与t_u为历史温度数据样本，Q+S＝M；历史负荷数据和历史温度数据的划 分方法相同。

步骤4、采用自回归滑动平均模型ARMA法进行负荷预测，具体步骤如下：

4A.负荷训练集分割：确定并行ARMA的数目为N，修改HDFS的配置文件，使得负荷训练集分割为N个 历史负荷数据子集，上传至HDFS文件系统；

4B.设计Map函数：采用传统ARMA法得到模型参数，并作为value值输出：

Step1:对采集的历史负荷数据进行平稳性检验，采用非参数检验法：将电力负荷数据作散点图，当日 该时刻的电力负荷数据大于这段时期该时刻平均电力负荷时用+1表示，当日该时刻的电力负荷数据小于这 段时期该时刻平均电力负荷时用-1表示，γ表示游程数(正负交错数)，N表示+1出现次数，M表示-1出 现次数，则统计量为：n＝N+M。取显著水平α＝0.05， 当|Z|≤1.96时历史负荷数据为平稳随机序列，否则为非平稳随机序列。

Step2:若电力负荷序列为非平稳序列，则对该负荷序列进行预处理：平稳化处理、零化处理；

平稳化处理：对负荷数据进行差分处理，一阶差分：ΔX_t＝X_t-X_t-1，然后按照Step1判断经处理后 序列的平稳性，若不是平稳序列则继续进行差分，直到成为平稳序列。

零化处理：当负荷数据序列{x_t}，t＝1,2,…N的均值非零时，构造零均值序列：y_t＝x_t-Ex_t，其中 ${\mathrm{Ex}}_t=\frac{1}{N}{\Sigma }_{t=1}^N{x}_t.$

Step3:模型结构辨识：

①计算由Step2得到的平稳、零均值的随机序列{y_t}，t＝1,2,…N的自相关函数：

${\rho }_k=\frac{R_k}{R_0},k=0,1,\mathrm{...},N-1$

$R_k=\frac{1}{N}\underset{t=k+1}{\overset{N}{\Sigma }}{y}_t{y}_{t-k},k=0,1,\mathrm{...},N-1$

②计算偏自相关函数：

③给定m,n初值，若ρ_k在某个k>m后则{y_t}为MA(0,m)序列；若在某个 k>n后则{y_t}为AR(n,0)序列；若ρ_k与均不为0，则{y_t}为ARMA序列，但不能确定阶数。

Step4:参数估计:

④若为AR(n)模型：其中均为常 数，a_t为白噪声参数估计为：

其中：

$x=\left(\begin{array}{cccc}{y}_n& y_{n-1}& \mathrm{...}& y_1\\ y_{n+1}& y_n& \mathrm{...}& y_2\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ y_{N-1}& y_{N-2}& \mathrm{...}& y_{N-n}\end{array}\right)$

⑤若为MA(m)模型：y_t＝-θ₁a_t-1-θ₂a_t-2-…-θ_ma_t-m+a_t，其中θ₁、…θ_m均为常数，a_t为白噪 声。一般MA(m)模型阶数为1或2，阶数再增加则比较复杂，故直接取m＝1或m＝2，采用直接法求参 数估计。

m＝1时:

${\theta }_1=\frac{-2{\rho }_1}{(1+\sqrt{1-4{\rho }_1^2})}$

${\sigma }_a^2=\frac{R_0^2(1+\sqrt{1-4{\rho }_1^2})}{2}$

m＝2时:

⑥若为ARMA(n,m)模型：其中θ₁、…θ_m均为常数，a_t为白噪声。

1)令p_N＝(lnN)^1+δ,0≤δ≤1为任意给定值，按④计算

2)求长自回归模型残差：t＝p_N+1,…,N，利用残差自相关函数检验{a_t}的独 立性，若不独立，则增大p_N，转1)，否则转3)；

3)按照最小二乘估计ARMA(n,m)模型的参数：β＝(X^TX)^-1X^TY

其中：

$X=\left(\begin{array}{cccccccc}{y}_{p_N}& y_{p_N-1}& \mathrm{...}& y_{p_N-n+1}& a_{p_N}& a_{p_N-1}& \mathrm{...}& a_{p_N-m+1}\\ y_{p_N+1}& y_{p_N}& \mathrm{...}& y_{p_N-n+2}& a_{p_N+1}& a_{p_N}& \mathrm{...}& a_{p_N-m+2}\\ .& .& .& .& .& .& & .\\ .& .& .& .& .& .& & .\\ .& .& .& .& .& .& & .\\ y_{N-1}& y_{N-2}& \mathrm{...}& y_{N-n}& a_{N-1}& a_{N-2}& \mathrm{...}& a_{N-m}\end{array}\right)$

$Y={\left(\begin{array}{cccc}{y}_{p_N+1}& y_{p_N+2}& \mathrm{...}& y_N\end{array}\right)}^T$

4)采用AIC准则确定模型阶数：

$AIC(n,m)={\mathrm{Nln\sigma }}_a^2(n,m)+2{\sigma }_a^2(n+m)$

5)重新选定m,n，对m,n重复进行1)～4)，选择使AIC(n,m)最小的一组m^*,n^*作为ARMA的阶数，由 3)得到参数估计。

4C.设计Reduce函数：将N个Map任务得到的ARMA模型参数进行平均，得到最终ARMA模型，对 所有的历史负荷进行预测，并按照下式计算相对误差E₁，同时存入HDFS文件系统：

$E_1=\left(\frac{l_{F1}-l_R}{l_R}\right)\times 100\%$

其中：E₁为采用ARMA法得到的待预测负荷的预测相对误差，l_F1为采用ARMA法进行负荷预测得到的 负荷预测结果，l_R为负荷实际值；

步骤5、数据整理：综合训练集：x_r＝(E_1r,t_r,l_r)，r＝1,2,…Q，综合测试集：x_u＝(E_1u,t_u,l_u)，u＝ 1,2,…S，其中l_r、l_u代表历史负荷值，E_1r、E_1u代表由步骤4得到的l_r对应的相对误差值，t_r、t_u代表l_r、l_u点对 应的气温值；

步骤6、将SVM法Mapreduce化，进行二次负荷预测，具体步骤如下：

6A.综合训练集分割：确定并行SVM的数目为N，修改HDFS的配置文件，使得综合训练集数据分割 为N个综合子训练集，上传至HDFS文件系统；

6B.设计Map函数：选择径向基作为核函数，选定核函数参数与惩罚因子，对综合子训练集进行SVM 模型训练，得到子支持向量，并将其作为Map函数的value输出；

6C.设计Reduce函数：汇集N个Map函数输出的子支持向量得到总支持向量集，再对总支持向量集 进行SVM训练，得到最优拉格朗日乘子α^*以及最优阈值b^*，建立进行负荷预测的SVM回归函数：

$y^{*}\left(x\right)=\underset{r=1}{\overset{M}{\Sigma }}({\hat{\alpha }}_i^{*}-{\alpha }_i^{*})K(x_r,x_u)+b^{*}$

式中，x_r＝(x_r1,x_r2,y_r)，r＝1,2,…Q为训练样本，x_u为待预测点的特征值向量；

利用SVM回归函数进行负荷预测得到预测结果L_Fi2，并按照下式计算相对误差：

$E_2=\left(\frac{L_{F2}-l_R}{l_R}\right)\times 100\%$

其中：E₂为采用SVM法得到的待预测负荷的预测相对误差，L_F2采用SVM法得到的为负荷预测值，l_R为 负荷实际值；将SVM法得到的二次负荷预测结果与相对误差结果存入HDFS文件系统。

本发明的意义表现在：(1)可以充分利用ARMA法得到的预测相对误差值，使得每日的负荷丰谷转折点 较差的预测精度值变为有用信息；(2)考虑实时的气象因素；(3)实现负荷预测偏差控制。