一种基于门结构深度交叉网络的电力预算评估方法

摘要

本发明公开了一种基于门结构深度交叉网络的电力预算评估方法，从“一级利润中心”及“业务域”2个维度出发，中抽取影响电力预算的代表性的特征；采用Embedding网络层将这些特征从离散和连续型分别转换为低维稠密的表征向量；采用开源的Transformer模型中的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，从而输出高质量的特征表达向量。将这些表征向量分别传入一个深度网络和交叉网络，进行融合；基于训练的模型，计算测试集中样本的未来年份电力预算评估值。本发明解决了电力系统单位及专业部门年度预算与分配过程中缺乏决策指导的难题，既保持了深度网络的优点，又能利用交叉网络来对特征进行显式的交叉计算。

说明书

技术领域

本发明属于电力领域，具体是一种基于门结构深度交叉网络的电力预算评估方法。

背景技术

随着国家经济快速地发展，为了满足社会实际发展需求，电力公司需要从内部制度和发展策略上进行智能化的创新和改革。电力财务预算评估是电力企业管理工作中的重要组成部分，在实际的发展经营过程中，电力企业只有充分关注电力财务预算管理工作，并结合实际发展状况才能有效解决电力财务预算管理中存在的问题，从根本上为我国国民经济的发展提供电力保障。现有电力公司对一级利润中心及业务域进行预算分配时，存在以经验为主的问题，缺少一套完整的科学体系结构和模型来保证预算分配的合理性和可行性，缺少相关技术支撑。

目前，针对电力预算预测的已有研究工作主要集中在抽取相关的特征基础知识，采用机器学习算法为主，结合往年电力预算、城市GDP、城市人口等社会经济数据，建立预测模型以提高预算分配的科学性，如线性回归模型、逻辑回归模型以及决策树模型、深度网络和交叉网络等。以上模型往往忽视了特征之间的协同影响，也不能消除特征之间的语义歧义。此外，在深度网络和交叉网络学习的向量融合方面，也忽视了这2类网络学习的向量的重要度差异。

发明内容

本发明的目的是提供一种基于门结构深度交叉网络的电力预算评估方法，以解决现有电力预算分配中存在的不科学、不合理问题，从而为各专业资源统筹、培育财务管理新方法与新模式开辟新思路，并能够应用于不同的电力财务预测场景。

为解决上述问题，本发明采用的技术方案为：

一种基于门结构深度交叉网络的电力预算评估方法，首先，对企业一级利润中心维度数据和业务域维度数据进行预处理相关操作；其次，从“一级利润中心”及“业务域”2个维度出发，分别从这2类数据中抽取影响电力预算的13个代表性的特征；再次，采用Embedding网络层将这些特征从离散和连续型分别转换为低维稠密的表征向量；再次，采用谷歌Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，从而输出高质量的特征表达向量。然后，将这些表征向量分别传入一个深度网络和交叉网络，利用深度网络隐式地生成特征之间的交互和交叉网络来对特征进行显式的交叉计算，减少了人工进行特征交叉的工作量，并通过一个门结构网络对这2类网络学习的向量进行融合；最后，基于训练的模型，计算测试集中样本的未来年份电力预算评估值。

包括如下步骤：

1）从一级利润中心及业务域2个维度，分析历年电力预算分配数据。挖掘影响历年电力预算分配数据的影响特征，包括企业一级利润中心维度数据特征及业务域维度数据特征2部分，对这些特征进行预处理相关操作，并划分训练集及测试集。

2）建立基于门结构深度交叉网络的电力预算评估模型，利用深度网络隐式地生成特征之间的交互和交叉网络来对特征进行显式的交叉计算，并通过门结构网络对这2类网络学习的向量进行融合。将步骤1）所得训练集中所有特征值输入到该方法中进行训练学习，获得高阶的特征表达向量，建立往年电力预算分配值与特征值之间的非线性关系。

3）借助Adam优化器最小化损失函数，在训练阶段，对步骤2）中设计的基于门结构深度交叉网络的电力预算评估模型进行优化，以获得最优的参数。

4）根据步骤3）所得优化后的模型，在测试阶段，最终通过输入相关特征值，实现电力预算建议方案的自动生成。

所述步骤1）分析历年电力预算分配数据及其影响因素的具体方法为：分析电力企业一级利润中心维度数据，找出与历年电力预算分配数据相关度较高的参数，如各供电公司员工人数、设备数量、各个电压等级变电站数量、输电线路数量、售电量、输电量、资产原值及标准作业成本（单价）等。分析业务域维度数据，找出与历年电力预算分配相关度较高的参数，如城市GDP、人口及其他经济指标等。从所选特征中，选择历年均有数据且合理的特征，并分析其应取当年数据值或累计值，为每个特征选择合适取值，这些特征分为离散型和连续型，是深度学习模型的输入。按照训练集与测试集9:1的比例对数据集进行划分。

所述步骤2）中利用基于门结构深度交叉网络的电力预算评估模型进行训练学习的具体操作如下：

首先，将这2类特征集合组向量

其次，考虑到特征之间的协同影响以及冲突语义的特征交互给预测结果带来的影响。本发明采用谷歌Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，同时该模型具有强大的并行计算性，能够高效地输出高质量的特征表达向量。给定Transformer模型的输入向量

其中，Q、K、V分别代表Transformer模型中的Query、Key和Value三个向量，

其中，

再次，将特征的表征向量

此处，

深度网络(Deep Network)是一个全连接的前向反馈神经网络，第一层的计算方式为:

其中，

最后，通过一个门结构网络来衡量这2类网络学习的向量

其中,

最后，

所述步骤3）中的样本损失函数为平方损失函数，给定训练集合

本发明借助Adam优化器来最小化以上损失函数，从而将预测模型中的参数调为最优配置。

所述步骤4）中，借助步骤3）所训练好的基于门结构深度交叉网络的电力预算评估模型，通过输入测试集中的相关特征值，最终输出电力预算值，实现电力预算建议方案的自动生成。

本发明通过采用谷歌Transformer模型的多头注意力网络去捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，在此基础上，设计了一种门结构深度交叉网络，利用深度网络隐式地生成特征之间的交互和交叉网络来对特征进行显式的交叉计算，减少了人工进行特征交叉的工作量，并通过门结构网络对这2类网络学习的向量进行融合，最终实现高精度的电力财务预算评估。

本发明的有益效果为：从一级利润中心及业务域两个维度，分析历年电力预算分配数据及其对应的相关特征，设计了一种基于门结构深度交叉网络的模型，预测未来年份电力预算分配数据。

具体地讲，本发明具有如下优点：

1、发明的基于门结构深度交叉网络的模型，能够捕捉不同特征之间的交互，和学习多样化的特征交互带来的多义性，在此基础上，利用深度网络隐式地生成特征之间的交互和交叉网络来对特征进行显式的交叉计算，减少了人工进行特征交叉的工作量，并通过门结构网络对这2类网络学习的向量进行融合，最终实现高精度的电力财务预算评估。

2、发明的基于门结构深度交叉网络的模型，可以预测未来年份电力预算分配数据，解决了电力系统单位及专业部门年度预算与分配过程中缺乏科学性、急需技术支撑等难题，可有效提升资源配置的高效性与科学性。

附图说明

图1为本发明的整体系统框架图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同变换均落于本申请所附权利要求所限定的范围。

参见图1, 图中，深度学习的标准是采用同一形状来表示向量，不同颜色代表不同的向量，Concat和ReLu是常用的函数名称，Transformer是模型名称。本发明所述的基于大数据分析的电力预算建议方案自动生成方法，包括如下步骤：

1）从一级利润中心及业务域2个维度，分析往年电力预算的数据。挖掘影响历年电力预算分配数据的影响特征，包括一级利润中心维度数据特征及业务域维度数据特征2部分，对这些特征进行预处理相关操作，并按照训练集与测试集9:1的比例对数据集进行划分。

2）建立一种基于门结构深度交叉网络的电力预算评估模型。将步骤2）所得训练集中所有特征输入到该模型中进行训练学习，获得高阶的特征表达向量，建立历年电力预算分配值与特征值之间的非线性关系。

3）借助Adam优化器最小化损失函数，对步骤3）中设计的基于门结构深度交叉网络的电力预算评估进行优化，以获得最优的参数配置。

4）根据步骤3）所得优化后的模型，最终通过输入相关特征值，实现电力预算建议方案的自动生成。

所述步骤1）的分析历年电力预算分配数据及其影响因素的具体方法为：分析电力企业一级利润中心维度数据，找出与历年电力预算分配数据相关度较高的特征，分析业务域维度 数据，找出与历年电力预算分配相关度较高的特征，最终所抽取的特征如表1所示。从所选特征中，选择历年均有数据且合理的特征，并分析其应取当年数据值或累计值，为每个特征选择合适取值，这些集合中的特征分为离散型和连续型，这2类特征组成的集合记为

表1 数据特征描述

所述步骤2）中利用基于门结构深度交叉网络的电力预算评估方法进行训练学习的具体操作如下：

首先，将这2类特征集合组向量

再次，将特征的表征向量

此处，

深度网络(Deep Network)是一个全连接的前向反馈神经网络，第一层的计算方式为:

其中，

最后，设计了一个门结构网络来衡量这2类网络学习的向量

其中,

最后，使用

所述步骤3）中的样本损失函数为平方损失函数，给定训练集合

本发明借助Adam优化器来最小化以上损失函数，从而将预测模型中的参数调为最优配置。

所述步骤4）中，借助步骤3）所训练好的基于门结构深度交叉网络的电力预算评估模型，通过输入测试集中的相关特征值，最终输出电力预算值，实现电力预算建议方案的自动生成。