全电网多源数据下基于云平台的风险稽查监控平台

摘要

本发明提出全电网多源数据下基于云平台的风险稽查监控平台，包括基础设施层、基础软件层、服务支撑层、应用层；基础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。本发明完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据统计分析、数据挖掘整个数据风险稽查的生命周期。

说明书

技术领域

本发明属于电网智能稽查技术领域，尤其涉及一种全电网多源数据下基于 云平台的风险稽查监控平台。

背景技术

完成 “两覆盖”建设，实现数据的深化应用，产生了大量电能量数据，能使新一轮营销改造更具有针对性，更有效地解决贫困地区低电压、卡脖子、不通动力电等突出问题，满足群众从“用上电”到“用好电”的需求。同时，进一步提升了电网智能化服务水平，用户将享受到更优质的供电服务。在目前南方电网向数字化转型的背景下，急需深挖“双覆盖”后的数据价值，使之服务于营销业务工作的开展，为稽查业务智能化提供坚实的数据基础。

对此，申请号为CN201911196973.6的中国发明专利申请提出一种电力营销 稽查管理方法，包括：获取电力营销系统的历史营销业务数据，并对历史营销 业务数据进行标准化处理；对标准化处理后的历史营销业务数据进行分析，提 取异常特征数据；基于机器学习和深度学习处理异常特征数据，建立异常复核 定位算法模型，并完成异常复核定位算法模型的自我学习，得到稽查知识图谱； 基于稽查知识图谱处理营销稽查规则、营销稽查规则对应的问题类型和问题类 型对应的数据源，定位当前营销业务数据的异常节点，获取营销稽查结果，从 而建立起用于稽查的稽查知识图谱，具有可追溯性，实现营销全业务、全数据、 全专业、全风险的精准稽查。

中国发明专利申请CN110378808A公开一种基于基因重组及特征聚类的电 力营销稽查方法，包括如下步骤：步骤100、数据清洗，导入的工单数据经过 省级稽查后，进行第一次数据清洗后会产生两种结果，分别为工单数据的有效 异常和无效异常；步骤200、有效异常的数据下发到市级单位进行数据处理， 无效异常的数据直接进行处理；步骤300、市级单位的数据处理通过智能稽查 方法进行智能处理。该发明能够有效提升在线稽查的准确度，大幅度提升在线 稽查作业效率。

然而，现有营销系统稽查业务的处理方式主观性较强，智能化不足，这不 但增加了业务人员工作量，也无法满足稽查精益化管理的要求。

目前营销管理系统稽查模块现状具体分析如下：

1、规则不够细化，无法详细定位每个问题点；

2、基于关系数据库实现，性能损耗较大，无法有效并行处理；

3、抽样时间较长，影响效率；

4、规则筛查出的问题较多，而每月稽查业务量有限，无法有效跟踪；

5、稽查问题、经验未知识化管理，同类问题不同人处理无法有效利用知识 快速处理；

6、稽查风险防控能力有待提高。

发明内容

为解决上述技术问题，本发明提出全电网多源数据下基于云平台的风险 稽查监控平台，包括基础设施层、基础软件层、服务支撑层、应用层；基 础设施层包括智能电表采集端以及本地边缘计算终端；基础软件层包括数 据库软件和Web中间层，通过数据库软件为所述风险稽查监控平台提供大 数据存储服务，通过Web中间层为所述风险稽查监控平台提供大数据基础 服务；服务支撑层提供大数据服务套件，大数据服务套件包括数据集成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；风 险稽查监控平台通过所述应用层实现可视化的智能稽查服务。

本发明的技术方案，从数据“采、存、通、用”流程角度，分为数据采 集层、数据存储层、数据计算层、数据分析层、平台服务层。平台整体部 署在云平台之上，使用云平台提供的计算和存储服务，本身天然拥有弹性 伸缩能力。平台是数据汇聚中心、统一数据及数据服务唯一来源，是各公 司大数据应用的开发支撑平台，同时也是元数据管理、数据质量管理、数 据标准管理的载体。

依托大数据基础平台集成本项目处理海量数据所需要的各种基础技术 组件，完整的覆盖了从数据集成、数据治理、数据存储、数据查询、数据 统计分析、数据挖掘整个数据处理的生命周期，并覆盖了内存计算、异常 分析等本项目必需的分析技术。

具体而言，本发明提供一种全电网多源数据下基于云平台的风险稽查监 控平台，所述风险稽查监控平台包括基础设施层、基础软件层、服务支撑 层、应用层。

其中，所述基础设施层包括分布于电网目标范围内不同位置的M个智能 电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正整数；

所述基础设施层通过分布式文件系统与所述基础软件层通信，所述基础 软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽 查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监 控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式 内存计算、流式计算、数值分析以及数据挖掘；

所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集 成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；

所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。

所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置 分组可视化参数；

基于所述分组可视化参数，对所述M个智能电表采集端进行分组后得到 K个分组，每个分组包括多个智能电表采集端；K≤N；

将所述每个分组包括的所述多个智能电表采集端采集的电网状态数据 发送至该分组对应的至少一个本地边缘计算终端。

所述每个本地边缘计算终端设置有数据缓存队列；

通过判断所述数据缓存队列是否发生阻塞以及阻塞的持续时间是否超 过预定时间值，来对分组进行调整或者数据传输的方式进行调整。

所述风险稽查监控平台还包括展示层，所述展示层向用户提供操作界 面，通过用户的交互实现用户所期望的功能。

在本发明中，为了确保营销系统的安全稳定运行以及稽查异常分析工作 的高性能数据处理，本项目采用了大数据技术与J2EE技术相结合的方式来 实现。各个层次的结构和功能模块如下：

基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要， 考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管 理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持 大数据分布式高性能海量数据处理及分析。

基础软件层：对于智能稽查应用方面与南方电网营销系统的技术架构一 致，考虑了数据库软件和Web中间件，在选型上也与营销系统一致；在智 能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组 件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务， 以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。

服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在 智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套 件。

应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划， 根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。

此外，本发明采用面向服务的体系架构(SOA)进行应用的设计、开发、 系统集成，力求摆脱面向技术的解决方案的束缚，从而提高软件的可重用 性、加快应用软件的实施。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细 体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的一种全电网多源数据下基于云平台的风险稽 查监控平台的主体架构图

图2是图1所述平台的模块连接示意图

图3是图1所述平台中基础设施层的实际连接示意图

图4是图1所述平台提供的不同功能模块示意图

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参见图1，是本发明一个实施例的一种全电网多源数据下基于云平台的 风险稽查监控平台的主体架构图。

在图1中，所述风险稽查监控平台包括基础设施层、基础软件层、服务 支撑层、应用层、展示层以及可视化配置服务组件。

作为进一步说明，本发明所述的风险稽查监控平台采用省级集中部署的 方式，平台涉及稽查规则统计，将在大数据分析平台之上搭建，应用服务 器和数据库服务器使用云平台提供的虚拟资源，业务数据来源于云数据库 服务器集群。

为了确保营销系统的安全稳定运行以及稽查异常分析工作的高性能数 据处理，本实施例采用了大数据技术与J2EE技术相结合的方式来实现。

平台在架构上分为：基础设施层、基础软件层、服务支撑层、应用层四 个层次。

更具体的，在图1基础上，可参见图2。

基础设施层：是项目的硬件基础设施层。对于智能稽查应用方面的需要， 考虑了应用服务器以发布Web应用；考虑了数据库服务器以实现应用与管 理数据的存储。而在大数据平台考虑采用服务器构建服务器集群，以支持 大数据分布式高性能海量数据处理及分析。

所述基础设施层通过分布式文件系统与所述基础软件层通信，所述基础 软件层包括数据库软件和Web中间层，通过所述数据库软件为所述风险稽 查监控平台提供大数据存储服务，通过所述Web中间层为所述风险稽查监 控平台提供大数据基础服务，所述大数据基础服务包括SQL查询、分布式 内存计算、流式计算、数值分析以及数据挖掘；

基础软件层：对于智能稽查应用方面与南方电网营销系统的技术架构一 致，考虑了数据库软件和Web中间件，在选型上也与营销系统一致；在智 能稽查支撑方面则采用了主流大数据平台组件，主要采用Hadoop云生态组 件。通过各组件提供的数据智能规则分析服务和其各组件所提供的服务， 以支持稽查档案数据处理、业务数据、表码数据处理和异常规则核查要求。

服务支撑层：采用基于SOA架构的服务设计理念设计多种业务服务；在 智能稽查支撑方面则对基础大数据开发技术进行封装，设计大数据服务套 件。

所述服务支撑层提供大数据服务套件，所述大数据服务套件包括数据集 成套件、数据治理套件、查询统计套件、数值分析套件以及数据挖掘套件；

应用层：基于服务支撑层实现具体的业务功能。对于本项目的应用规划， 根据其功能特点分别采用J2EE技术、微服务及大数据技术进行开发。

所述风险稽查监控平台通过所述应用层实现可视化的智能稽查服务。

所述应用层还提供可视化配置服务组件，所述可视化配置服务组件设置 分组可视化参数。

展示层：向用户提供操作界面，通过用户的交互实现用户所期望的功能。

在图2中，所述分布式文件系统采用YARN作为大数据集群资源管理器。

接下来参见图3，图3具体的示出了本发明所述的基础设施层的一个具 体布置方式。

通常情况下，所述基础设施层包括分布于电网目标范围内不同位置的M 个智能电表采集端以及N个本地边缘计算终端，其中M>N>1，M和N均为正 整数。

图3中，示出了4个智能电表采集端以及2个本地边缘计算终端。

在图3中，基于分组可视化参数，对所述4个智能电表采集端进行分组 后得到2个分组，每个分组包括2个智能电表采集端；

图3中四个智能电表采集端自上而下标记为1-4号采集端，1号3号分 为一组；2号4号分为一组；2个本地边缘计算终端分别标记为A和B，则 在图3的状态下，本地边缘计算终端A接收1号和3号智能电表采集端采 集的电网状态数据；本地边缘计算终端B接收2号和4号智能电表采集端 采集的电网状态数据。

进一步的，每个本地边缘计算终端设置有数据缓存队列。

在本发明的各个实施例中，通过边缘计算终端和云平台的联合，使得数 据尽可能在本地处理，如果发生阻塞，则优先调整分组；如果调整分组还 不能满足扩容要求，才上传至平台。这种设置，能够实时的对数据进行处 理，同时避免云传输成本的激增。

具体而言，若某个本地边缘计算终端在接收智能电表采集端发送的电 网状态数据时，所述数据缓存队列发生阻塞并且阻塞的持续时间超过预定 时间值，则将该本地边缘计算终端对应的分组中包含的多个智能电表采集 端中的部分智能电表采集端采集的电网状态数据发送至所述云平台。

若某个本地边缘计算终端在接收智能电表采集端发送的电网状态数据 时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定时间值，则 减少该本地边缘计算终端对应的分组中包含的智能电表采集端的数量。

在图3中，如果边缘计算终端A的数据缓存队列发生阻塞并且阻塞的持 续时间超过预定时间值，则后续需要将1号和3号智能电表采集端采集的 电网状态数据部分发送至云平台；

如果边缘计算终端B的数据缓存队列发生阻塞但是阻塞的持续时间未超 过预定时间值，则可以考虑将2号或者4号智能电表采集端采集的电网状 态数据发送至其他边缘计算终端，例如发送至边缘计算终端A；或者其他 本地边缘计算终端，或者启动更多的边缘计算终端等。

具体实现时，若某个本地边缘计算终端在接收智能电表采集端发送的电 网状态数据时，所述数据缓存队列发生阻塞但阻塞的持续时间未超过预定 时间值，则发送反馈信号给所述可视化配置服务组件，使得所述可视化配 置服务组件调节所述分组可视化参数。

在上述实施例中，所述系统还提供数据持久化支持服务；

用户通过所述可视化配置服务组件设置分组可视化参数后，所述服务支 撑层接收用户提交的处理请求，触发业务逻辑，调用所述数据持久化支持 服务完成数据存储。

更具体的，可参见图4。

通过所述基础设施层获取分组数据，

通过所述基础软件层中的所述Web中间层调用JPA工具类进行数据分页 查询；

服务支撑层通过数据访问插件拦截查询数据并将所述数据存储到大数 据集群服务器中。

所述风险稽查监控平台提供Apache CXF WebService运行环境，将业务 服务发布成Web Service发布到所述电网目标范围内不同位置的远程控制 端。

结合图4，本实施例依托大数据基础平台集成本项目处理海量数据所需 要的各种基础技术组件，完整的覆盖了从数据集成、数据治理、数据存储、 数据查询、数据统计分析、数据挖掘整个数据处理的生命周期，并覆盖了 内存计算、异常分析等本项目必需的分析技术：

其中：

分布式文件系统：为了满足海量数据的存储以及数据安全需求，采用分 布式文件系统。HDFS是一个高度容错性的系统，能够确保数据的安全性和 完整性，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非 常适合大规模数据集上的应用。

集群资源管理：采用了YARN作为大数据集群资源管理器，它是一个通 用资源管理系统，将集群内分布的相关设备的内存、存储、CPU等资源进 行统一的资源管理和调度，它为集群在利用率、资源统一管理和数据共享 等方面带来了巨大好处。

大数据集成：提供多种数据集成组件，可以实现数据从关系型数据库(如 营销系统ORACLE|、MYSQL数据库)、文本文件(例如计量表码txt文件、CSV 文件等)、即时消息等不同数据源到大数据平台的集成。大数据平台组件， 主要采用Hadoop云生态组件。通过各组件提供的数据整全及分析服务和其 各组件所提供的服务，以支持智能稽查对档案数据处理、业务数据分析、 表码数据处理和规则核查要求。

1.采用Spark On YARN方案，实现全省用户基础档案数据及业务数据在 集群的内存中进行按稽查规则智能核查。

2.大数据存储：提供了基于HDFS分布式文件系统的数据仓库存储、列 式存储以及基于内存的存储等。通过多种存储方式满足项目海量数据的存 储需求。

大数据基础服务：包括了对数据进行查询统计、数据分析挖掘以及治理 的多种组件。

更具体的，借助JPA(JAVA持久性API)技术实现Java对象与关系数据 库的映射(ORM)，屏蔽数据库的差异；基于实体类型的传输参数更利于业 务层服务接口的确定；对于JPA不擅长的操作，如关联查询、高性能的数 据库操作、通用实体模型定义等，平台保留一套自定义数据访问层。通过 持久化数据服务层，做到对数据库访问的屏蔽，在数据服务层之上，SQL 语句、JDBC等相关操作将不复存在。

JPA是开发平台默认的持久化机制，具体采用Spring+JPA+Hibernate 的实现方式。利用Annotation(注解)声明JPA的Entity实体和命名查 询。平台提供Eclipse插件，实现数据库表到实体的ORM，并组织到特定 的Package中进行统一管理。

自定义持久层是开发平台提供的数据访问插件，可以根据需要选择安 装。利用本插件，可以弥补JPA在大数据关联查询、批量数据处理中的性 能缺陷，同时又能兼容原有平台的处理方式，自定义持久层也是动态实体 模型的基础。

服务层接收到用户提交的处理请求，触发业务逻辑，调用持久层服务完 成数据存储，这个过程离不开事务控制。通常情况下，服务层是事务处理 的边界。

平台提供两种事务控制方式：使用容器的JTA全局事务和平台提供的声 明式事务控制。

平台提供Apache CXF WebService运行环境。将业务服务发布成Web Service，可以有以下途径：

1.利用JAX-WS(Java API For XML Web Service)规范，在服务接口 中增加相关Annotation，使之变为SEI，然后利用平台将业务服务发布为 Web Service。

2.利用服务注册机制，在注册管理模块中，将通用业务服务配置成Web Service，实现可配置发布。

平台支持各种主流的浏览器，包括IE(6.0以上)，FireFox和Google 的Chrome。平台通过如下手段支持浏览器兼容：

1.平台提供的基础组件、展现组件已经实现了对浏览器的兼容。

2.在进行功能和页面设计时，应尽量使用平台提供的展现组件(如标 签等)

3.平台提供的跨浏览器的Jquery库和公共js函数；

4.对于浏览器之间存在严重差异的功能，如通用模态窗口，由平台提 供替代实现，屏蔽浏览器之间的差异。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进 行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同 物限定。