一种用于源网荷多元数据处理的系统

摘要

本发明公开了一种用于源网荷多元数据处理的系统，属于大电网安全技术领域。本发明系统包括：数据传输及交换模块，数据处理模块，数据存储模块，数据计算模块，数据分析及挖掘模块，支撑引擎模块，数据管理模块，安全管理模块，平台管理模块，平台服务模块。本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。

说明书

技术领域

本发明涉及大电网安全技术领域，并且更具体地，涉及一种用于源网荷多元数据处理的系统。

背景技术

目前各个省份或国网的网源荷储相关的平台在系统的安全稳定运行起到了至关重要的作用，但也存在一些不足，仿真计算跟不上电网实时变化，计算结果不够准确影响了电网消纳新能源能力。

系统中新能源的“下沉”特性，给系统的认知、控制与防御带来根本性变化，亟需一次调频评估、扰动源定位、惯量评估等安全评估手段。同时网源管理业务在线化程度不高，管理效率较低，亟需实现电源涉网智能支撑系统、涉网试验流程管理系统等，目前也缺少有效的引导新型用能、储能、供能设备与电网互动的机制与手段，同时也缺少有效的分析和控制手段应对泛在资源所带来的不确定性问题。

在数据方面目前通过各专业获得的量测数据无法支撑系统全面准确感知，需要补充测量手段及测点，同时国网公司不同专业的数据属于不同部门管理，数据流动存在多重障碍，缺少数据统一的手段，没有共享的基础和条件。在数据处理方面由于采集数据量大而庞杂，需要对数据进行处理，

各地建立的源网监控平台、源网荷互动调控平台及需求侧管理平台等独立发展，功能各有侧重，需统筹各地相关平台并形成企业级源网荷储协同系统,实现企业级源网荷储数据处理方法，从公司层面实现源网荷储业务的全局协同最优，对外提供多种形式的增值服务。

发明内容

针对上述问题，本发明提供了一种用于源网荷多元数据处理的系统，包括：

数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；

数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；

数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；

数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；

数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；

支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；

数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；

安全管理模块，所述安全管理模块用于对平台的安全管理；

平台管理模块，所述平台管理模块用于对平台的配置调度管理；

平台服务模块，所述平台服务模块用于对平台服务的调度管理。

可选的，数据传输及交换模块，包括：

数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；

数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。

可选的，数据处理模块，包括：

关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；

时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；

文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。

可选的，数据存储模块包括：实时数据存储模块及非实时数据存储模块；

所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；

所述实时数据存储单元用于实时数据的存储及读取；

所述时序数据存储单元用于存储和管理时间序列数据；

所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；

所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；

所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；

所述列式数据库存储单元用于列式数据库数据存储、访问和管理；

所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；

所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。

可选的，数据计算模块，包括：

批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；

内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；

流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。

可选的，数据分析及挖掘模块包括：

模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；

统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；

多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；

自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；

数据挖掘单元，对数据挖掘的模型进行分析及评估；

数据可视化单元，自定义数据可视化的展示效果。

可选的，支撑引擎模块，包括：

规则引擎单元，提供规则引擎，且包括对规则引擎的增删改操作；

复杂事件处理单元，对复杂事件进行处理，包括：多事件之间的安全管理，异常处理，平台事件之间的事件传输。

可选的，数据管理模块，包括：

数据目录单元，对平台数据目录进行增删改操作，针对数据目录进行统计；

标签管理单元，对平台的数据添加标签；

数据模型管理单元，对接入平台的数据结构进行管理，对创建或者添加的数据模型进行统计；

数据质量管理单元，记录数据修改前后的版本信息；

主数据管理单元，对数据修改前后进行统计及对比，根据统计对比结果，生成图形和报表。

可选的，安全管理模块，包括：

用户管理单元，对平台用户的基础信息进行管理，对平台用户进行授权登录；

权限管理单元，对不同的平台用户进行功能权限控制，及数据权限控制；

身份验证单元，对访问平台的用户进行身份认证；

存储安全单元，对敏感数据进行加密处理；

接入安全单元，提供平台用户接入时安全的登录环境。

可选的，平台管理模块，包括：

配置管理单元，对平台通用参数进行配置维护，对平台资源进行配置维护；

服务管理单元，对平台服务进行配置操作、查询、监控、及故障追踪处理；

版本管理单元，对平台的应用程序及组件的版本进行管理；

集群管理单元，对平台集群的安装部署及配置进行管理；

日志管理单元，对平台的日志进行归档分类；

作业管理单元，对平台的作业应用进行管理；

监控警告单元，对监控预警参数进行配置，对警告数据进行监测及报警；

任务调度单元，对平台的定时任务进行管理，对运行时任务进行协调调度。

可选的，平台服务模块包括：

数据服务单元，对关系型数据库、非关系型数据库、实时数据库的访问管理；

计算服务单元，对平台外提供流计算服务、批量计算服务，和内存计算服务；

分析服务单元，对平台外提供报表相关的服务接口、数据统计查询分析及挖掘服务；

服务目录单元，根据不同的数据属性，创建服务目录，对服务目录进行配置及管理。

本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。

附图说明

图1为本发明一种用于源网荷多元数据处理的系统的结构图；

图2为使用本发明进行数据管理的流程图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

本发明提供了一种用于源网荷多元数据处理的系统，如图1所示，包括：

数据传输及交换模块，所述数据传输及交换模块用于对平台间的数据传输及交换；

数据处理模块，所述数据处理模块用于对平台的多种类型的数据进行处理；

数据存储模块，所述数据存储模块用于对平台的实时数据及非实时数据进行存储；

数据计算模块，所述数据计算模块用于对平台存储的数据进行批量计算、内存计算及流计算；

数据分析及挖掘模块，所述数据分析及挖掘模块包括多个类型的数据分析模型，并对数据分析模型进行统一的算法库管理，所述数据分析模型对不同类型的数据进行分析及挖掘；

支撑引擎模块，所述支撑引擎模块提供规则引擎及对平台发生的复杂事件进行处理；

数据管理模块，所述数据管理模块用于对平台存储的数据进行数据目录、标签、数据模型及数据质量的管理，及主数据的管理；

安全管理模块，所述安全管理模块用于对平台的安全管理；

平台管理模块，所述平台管理模块用于对平台的配置调度管理；

平台服务模块，所述平台服务模块用于对平台服务的调度管理。

其中，数据传输及交换模块，包括：

数据交换单元，用于平台间的数据发送与交换，针对数据模型，进行数据运算前的转换；

数据传输单元，用于对平台内部的数据传输；所述传输包括：同/异构数据源之间的数据迁移。

其中，数据处理模块，包括：

关系数据处理单元，用于对关系型数据的数据查询、数据转换及过滤处理，以及对关系数据库中每个数据库的数据进行整合；

时序数据处理单元，用于对时序数据库的数据查询，事件戳管理，及过滤筛选；对时序数据库中的数据进行整合；

文件数据处理单元，用于对平台接收的文件数据进行解析整理，并将解析整理的文件进行分类存储及汇总统计。

其中，数据存储模块包括：实时数据存储模块及非实时数据存储模块；

所述实时数据存储模块包括：实时数据存储单元及时序数据存储单元；

所述实时数据存储单元用于实时数据的存储及读取；

所述时序数据存储单元用于存储和管理时间序列数据；

所述非实时数据存储模块，包括：关系数据库存储单元，内存数据库存储单元，列式数据库存储单元，查询引擎单元，文件系统单元；

所述关系数据库存储单元用于关系数据库的数据存储、访问和管理；

所述内存数据库存储单元用于内存数据库的数据存储、访问和管理；

所述列式数据库存储单元用于列式数据库数据存储、访问和管理；

所述查询引擎单元用于对实时数据毫秒级查询响应，自定义汇总查询数据的条件，对时序数据库中的数据进行告诉查询及文本数据关键字查询；

所述文件系统单元用于平台中分布式文件的存储、访问、查询和管理。

其中，数据计算模块，包括：

批量计算单元，对大数据进行批量计算，包括批量进行数据加载，对加载的数据进行计算及解析；

内存计算单元，对数据进行内存计算，对内存数据库的数据加载加载数据，对内存数据库中的数据进行计算及解析；

流计算单元，对数据流进行计算，包括对数据进行流计算加载，数据分有限级计算，及流计算的结果解析。

其中，数据分析及挖掘模块包括：

模型算法库单元，提供存储通用模型算法，存储专业模型算法，存储优化模型算法，和存储平台的定制化模型算法；

统计分析单元，提供统计分析算法，对平台数据经行聚合，获取统一分析结果，分析历史数据，获取趋势分析结果；

多维分析单元，进行多维度的数据分析，获取多维度分析结果，根据多维度分析结果，进行模型定义；

自助式分析单元，自定义数据分析流程，自定义数据分析参数配置，自定义分析规则；

数据挖掘单元，对数据挖掘的模型进行分析及评估；

数据可视化单元，自定义数据可视化的展示效果。

其中，支撑引擎模块，包括：

规则引擎单元，提供规则引擎，且包括对规则引擎的增删改操作；

复杂事件处理单元，对复杂事件进行处理，包括：多事件之间的安全管理，异常处理，平台事件之间的事件传输。

其中，数据管理模块，包括：

数据目录单元，对平台数据目录进行增删改操作，针对数据目录进行统计；

标签管理单元，对平台的数据添加标签；

数据模型管理单元，对接入平台的数据结构进行管理，对创建或者添加的数据模型进行统计；

数据质量管理单元，记录数据修改前后的版本信息；

主数据管理单元，对数据修改前后进行统计及对比，根据统计对比结果，生成图形和报表。

其中，安全管理模块，包括：

用户管理单元，对平台用户的基础信息进行管理，对平台用户进行授权登录；

权限管理单元，对不同的平台用户进行功能权限控制，及数据权限控制；

身份验证单元，对访问平台的用户进行身份认证；

存储安全单元，对敏感数据进行加密处理；

接入安全单元，提供平台用户接入时安全的登录环境。

其中，平台管理模块，包括：

配置管理单元，对平台通用参数进行配置维护，对平台资源进行配置维护；

服务管理单元，对平台服务进行配置操作、查询、监控、及故障追踪处理；

版本管理单元，对平台的应用程序及组件的版本进行管理；

集群管理单元，对平台集群的安装部署及配置进行管理；

日志管理单元，对平台的日志进行归档分类；

作业管理单元，对平台的作业应用进行管理；

监控警告单元，对监控预警参数进行配置，对警告数据进行监测及报警；

任务调度单元，对平台的定时任务进行管理，对运行时任务进行协调调度。

可选的，平台服务模块包括：

数据服务单元，对关系型数据库、非关系型数据库、实时数据库的访问管理；

计算服务单元，对平台外提供流计算服务、批量计算服务，和内存计算服务；

分析服务单元，对平台外提供报表相关的服务接口、数据统计查询分析及挖掘服务；

服务目录单元，根据不同的数据属性，创建服务目录，对服务目录进行配置及管理。

本发明为电网安全和促进新能源消纳提供了评估手段，为电网安全稳定运行起到了保护性的作用。

使用本发明进行管理，可以使用三个步骤，如图2所示，包括：步骤1，为数据预处理，对于平台接收到或抽取到的数据进行入库前的规则存储处理：

数据校验、上下限、质量状态码等判断以及异步触发计算点的分布式计算，有告警消息的，通过消息总线发送告警通知；其中，实时数据还需要进行遥测、遥信、网络拓扑等处理；

步骤2，为数据计算：通过分布式调度，定时触发实时数据计算、运行数据统计、大数据分析存储；

步骤3，为数据挖掘：在时序历史库、数据统计分析库基础上，进行深入的数据挖掘关联分析，存入HIVE、MPP。

本发明利用源网荷储多元数据处理方法，从调度、营销等部门已有数据采集系统中提取数据，汇集与融合电源、电网、用户、储能四大类海量数据，构建千万测点级源网荷储数据处理平台，支持PB级海量数据的高通量采集、亚秒级计算分析处理、秒级高并发存储检索，实现弹性横向扩展资源、具有高可用性、高容错性、易扩展、兼容性强等优点，在数据处理基础上，构建源网荷储协同互动业务应用，全国范围内实现对系统中实现对各类可控资源的透明感知、特性建模和性能评估，为电网安全和促进新能源消纳提供评估手段，为电网安全稳定运行保驾护航。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。