适用于移动应用的电网调控运行多源数据建模与管理系统

摘要

本发明公开了一种适用于移动应用的电网调控运行多源数据建模与管理系统，包括由下而上的基础层，处理层，数据层和展示层；处理层提供数据收集、数据校验、数据清洗和数据整合服务，将多源数据进行抽取、整合和统计，形成信息内网数据信息池存储在信息内网，为数据共享与发布、微应用提供实时的、完整的、准确的核心主数据；数据层针对多源数据提供了统一的数据模型管理服务、智能预警服务和数据访问与订阅服务，通过为多源数据构建统一的数据模型，并进行ETL和数据校验，保证了多源数据的管理和共享是基于一个统一的标准进行，以此来降低多源数据存储和访问中的复杂性问题。

说明书

技术领域

本发明涉及一种适用于移动应用的电网调控运行多源数据建模与管理系统，属于电力系统调度自动化技术领域。

背景技术

随着世界一流能源互联网企业的战略目标的提出，全国已全面启动泛在电力物联网建设，加快推进业务创新，持续夯实基础支撑，深化数据治理与应用，对内业务着重能效提升，对外业务促进融会贯通。

如今5G技术已成熟并且逐步推广，传统应用的移动端的广泛移植以及原生移动应用的大量涌现势必在电网领域拉开序幕。同时为践行国网安全生产方面“云大物移智”号召，移动应用建设应时而生。

在综合分析现有平台和应用现状的基础上，结合电网发展、新能源接入等各方面业务，研发开放、先进、可靠、可扩展、易适用的移动展示系统，帮助各级管理人员和运行人员随时随地掌握电网运行状态，提高工作效率和管理水平。

而所有的移动应用都是以数据为基础，在电力行业中已有很多信息化系统为电网运行管理提供技术支撑，但存在的问题是各个信息化系统存储数据的方式和接口都是不统一的，不适合应用于电网数据的移动化。

发明内容

本发明的目的在于提供一种适用于移动应用的电网调控运行多源数据建模与管理系统，实现多源数据统一建模，将电网调控运行的多个信息化系统的数据进行抽取、整合和统计，形成信息内网数据信息池存储在信息内网，为数据共享与发布、微应用提供实时的、完整的、准确的核心主数据。

为达到上述目的，本发明采用的技术方案如下：

本发明提供一种适用于移动应用的电网调控运行多源数据建模与管理系统，包括由下而上的基础层，处理层，数据层和展示层；

所述基础层用于提供电网调控运行源数据；

所述处理层用于对基础上传的多源数据进行抽取和整合；

所述数据层包括数据库，数据模型管理模块，智能预警服务模块和数据访问与订阅模块；

所述数据库用于存储整合后的多源数据；

所述数据模型管理模块用于构建统一数据模型，以及对已经构建的统一数据模型进行管理；

所述智能预警服务模块用于对整合后的多源数据进行行为预测及规则匹配，对存在风险的数据进行预警；

所述数据访问与订阅模块用于提供不同移动应用功能主题的数据访问与订阅接口；

所述展示层用于对不同移动应用功能主题的数据进行展示。

进一步的，所述基础层包括调控云、调度管理系统、机房环境监控系统和网络安全管理平台四大业务系统；

所述调控云提供电网运行数据；

所述调度管理系统提供电网运行流程类数据；

所述机房环境监控系统提供机房动力和环境设备运行信息；

所述网络安全管理平台提供电网运行网络安全设备运行信息。

进一步的，所述处理层采用数据仓库技术将调控云、调度管理系统、机房环境监控系统和网络安全管理平台四大业务系统上传的多源数据进行抽取，转换成统一的数据库存储方式和数据结构。

进一步的，所述数据模型管理模块，智能预警服务模块和数据访问与订阅模块通过消息总线连接数据库。

进一步的，所述数据模型管理模块具体用于，

按照移动应用功能主题构建统一数据模型；

以及，

增加某一主题的统一数据模型数量或者对统一数据模型的属性进行修改。

所述构建统一数据模型是指，设计移动应用系统展示所需数据的表结构以及数据表之间的关联关系，形成统一数据模型。

进一步的，所述进行行为预测及规则匹配，包括：判断数据采集频率是否正常、数据采集源是否存在长时间不变化的情况、和文本形式的文件是否存在解析错误。

进一步的，所述数据访问与订阅模块具体用于，

按照移动应用功能主题页面，细分为小粒度功能模块，按照小粒度功能模块提供数据访问与订阅接口。

进一步的，所述数据层还用于，

监控数据处理过程；

以及，

通过后台系统提供的数据监控看板显示出现质量问题的错误信息。

进一步的，所述数据层还用于，

根据出现质量问题的错误信息查找源数据；

以及，

对查找到的源数据重新进行抽取和整合。

进一步的，所述展示层具体用于，

将请求查询的小粒度功能模块，按照移动应用功能主题进行组合，将组合后的数据接入到移动应用的相应页面中进行展示。

本发明的有益效果为：

本发明针对电网调控运行多源数据提供了统一的数据模型管理服务、智能预警服务、数据访问与订阅服务，通过为多源数据构建统一的数据模型，并进行ETL和数据校验，来保证多源数据的管理和共享是基于一个统一的标准进行，以此来降低多源数据存储和访问中的复杂性问题；同时制定了相关的管理流程，通过溯源迭代消缺的方式不断促进数据质量的提升。

附图说明

图1为本发明的适用于移动应用的电网调控运行多源数据建模与管理系统架构。

具体实施方式

下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明实施例提供一种适用于移动应用的电网调控运行多源数据建模与管理系统，参见图1，包括由下而上的基础层，处理层，数据层和展示层。

基础层具体用于提供电网调控运行源数据。

本发明实施例中，以提升对电网运行支撑能力为目标，通过对各专业进行走访调研，对调控运行核心数据使用需求进行分析，确定数据范围。以及，本着“真实、准确、完整、统一”的整合盘点原则，对盘点的数据安排专人进行规范化整理，形成数据登记表，便于后续盘点结果核对分析。

根据数据盘点结果，逐条进行数据溯源，确定源数据来源于调控云、调度管理系统、机房环境监控系统和网络安全管理平台四大业务系统。其中，调控云提供电网运行数据；调度管理系统提供电网运行流程类数据；机房环境监控系统提供机房动力和环境设备运行信息；网络安全管理平台提供电网运行网络安全设备运行信息。通过全面的数据溯源，确定每条数据的责任人，从采集的源头保障了数据的质量。

处理层具体用于，对基础层上传的多源数据进行收集，校验，清洗和整合。

本发明实施例中，处理层采用ETL（数据仓库技术）对调控云、调度管理系统、机房环境监控系统和网络安全管理平台四大业务系统上传的多源数据进行所需数据的抽取，转换成统一的数据库存储方式和数据结构，并进行装载存储，存储于数据库，数据库位于信息内网。

数据层包括数据库，数据模型管理模块，智能预警服务模块，数据质量管理模块和数据访问与订阅模块。其中，数据库用于存储整合后的多源数据；数据模型管理模块，智能预警服务模块，和数据访问与订阅模块通过消息总线连接数据库。

数据模型管理模块用于，通过适当的权限控制，提供应用服务界面，对已经构建的统一数据模型进行管理，例如增加统一数据模型数量或者对统一数据模型的属性进行修改等。

构建统一数据模型是指，设计移动应用系统展示所需数据的表结构以及数据表之间的关联关系。

本发明实施例中，按照移动应用功能主题构建统一的数据模型。例如用户会提出对新能源主题、水情主题、计划检修主题等移动应用展示需求，根据需求进行统一数据模型的设计。

如果移动应用功能主题涉及到多个业务系统，将涉及到的多个业务系统的属性元素统一化规范化成移动应用功能主题的统一数据模型。将来源于不同业务系统中的数据规范化，保证数据一致性、准确性和可用性。也就是说，如果多个业务系统都涉及到同一数据但是属性元素有所不同，类似于原本需要多数据表的外键关联，现在将所有属性元素都设计到同一张数据表中，降低复杂度。

智能预警服务模块用于，对整合后的多源数据进行行为预测及规则匹配，对存在风险的数据进行预警。

通过多源数据的抽取融合，在数据的同步性，一致性以及准确性上就有了更高的要求，通过行为预测及规则匹配分析，将数据存在的风险进行预警，提醒运维人员或业务部门用户，进行数据问题分析和处理，逐步提升数据质量。

其中，行为预测及规则匹配包括：数据采集频率是否正常，数据采集源是否存在长时间不变化的情况，文本形式的文件是否存在解析错误这几种情况。

数据访问与订阅模块用于提供数据访问与订阅接口，通过接口向外部提供实时的、完整的、准确的核心主数据，实现对不同移动应用功能主题的综合查询。

本发明实施例中，按照移动应用功能主题，再细分主题页面里的小功能模块提供数据访问与订阅接口，比如新能源主题里面会有新能源消纳、新能源出力曲线等小功能模块，按照小粒度进行提供。

本发明实施例中，数据层还用于，以数据处理过程为主线，监督、控制、处理应用过程中的数据质量问题，动态地提高数据质量。当出现数据质量问题，通过后台系统提供的数据监控看板显示预警提示信息，用户通过数据监控看板，发现数据质量问题，同时通过错误信息查找问题，重新执行ETL过程，完成数据质量问题处理，最终促使数据质量不断提升。

展示层具体用于对不同移动应用功能主题的数据进行展示。

本发明实施例中，展示层将数据层提供的小粒度功能模块，按照移动应用功能主题进行组合，将数据接入到移动应用的相应页面中进行展示。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。