基于电力大数据平台元数据自动化运维方法及装置

摘要

本发明适用于计算机数据处理领域，提供了基于电力大数据平台元数据自动化运维方法及装置，所述的运维方法包括以下步骤：采集并获取在各个节点与服务的元数据；将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。本发明使用不同的采集手段获取大数据各个节点与服务的数据，使用数据转换技术将各种类型的数据转化为相同类型，并将数据写入数据库，统一在数据库中分析和查询元数据，为各种规范的实施构建了统一的大数据元数据获取途径，解决了电力大数据元数据类型杂，存储方式多，数据分散的问题。

说明书

技术领域

本发明属于计算机数据处理领域，尤其涉及基于电力大数据平台元数据自动化运维方法及装置。

背景技术

电力行业数据中台拥有海量量测数据接入、复杂实时应用场景等特点，对分布式集群的运行维护和数据治理有极高要求，有效的元数据管理是典型的解决方案之一。但由于数据中台使用到的大数据技术组件众多，元数据存在类型不同、存储方式各异的特点，分散存储在不同的大数据节点上，导致元数据难以被使用和分析，使得运维管理措施无法有效的实施。其次，在数据规范性核查上，存在规范种类繁多，核查工作大量使用手工命令和自定义脚本来导出和分析元数据，使得规范核查工作会消耗大量人力；对核查结果的统计和整改，也存在大量重复性的数据整理工作。

发明内容

本发明实施例的目的在于提供基于电力大数据平台元数据自动化运维方法及装置，在使用不同的采集手段获取大数据各个节点与服务的数据，使用数据转换技术将各种类型的数据转化为相同类型，并将数据写入数据库，统一在数据库中分析和查询元数据，为各种规范的实施构建了统一的大数据元数据获取途径，解决了电力大数据元数据类型杂，存储方式多，数据分散的问题。

为实现上述目的，本发明提供了如下的技术方案。

第一方面，在本发明实施例中，提供了基于电力大数据平台元数据自动化运维方法，所述的运维方法包括以下步骤：

采集并获取在各个节点与服务的元数据；

将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

在本发明提供的一个实施例中，所述采集并获取在各个节点与服务的数据的步骤包括：

使用SHELL脚本作为探针在大数据节点上抓取日志、节点运行状态数据；

将数据写到HDFS对应的目录下；

使用大数据服务的客户端配合SHELL脚本或JAVA程序获取大数据服务中的元数据。

在本发明提供的一个实施例中，在所述获取大数据服务中的元数据的步骤中，所述获取方式包括但不限于使用HDFS作为传输媒介的获取方式、使用KAFKA作为传输媒介的获取方式和直接写入数据库的获取方式。

在本发明提供的一个实施例中，所述使用SHELL脚本作为探针在大数据节点上抓取日志、节点运行状态数据的步骤包括：使用SHELL脚本采集大数据每个节点上的元数据，SHELL脚本被部署在所有的节点上，在节点上周期执行脚本，获取元数据并将数据写入HDFS。

在本发明提供的一个实施例中，所述将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库的步骤包括：

使用JAVA程序从HDFS、KAFKA中读取数据；

运用对应元数据的解析配置将元数据提取为JSON格式，解析后的数据将被批量写入数据库。

在本发明提供的一个实施例中，所述使用JAVA程序从HDFS、KAFKA中读取数据的步骤之前，使用PYTHON脚本处理对元数据进行处理，使处理后的元数据可以被JAVA程序转化。

在本发明提供的一个实施例中，所述对元数据进行规范检查和处理的步骤包括：

使用模式脚本语言将规范条例和分析结果处理编写为模式表达式；

由模式表达式生成规范检查脚本和分析结果处理脚本；

脚本生成后，在元数据统一访问的支持下，由程序先在数据库中执行规范检查脚本对元数据进行规范检查，同时在数据库中输出检查结果；

完成规范检查后，由程序自动在数据库中执行分析结果处理脚本进行分析结果处理。

第二方面，在本发明实施例中，提供了基于电力大数据平台元数据自动化运维装置，所述装置包括：

数据采集模块，所述数据采集模块用于采集并获取在各个节点与服务的元数据；

数据转化模块，所述数据转化模块用于将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

数据检查模块，所述数据检查模块用于统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

第三方面，在本发明实施例中，本发明还提供了计算机设备，所述的计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如第一方面所提供的基于电力大数据平台元数据自动化运维方法的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如第一方面所提供的基于电力大数据平台元数据自动化运维方法的步骤。

与现有技术相比，本发明提供的运维方法及装置，具有以下技术优势：

第一，采用数据采集、数据转换、规范检查的三层架构设计，实现架构内程序间松耦合关系，保证每层结构都可以单独运行；使用SHELL脚本和数据中台现有组件实现数据采集，使得数据采集不仅具有高度灵活性，而且提升数据采集的可维护性。

第二，通过程序加配置文件和PYTHON脚本的组合，使得数据转换的灵活性得到大幅提升，实现在不修改程序的前提下，对绝大多数数据进行解析的能力。

第三，对模式脚本语言的大量使用，使规范能够统一使用模式表达式表示，从而使程序能够以统一的方式实现规范检查，进而实现规范检查自动化。

第四，利用模式脚本语言的可配置性，将结果处置预先配置好，使用模式脚本语言生成的分析结果处理脚本处理分析结果时，便可使用相应配置实施规范处置，从而实现了规范实施自动化，大量采用运维技术栈和技术路线，方便运维人员使用，减少学习成本开销。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例1提供的基于电力大数据平台元数据自动化运维方法的实现流程图；

图2为本发明实施例1提供的基于电力大数据平台元数据自动化运维方法的一个子流程图；

图3为本发明实施例1提供的基于电力大数据平台元数据自动化运维方法的另一个子流程图；

图4为本发明实施例1提供的基于电力大数据平台元数据自动化运维方法的再一个子流程图；

图5为本发明实施例2提供的基于电力大数据平台元数据自动化运维装置的结构框图；

图6为本发明实施例3提供的计算机设备的结构框图；

图7本发明实施例的技术架构图；

图8为本发明实施例提供的数据采集的技术架构图；

图9为本发明实施例提供的数据转换程序架构图；

图10为本发明实施例提供的规范检查的架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

目前，电力行业数据中台拥有海量量测数据接入、复杂实时应用场景等特点，对分布式集群的运行维护和数据治理有极高要求，有效的元数据管理是典型的解决方案之一。但由于数据中台使用到的大数据技术组件众多，元数据存在类型不同、存储方式各异的特点，分散存储在不同的大数据节点上，导致元数据难以被使用和分析，使得运维管理措施无法有效的实施。其次，在数据规范性核查上，存在规范种类繁多，核查工作大量使用手工命令和自定义脚本来导出和分析元数据，使得规范核查工作会消耗大量人力；对核查结果的统计和整改，也存在大量重复性的数据整理工作。

为解决上述问题，本发明提供了基于电力大数据平台元数据自动化运维方法，该方法通过采集并获取在各个节点与服务的元数据；将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理，使得在使用不同的采集手段获取大数据各个节点与服务的数据，使用数据转换技术将各种类型的数据转化为相同类型，并将数据写入数据库，统一在数据库中分析和查询元数据，为各种规范的实施构建了统一的大数据元数据获取途径，解决了电力大数据元数据类型杂，存储方式多，数据分散的问题。

本发明的系统架构包括：主备一台服务器安装Linux操作系统和MySQL数据库；在大数据节点上部署探针SHELL脚本；在服务器上部署大数据客户端和大数据服务元数据采集程序；在服务器上部署数据转换入库程序；在服务器上部署元数据规范检查程序；根据规范检查文档的描述，使用模式脚本语言编写检查脚本；运行规范检查程序，程序将输出检查结果或使用预设规则处理元数据。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

实施例1

如图1所示，在本发明实施例中，提供了基于电力大数据平台元数据自动化运维方法，所述的运维方法包括以下步骤：

步骤S101：采集并获取在各个节点与服务的元数据；

步骤S102：将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

步骤S103：统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

进一步的，在本发明实施例中，本发明利用模式脚本语言，将用自然语言写成的规范文档中的条例改写为模式表达式，通过解析模式表达式生成规范检查脚本实施规范检查，实现规范检查的自动化。

最后，本发明使用模式脚本语言的可配置性，将分析结果的处理方式配置为模式表达式，通过解析模式表达式生成分析结果处理脚本从而处理分析结果，实现分析结果处理的自动化。

本发明实现了元数据规范化处理的自动化，满足了电力大数据数据中台对元数据的运维需求。

如图7所示，本发明的软件架构分为三层，分别是数据采集，数据转换，规范检查。

其中，在本发明实施例中，数据采集由SHELL脚本，CDM数据迁移，大数据组件客户端组成。

其中，在本发明实施例中，数据转换由HDFS，KAFKA，PYTHON脚本，JAVA程序组成。

其中，在本发明实施例中，规范检查由JAVA程序，模式脚本语言，数据库，DLF数据开发组成。

如图2所示，在本发明实施例中，所述采集并获取在各个节点与服务的数据的步骤包括：

步骤S1011：使用SHELL脚本作为探针在大数据节点上抓取日志、节点运行状态数据；

步骤S1012：将数据写到HDFS对应的目录下；

步骤S1013：使用大数据服务的客户端配合SHELL脚本或JAVA程序获取大数据服务中的元数据。

在本发明提供的一个实施例中，在所述获取大数据服务中的元数据的步骤中，所述获取方式包括但不限于使用HDFS作为传输媒介的获取方式、使用KAFKA作为传输媒介的获取方式和直接写入数据库的获取方式。

在本发明提供的一个实施例中，所述使用SHELL脚本作为探针在大数据节点上抓取日志、节点运行状态数据的步骤包括：使用SHELL脚本采集大数据每个节点上的元数据，SHELL脚本被部署在所有的节点上，在节点上周期执行脚本，获取元数据并将数据写入HDFS。

请参阅图3，在本发明实施例中，所述将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库的步骤包括：

步骤S1021：使用JAVA程序从HDFS、KAFKA中读取数据；

步骤S1022：运用对应元数据的解析配置将元数据提取为JSON格式，解析后的数据将被批量写入数据库。

进一步的，在本发明实施例中，所述使用JAVA程序从HDFS、KAFKA中读取数据的步骤之前，使用PYTHON脚本处理对元数据进行处理，使处理后的元数据可以被JAVA程序转化。

请参阅图4，在本发明实施例中，所述对元数据进行规范检查和处理的步骤包括：

步骤S1031：使用模式脚本语言将规范条例和分析结果处理编写为模式表达式；

步骤S1032：由模式表达式生成规范检查脚本和分析结果处理脚本；

步骤S1033：脚本生成后，在元数据统一访问的支持下，由程序先在数据库中执行规范检查脚本对元数据进行规范检查，同时在数据库中输出检查结果；

步骤S1034：完成规范检查后，由程序自动在数据库中执行分析结果处理脚本进行分析结果处理。

具体的，在本发明提供的数据采集方案中，对于数据采集，使用SHELL脚本作为探针在大数据节点上抓取日志、节点运行状态等数据，之后，将数据写到HDFS对应的目录下；使用大数据服务的客户端配合SHELL脚本或JAVA程序获取大数据服务中的元数据，之后，根据数据的类型和获取方式，使用不同形式的数据传输方式，有的数据使用HDFS作为传输媒介，有的数据使用KAFKA传输，还有的数据可以直接写入到数据库。通过上述方式获取相关元数据，并汇集到指定的目录、程序和数据库，方便数据的进一步处理。

具体的，在本发明提供的数据转换入库方案中，使用JAVA程序获取KAFKA和HDFS中的数据，程序将数据转化为结构化数据后，再将数据写入数据库；对于结构相对特殊不便直接使用程序转化的数据，先使用Python脚本针对数据的特殊部分做处理，然后使用程序将数据转化为结构化数据，并将数据写入数据库。元数据通过“数据采集”和“数据转换”两个阶段后，被统一的保存起来，实现了元数据的统一访问。

具体的，在本发明提供的元数据规范检查和处理方案中，使用模式脚本语言将规范条例和分析结果处理都编写为模式表达式，由模式表达式生成规范检查脚本和分析结果处理脚本。脚本生成后，在元数据统一访问的支持下，由程序先在数据库中执行规范检查脚本对元数据进行规范检查，同时在数据库中输出检查结果。完成规范检查后，由程序自动在数据库中执行分析结果处理脚本进行分析结果处理，实现规范检查和分析结果处理的自动化，以解决规范检查形式多，多靠手工命令和临时脚本检查的问题。

进一步的，在本发明实施例中，在大数据元数据采集的实现中，在电力大数据数据中台元数据采集中，主要面临三大问题。问题一，如何采集大数据节点上的元数据；问题二，如何采集大数据服务中的元数据；问题三，如何采集大数据组件配置中的元数据，就上述三个问题，设计如图8所示的技术架构。

对问题一，用一个SHELL脚本采集大数据每个节点上的元数据，该脚本被部署在所有的节点上，在节点上周期执行脚本，获取元数据并将数据写入HDFS。

对问题二，使用大数据客户端配合SHELL脚本，可以获取大数据组件中的元数据并将数据写入KAFKA或HDFS。

对问题三，使用数据中台的CDM数据迁移服务实现数据采集，并将数据写入数据库。

进一步的，在本发明实施例中，在数据类型转换和入库的实现中，对于数据转换，主要考虑如何用最简便的方式处理种类繁多的数据类型。为此设计图9所示的程序架构，使用JAVA程序从HDFS，KAFKA中读取数据，对不同类型的数据，运用对应元数据的解析配置将元数据提取为JSON格式，解析后的数据将被批量写入数据库。对那些不能直接被程序解析的特殊数据，先使用PYTHON脚本处理数据中的特殊部分，使其可以被程序转化，再使用程序转化和入库。

进一步的，在本发明实施例中，在规范检查的实现中，就规范检查而论，需要面对两个问题，其一，如何让程序识别用自然语言写成的规范文档，其二，如何实现对不同规范生成个性化处理方案，就上述两个问题，设计如下所诉的程序架构。规范检查分为三个部分分别是，模式脚本语言解析，元数据分析(规范核查)，分析结果处理，它们的关系如图4所示，以下三点，阐述了每个部分的具体作用。

第一，模式脚本语言解析过程：模式脚本语言可以对规范进行抽象表达，将文档中的自然语言归纳总结，把一条条的规则用一种统一的模式脚本语言以一个或多个模式表达式表示出来。用模式脚本语言将规范文档中的规范条例写成表达式；对同一种规范的分析结果的处理方式统一，同样运用模式脚本语言将分析结果的处理规则写成模式表达式。程序能够识别和解析这些模式表达式，以这些表达式为基础生成元数据分析脚本和分析结果处理脚本。

第二，元数据分析过程：在获取到元数据分析脚本后，通过预先设定的脚本的执行计划，对采集好的元数据划执行元数据分析脚本，脚本执行后生成数据分析结果。

第三，分析结果处理过程：使用分析结果处理脚本来处理分析结果，针对不同的规范分析结果会使用到不同的处理方式，比如直接修改元数据表示的不规范对象，或者输出分析结果的统计数据和对应的不规范对象的整改方式。这些处置方式是预先在模式脚本中配置好的，对于无法自动化处理的分析结果数据，则输出相关的统计结果，方便人工处理或后续制定处理方案。

综上所述，本发明提供的运维方法采用数据采集、数据转换、规范检查的三层架构设计，实现架构内程序间松耦合关系，保证每层结构都可以单独运行；使用SHELL脚本和数据中台现有组件实现数据采集，使得数据采集不仅具有高度灵活性，而且提升数据采集的可维护性。

本发明提供的运维方法通过程序加配置文件和PYTHON脚本的组合，使得数据转换的灵活性得到大幅提升，实现在不修改程序的前提下，对绝大多数数据进行解析的能力。

本发明提供的运维方法对模式脚本语言的大量使用，使规范能够统一使用模式表达式表示，从而使程序能够以统一的方式实现规范检查，进而实现规范检查自动化。

本发明提供的运维方法利用模式脚本语言的可配置性，将结果处置预先配置好，使用模式脚本语言生成的分析结果处理脚本处理分析结果时，便可使用相应配置实施规范处置，从而实现了规范实施自动化，大量采用运维技术栈和技术路线，方便运维人员使用，减少学习成本开销。

实施例2

如图5所示，在本发明实施例中，提供了基于电力大数据平台元数据自动化运维装置，所述装置200包括：

数据采集模块201，所述数据采集模块用于采集并获取在各个节点与服务的元数据；

数据转化模块202，所述数据转化模块用于将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

数据检查模块203，所述数据检查模块用于统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

实施例3

如图6所示，在本发明实施例中，提供了一种计算机设备，所述的计算机设备300包括存储器301和处理器302，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如实施例1所提供的基于电力大数据平台元数据自动化运维方法的步骤。

具体的，所述基于电力大数据平台元数据自动化运维方法包括以下步骤：

采集并获取在各个节点与服务的元数据；

将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

此外，本发明实施例提供的所述计算机设备300还可具有通讯接口303，用于接收控制指令。

实施例4

在本发明实施例中，还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如实施例1所提供的基于电力大数据平台元数据自动化运维方法的步骤。

具体的，所述基于电力大数据平台元数据自动化运维方法包括以下步骤：

采集并获取在各个节点与服务的元数据；

将各种类型的元数据转化为相同类型，并将转化后的元数据写入数据库；

统一在数据库中分析和查询元数据，并对元数据进行规范检查和处理。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

在本发明实施例的一个典型的配置中，终端、服务网络的设备和计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。

计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。