核电厂重大设备的数据管理方法及系统

摘要

本发明涉及了一种核电厂重大设备的数据管理方法及系统，该数据管理方法在Hadoop平台中，进行以下步骤：从不同的业务系统抽取多种类型的数据；对所抽取的数据进行预处理，所述预处理包括数据清洗、数据格式转换；根据业务需求对预处理后的数据进行汇总处理；根据业务需求对汇总处理后的数据进行可视化展示。实施本发明的技术方案，实现用户对重大设备运行状态的全面监测以及健康评估。

说明书

技术领域

本发明涉及核电领域，尤其涉及一种核电厂重大设备的数据管理方法及系统。

背景技术

随着核电机组的逐步投产上线，装机容量不断创造新高，核电领域业务不断扩充的同时，各业务系统产生的数据量也不断增多，通过数据管理对企业业务赋能及绩效提升方面的作用显示越来越重要。目前核电厂内“8+1”重大设备相关的数据均分布在电厂不同的系统之中，各个系统之间数据格式不统一，存在数据孤岛，无法对众多数据进行直观、统一的展示，这导致工程师在查询“8+1”重大设备相关数据时极不方便且效率低下，造成人力成本浪费，无法对数据进行关联分析，并从全局了解各重大设备运行状态。

发明内容

本发明要解决的技术问题在于，针对现有技术存在的无法对众多数据进行统一展示缺陷，提供一种核电厂重大设备的数据管理方法及系统。

本发明解决其技术问题所采用的技术方案是：构造一种核电厂重大设备的数据管理方法，在Hadoop平台中，进行以下步骤：

步骤S10.从不同的业务系统抽取多种类型的数据；

步骤S20.对所抽取的数据进行预处理，所述预处理包括数据清洗、数据格式转换；

步骤S30.根据业务需求对预处理后的数据进行汇总处理；

步骤S40.根据业务需求对汇总处理后的数据进行可视化展示。

优选地，在步骤S30之前，还包括：

步骤S50.通过微服务或接口从白鹭数据库获取实时数据；

所述步骤S30包括：

根据业务需求，对实时数据及预处理后的数据进行汇总处理。

优选地，所述步骤S30包括：

根据业务需求确定相应的关联方式；

按照所确定的关联方式，将预处理后的数据进行数据关联，所述数据关联方式包括：功能位置关联方式、业务场景关联方式、业务流程关联方式、统计指标需求关联方式、标签关联方式。

优选地，所述步骤S30还包括：

根据业务需求及数据特征确定相应的数据融合架构，所述数据融合架构包括虚拟化数据融合架构、物理化数据融合架构；

根据所确定的数据融合架构，对预处理后的数据进行融合处理。

优选地，所述步骤S40包括：

根据业务需求确定相应的业务展示模型，并使用所确定的业务展示模型对汇总处理后的数据进行可视化展示，其中，所述业务展示模型包括：三维展示模型、个性化驾驶舱展示模型、统计报表展示模型、设备档案展示模型、设备统计指标展示模型、设备健康报告展示模型。

优选地，所述步骤S10包括：

根据业务需求及数据特征，确定各种数据的抽取策略和抽取频率，其中，所述抽取策略包括：全量抽取、增量抽取、新增及变化抽取；

根据所确定的抽取策略和抽取频率，从相应的业务系统抽取相应的数据。

优选地，还包括：

步骤S60.建立数据仓库，并通过分层存储方式将数据存储在所述数据仓库的相应数据层中，其中，第一数据层用于存储所抽取的数据；第二数据层用于存储预处理后的数据；第三数据层用于存储汇总处理后的数据。

本发明构造一种核电厂重大设备的数据管理系统，包括：

抽取模块，用于从不同的业务系统抽取多种类型的数据；

预处理模块，用于对所抽取的数据进行预处理，所述预处理包括数据清洗、数据格式转换；

汇总处理模块，用于根据业务需求对预处理后的数据进行汇总处理；

展示模块，用于根据业务需求对汇总处理后的数据进行可视化展示。

优选地，还包括实时数据获取模块，而且，

所述实时数据获取模块，用于通过微服务或接口从白鹭数据库获取实时数据；

所述汇总处理模块，用于根据业务需求，对实时数据及预处理后的数据进行汇总处理。

优选地，所述展示模块，用于根据业务需求确定相应的业务展示模型，并使用所确定的业务展示模型对汇总处理后的数据进行可视化展示，其中，所述业务展示模型包括：三维展示模型、个性化驾驶舱展示模型、统计报表展示模型、设备档案展示模型、设备统计指标展示模型、设备健康报告展示模型。

本发明所提供的技术方案，可将分散于核电厂各个孤立的业务系统中的重大设备相关数据进行采集、梳理、汇总，并根据业务需求对重大设备的数据进行多维度、集中展示，实现用户对重大设备运行状态的全面监测以及健康评估。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明核电厂重大设备的数据管理方法实施例一的流程图；

图2是本发明在Hadoop平台中实现核电厂重大设备数据管理的技术架构图；

图3是本发明使用设备档案展示模型进行可视化展示的示意图；

图4是本发明核电厂重大设备的数据管理系统实施例一的逻辑结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过将目前分散于电厂各个孤立系统中的“8+1”重大设备相关数据进行采集分析、业务梳理、数据汇总，对“8+1”重大设备的数据进行多维度、集中展示，实现用户对“8+1”重大设备运行状态的全面监测以及健康评估。

本发明的技术方案基于星环Hadoop平台进行开发，其提供了现有Hadoop生态中HDFS、Yarn、Zookeeper、Spark等多种组件工具，并在开源平台的基础上进行了改造，对各个组件性能的稳定性、安全性、速度等进行了提升，同时星环Hadoop还提供支持标准SQL接口，方便将电厂存储与传统关系型数据库中的数据向TDH平台进行转移，实现“8+1”重大设备相关业务数据融合。

图1是本发明核电厂重大设备的数据管理方法实施例一的流程图，该实施例的核电厂重大设备的数据管理方法基于Hadoop平台及相关可视化工具，进行步骤S10至步骤S40，下面分别说明每个步骤：

步骤S10.从不同的业务系统抽取多种类型的数据。

步骤S20.对所抽取的数据进行预处理，所述预处理包括数据清洗、数据格式转换；

步骤S30.根据业务需求对预处理后的数据进行汇总处理；

步骤S40.根据业务需求对汇总处理后的数据进行可视化展示。

进一步地，步骤S30之前，还包括：

步骤S50.通过微服务或接口从白鹭数据库获取实时数据；

而且，步骤S30包括：根据业务需求，对实时数据及预处理后的数据进行汇总处理。

进一步地，本发明核电厂重大设备的数据管理方法还包括：

步骤S60.建立数据仓库，并通过分层存储方式将数据存储在所述数据仓库的相应数据层中，其中，第一数据层用于存储所抽取的数据；第二数据层用于存储预处理后的数据；第三数据层用于存储汇总处理后的数据。

下面结合图2说明在一些具体的实施例中各个步骤的内容：

在步骤S10中，首先说明的是，核电厂内“8+1”重大设备的相关数据来源于不同的业务系统，具有不同的存储方式与数据格式，既有结构化数据，也有半结构化、非结构化数据，具体如表1所示的接口系统汇总表及表2所示的接入系统数据库类型及部署位置情况表：

表1

表2

在步骤S20中，对于抽取的数据，需首先对其进行预处理，包括数据清洗、数据格式转换。其中，数据清洗处理包括剔除无效值和填补缺失值；关于数据格式转换，需说明的是，目前核电厂不同业务系统中数据的格式不统一，造成数据难以进行融合及分析，为了提高数据标准化程度，方便后续的数据整合、分析以及使用，因此需要对数据中各个字段的信息进行识别与统一，数据格式转换规则如下：

(1)电站：数据来源于设备管理大数据平台基础数据部分，例如，D：大亚湾；L：岭澳。

(2)机组：数据来源于设备管理大数据平台基础数据部分，例如，1～6:电厂机组专用；0：厂区专用；9：1/2号机组专用；8：3/4号机组专用；7：5/6号机组专用。

(3)系统代码：数据来源于设备管理大数据平台基础数据部分，例如，ARE：蒸汽发生器主给水系统。

另外，功能位置转换规则如表3所示：

表3

结合表3，转换逻辑为：

第一段为电站码(1位或2位)，该码占2位，若1位则第2位不填；

第二段为机组号(1位)，取原始功能位置机组号；

第三段为系统归类码(2位)，根据原始功能位置系统代码关联查找系统归类清单表获取系统归类码；

第四段为系统代码(3位或4位)，取原始功能位置编码系统代码，一般是3位，如果3位以上则补足第四位

第五、六、七段取原始功能位置剩余值填补。

在一个具体实施例中，步骤S30可包括：

步骤S31.根据业务需求确定相应的关联方式；

步骤S32.按照所确定的关联方式，将预处理后的数据进行数据关联，所述数据关联方式包括：功能位置关联方式、业务场景关联方式、业务流程关联方式、统计指标需求关联方式、标签关联方式。

在该实施例中，根据电厂实际业务，分析、确定数据关联方式，而且，五种关联方式的详细介绍如下：

1.通过功能位置进行关联：通过功能位置这个共同的字段，将分散在各个业务系统中的不同种类的数据进行关联，通过该种方式可获取到某个或某几个功能位置的所有相关数据，形成该功能位置/设备档案信息，方便用户查询、了解该功能位置的“前世今生”；

2.通过业务场景进行关联：根据核安全工程师、运行工程师、系统工程师、点检工程师等不同角色需求，分析其关注数据的层次(机组、系统、设备等)、维度、种类等，针对具体业务场景对相关数据进行关联，并以个性化驾驶舱的方式向用户进行展示，对不同角色工程师日常工作中所需的数据进行一站式展示；

3.通过业务流程进行关联：调研分析设备管理业务流程，选择一个或多个主线业务流程，根据其流程过程中所需填写/参考的数据的需求，对流程中相关数据进行关联，实现流程中业务数据的自动获取、展示，为用户提供该业务流程流转过程中所需数据，提高数据的分析、管理、应用以及运营的能力，提升业务流程运转效率；

4.通过统计指标需求进行关联：根据设备类CHR、ERI、SHR等各项指标以及工作中所需各部分业务统计需求对相关数据进行关联、统计，方便用户进行指标数据计算、日常统计，提高用户工作效率；

5.通过标签进行关联：用户在日常工作中，可根据需求对已获取的各类数据打上不同标签，系统可根据用户本人或他人标记标签对各类数据进行关联，方便用户根据标签对数据进行获取与分析。

在一个具体实施例中，步骤S30还进一步包括：

步骤S33.根据业务需求及数据特征确定相应的数据融合架构，所述数据融合架构包括虚拟化数据融合架构、物理化数据融合架构；

步骤S34.根据所确定的数据融合架构，对预处理后的数据进行融合处理。

在该实施例中，根据业务需求以及系统、数据特征选定合适的数据融合架构，该实施例为了提高数据的利用率、数据质量以及标准化程度，同时考虑到实时数据映射关系固定、数据量大的特点，采用了物理+虚拟的数据融合架构。以下将对两种架构进行说明，并对其各自的优劣势进行分析：

1.虚拟化数据融合架构：在虚拟化环境中数据存储于单独的数据源中，数据通过一个虚拟层汇总形成视图来响应用户查询，当系统受到虚拟层定义的用户查询时，先判定被查询的相关数据源，然后再根据不同的数据源分解为不同的子查询，子查询由合适的数据源执行，再将数据进行适当结合后反馈给用户，虚拟架构的优点是可以反馈给用户当前最新的数据，而最大的问题在于如何定义每个数据源与虚拟层之间的关联关系。

2.物理化数据融合架构：数据将在全局层面进行实体化存储于同一的数据仓库中。数据仓库将会合并来自于多个数据源的数据，这些数据通过抽取、转换、加载(ETL)进入数据仓库。物理化架构优点在于在完成数据集成后，可更加方便的将这些数据进行复用，通过接口、微服务等手段应用于其他系统，节省了项目开发成本，提高资源使用率，面临的问题在于增量视图的维护以及数据仓库与底层数据源之间的同步。

在该实施例的技术方案中，需要接入的数据主要包括实时监测数据、大纲、智能诊断、定期实验、维修、QDR、化学数据、振动、巡检、设备问题等多种数据，其中实时监测数据统一存储于白鹭数据库中，其它数据均分布在不同的业务系统当中。除实时数据外，对其它类型数据实时性要求不高，同时考虑到为了方便其它业务系统对这些数据的应用，提高数据的利用率、数据质量以及标准化程度，本项目将采用虚拟+物化架构的方式，其中，实时数据由于数据量大、数据来源、关联关系固定的原因通过虚拟化架构的方式进行融合；其它类型的数据则采用物理架构方式进行融合，通过ETL工具抽取并存储与数据仓库中，以进行应用。

在一个具体实施例中，步骤S40包括：根据业务需求确定相应的业务展示模型，并使用所确定的业务展示模型对汇总处理后的数据进行可视化展示，其中，所述业务展示模型包括：三维展示模型、个性化驾驶舱展示模型、统计报表展示模型、设备档案展示模型、设备统计指标展示模型、设备健康报告展示模型。

在该实施例中，以三维展示模型为例，可结合电厂业务场景，梳理核电厂已有重大设备的三维模型，构建以重大设备为中心的三维业务场景，对各信息系统之间业务逻辑进行分析，实现三维模型与实时监测数据、历史离线数据的动态关联。另外，还可通过个性化驾驶舱展示模型、统计报表展示模型、设备档案展示模型、设备统计指标展示模型、设备健康报告展示模型进行可视化展示开。例如，如图3所示，在以设备档案展示模型展示时，数据关联方式选用的是功能位置关联方式，而且，以文字、图表、音视频等方式展示以下数据：设备设计阶段的数据、设备的二维信息、设备的三维信息、设备的实时数据、设备的SAP运维/巡检与监视/调试信息、设备的基础信息/经验反馈信息等。

进一步地，在一个具体实施例中，步骤S10包括：

根据业务需求及数据特征，确定各种数据的抽取策略和抽取频率，其中，所述抽取策略包括：全量抽取、增量抽取、新增及变化抽取；

根据所确定的抽取策略和抽取频率，从相应的业务系统抽取相应的数据。

在该实施例中，抽取策略包括：全量、增量、新增及变化，即，存储完整的数据、存储新增加数据、存储新增加数据及变化数据；抽取频率即为多久更新一次数据。

在实际应用中，除首次初始化数据时需要对所有数据进行全量存储外，后续均按照系统中数据总量多少、数据新增及变化频率、数据增量等特点进行分析制定数据抽取频率及策略。若业务系统中数据存储量较少，则可使用全量更新策略，对数据进行全部抽取；若数据量较大且不会改变原有数据，则采用增量备份；若存在对原有数据进行升版的现象，则采用新增+变化的数据更新策略。

数据的抽取频率则是根据业务系统中数据更新的频率决定的，例如设备可靠性数据库中数据每年更新一次，期间不会对数据进行编辑，则其数据抽取频率定为一年一次或半年一次；对于在线数据，因其实时性较高，则采用实时更新的方式。

因此，可根据电厂业务及数据特征，针对不同种类数据确定相应的抽取频率以及抽取策略，并基于Hadoop平台，通过其ETL/SAP SLT以及微服务等方式按照既定策略对数据进行抽取。

另外，关于数据的存储，在步骤S60中，通过分层存储方式将数据存储在所述数据仓库的相应数据层中。具体地，数据层包括以下三层：ODS层(第一数据层)、DWD层(第二数据层)以及DWS层(第三数据层)，其中，ODS层为最贴近源数据系统的一层，其用于对从各个业务系统抽取的数据进行原样存放，其数据与源数据结构保持一致，不做任何处理，便于高效的进行数据采集；DWD层为明细数据层，其用于存放经过清洗、转换后的数据。DWS层为服务数据层，其以DWD层为基础，按照设备管理业务，对各类数据进行统计、汇总。

图4是本发明核电厂重大设备的数据管理系统实施例一的逻辑结构图，该实施例的数据管理系统包括：抽取模块10、预处理模块20、汇总处理模块30和展示模块40，其中，抽取模块10用于从不同的业务系统抽取多种类型的数据；预处理模块20用于对所抽取的数据进行预处理，所述预处理包括数据清洗、数据格式转换；汇总处理模块30用于根据业务需求对预处理后的数据进行汇总处理；展示模块40用于根据业务需求对汇总处理后的数据进行可视化展示，具体地，该展示模块40可用于根据业务需求确定相应的业务展示模型，并使用所确定的业务展示模型对汇总处理后的数据进行可视化展示，其中，所述业务展示模型包括：三维展示模型、个性化驾驶舱展示模型、统计报表展示模型、设备档案展示模型、设备统计指标展示模型、设备健康报告展示模型。

进一步地，本发明的数据管理系统还包括实时数据获取模块，该实时数据获取模块用于通过微服务或接口从白鹭数据库获取实时数据；而且，汇总处理模块用于根据业务需求，对实时数据及预处理后的数据进行汇总处理。

进一步地，本发明的数据管理系统还包括存储模块，该存储模块用于建立数据仓库，并通过分层存储方式将数据存储在所述数据仓库的相应数据层中，其中，第一数据层用于存储所抽取的数据；第二数据层用于存储预处理后的数据；第三数据层用于存储汇总处理后的数据。

本发明的技术方案对核电厂设备管理所需业务数据进行融合集成并进行可视化展示，具体地，将主泵、汽轮机、蒸汽发生器、柴油机、发电机、主变压器、凝汽器、重要泵组以及冷源不同维度、不同种类的数据进行融合，并将融合后数据通过多种方式进行可视化展示，对重大设备的管理及健康评估提供技术支撑和辅助决策支持。

本发明通过对多源数据进行分析梳理，基于大数据处理平台及其工具，融合“8+1”重大设备实时监测、大纲、智能诊断、定期试验、维修、化学试验、振动、巡检、缺陷问题等多种数据，并对多源数据进行统计、分析，通过三维、报表等多种手段对多源数据进行可视化展示，形成一套完整的“8+1”重大设备状态监测可视化平台，实现对“8+1”重大设备运行状态的全方位监测以及健康评估。因此，具有以下有益效果：

1.充分利用电厂已有信息化资源，打通各系统之间数据链路，打破数据孤岛，实现源数据汇总，统一数据标准及格式，为挖掘数据价值打下良好基础；

2.构建可视化展示模型，将“8+1”重大设备各类相关数据与三维模型结合，更加形象直观设备状态，实时显示设备健康状态信息，对于出现异常设备能够快速定位，以及健康评估，故障预警可视化。

3.建立设备健康档案，可随时查看数据、随时监控指标的变化，以文字、图表(条形图、饼图、树图、折线图、散点图、雷达图等)、音视频等方式满足现场作业人员及运维人员工作需要，能快速获取所需设备的信息。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。