一种基于大数据技术的水电设备监测和故障诊断系统

摘要

本发明公开一种基于大数据技术的水电设备监测和故障诊断系统，该系统包括：可视化展现模块，通过状态接入控制器，将子站的被监测信息采集上来，并通过状态接入控制器上传到数据上传服务器，供数据上传服务模块将设备监测数据上传到Hbase数据库中，供查询与统计相关信息，展现设备监测信息和设备相关统计信息；告警管理模块，通过配置设备监测点的组合告警条件产生告警记录；查询与统计模块，用于提供设备监测数据的历史查询、设备相关台帐的综合信息查询功能；故障诊断模块，采用多种故障诊断模型或预测模型，进行设备故障诊断及预警。采用本发明，能够提高设备诊断效率和水平，并为设备状态检修提供基础，降低检修成本，提高供电的可靠性。

说明书

技术领域

本发明涉及设备监测和故障诊断应用技术，尤其涉及一种基于大数据技术 的水电设备监测和故障诊断系统，适用于对集团级、大集中模式下的水电设备 进行监测和故障诊断。

背景技术

近几年，在水电站和抽水蓄能电站领域，其设备监测及故障诊断还没有形 成一套成熟体系，设备的监测和故障诊断还停留在设备厂家单套系统的定值报 警分析模式。现有的水电站设备系统都是高度集成的成套系统，单个设备、单 一数据维度的监测诊断分析，已经不能满足日常生产运行的需要。因此，建立 一套基于大数据技术的水电设备监测及故障诊断系统已成为必然趋势。

尤其是当前随着物联网、云计算等新一代信息通信技术的发展，水电站的 自动化和信息化水平日益提高，海量的生产实时和状态监测数据得以采集、存 储。除此之外，生产管理中的机组等主设备试验、检修报告、安全监测的视频 数据等非结构化数据等大量产生，为电力设备的故障诊断提供原始资料。如何 最大限度地挖掘数据效益，改变以前信息系统建设侧重系统功能而忽视数据效 益的状况，大数据技术应运而生，为电力设备的状态监测和故障诊断提供了有 效手段。

近年来为了满足调峰调频和多种能源协调的需要，抽水蓄能和常规水电机 组规模迅速发展，电站主设备的数量急剧增加，定期检修工作量剧增，检修人 员紧缺问题日益突出。同时随着新投产的设备制造质量的大幅提升，集成式、 少维护设备得到大量采用，早期定制的设备定期检修、定期试验已不能适应新 设备检修的要求。因此对水电站而言，增加一套在线监测和故障诊断系统辅助 设备进行状态检修已变得非常迫切和必要。

目前有些水电站为了提高设备安全运行，安装了一些设备状态监测系统， 在同一电站里各个设备状态监测系统各自为政，孤立运行，孤立诊断，资源不 能共享，没有实现设备信息的综合利用，不能实现完整的设备状态诊断和辅助 决策；同时各厂家在线监测系统采集的信息内容不同，使用的技术手段不同， 遵循的技术标准也不尽相同，缺乏一个统一的信息采集规范。因此各自为政的 在线监测系统对集中管理水电站在线监测和故障诊断极为不利。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于大数据技术的水电设备监 测和故障诊断系统，为以水电站和抽水蓄能电站等发电企业的状态检修、生产 运行、实时管控、生产管理、智能决策提供坚强支撑；以提高设备诊断效率和 水平，并为设备状态检修提供基础，降低检修成本，提高供电的可靠性。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于大数据技术的水电设备监测和故障诊断系统，该系统包括可视化 展现模块、告警管理模块、查询与统计模块以及故障诊断模块；其中：

可视化展现模块，通过状态接入控制器，对水电设备进行状态监测，并通 过数据上传服务对设备监测的结果数据进行上传并存储到Hbase数据库中，然 后以web应用的方式，提供查询与统计Hbase数据库存储的设备台帐相关信息， 展现设备监测信息和设备相关统计信息；

告警管理模块，通过配置设备监测点的上限值、下限值、上上限、下下限 以及多个监测点的组合告警条件，产生告警记录，并发出提醒信息；

查询与统计模块，用于提供设备监测数据的历史查询、设备相关台帐的综 合信息查询、设备监测告警记录的统计、设备运行工况信息的统计功能；以及，

故障诊断模块，采用聚类分类模型、贝叶斯网络故障诊断模型或预测模型， 进行设备故障诊断及预警。

其中，所述可视化展现模块具体包括大坝安全监测子模块、水利测量监测 子模块、水轮机组监测子模块、变压器监测子模块、断路器监测子模块、容性 设备监测子模块、避雷器监测子模块以及微气象环境监测子模块。

所述通过数据上传服务对设备监测的结果数据进行上传，具体包括：利用 状态接入控制器的监测层与接入层之间的I1接口，面向被监测装置即子站，采 用DL/T80接口协议将子站的被监测信息采集上来，并通过所述状态接入控制 器的位于接入层到主站层之间的I2接口定时上传到主站的CAG接入网关；利 用CAG接入网关向数据上传服务器发送XML文件，经数据上传服务模块将设 备监测数据上传到Hbase数据库中。

所述设备的监测结果数据，主要包括生产管理系统中的设备台帐信息、缺 陷信息、试验信息、运行信息、检修信息、生产厂家信息。

所述告警管理模块包括事件告警配置、短信告警配置、短信告警查询、事 件告警查询子模块。

所述故障诊断模块，包括包含模型设置、模型训练、模型验证、故障诊断、 故障预警子模块。

所述故障诊断模块，进一步包括通过模型设置功能，确定采用的模型和模 型的细节调整；通过对水电设备的海量数据进行模型训练，满足模型求解的数 据支撑；通过外部输入数据测试，验证模型准确性，以便对模型设置进行微调， 达到准确的故障诊断和预警。

本发明所提供的基于大数据技术的水电设备监测和故障诊断系统，具有以 下优点：

相较于现有技术，本发明通过采用统一的状态接入控制器(CAC)，实现了 子站数据的统一接入；其数据存储采用统一的分布式、高性能、可扩展的列数 据库Hbase，能够实现海量数据存储的负载均衡和动态扩展。

采用本发明，能够有效整合目前水电设备在线监测系统各自为政、状态诊 断单一、信息不能共享等问题，充分利用现有水电生产运行数据、生产管理数 据(试验和检修历史数据)、状态监测数据等大量的实时、历史数据，采用大数 据技术进行水电设备故障诊断和预警，极大提高了水电设备故障诊断效率和准 确性。

附图说明

图1为大数据技术架构图；

图2为本发明实施例的Spark集群部署架构图；

图3为基于大数据技术的水电设备监测数据采集与存储结构图；

图4为基于大数据技术的水电设备监测与故障诊断系统功能图。

具体实施方式

下面结合附图及本发明的实施例对本发明的基于大数据技术的水电设备监 测和故障诊断系统作进一步详细的说明。

图1为大数据技术架构图。如图1所示，该大数据技术架构采用开源的大 数据技术相关的项目Apache Spark(以下简称Spark)和Apache Hadoop(以下简称 Hadoop)、Apache Hbase(以下简称Hbase)相结合技术，以Spark集群架构为主， 集成Hadoop和Hbase。

这里，所述Spark是一个通用的并行计算框架，Spark的弹性分布式数据集 (Resilient Distributed Dataset，RDD)是基于内存计算、快速迭代的数据集合，运 算效率比Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)快一 百二十倍，RDD兼容Hadoop的HDFS文件(Spark会把HDFS文件封装成RDD 对象)，另外Spark的分布式计算Map Reduce算法比传统的Hadoop Map Reduce 的性能更好，并且操作数据集更加丰富。

Spark集群方式主要有以下三种：单主机模式，是一种简单的集群管理，一 个Spark Master和多个Spark worker组成，Spark非常容易搭建的一种集群模式； Apache Mesos模式，是一种通用的集群管理,可以运行Hadoop的MapReduce 和服务应用的模式；Hadoop YARN(Yet Another Resource Negotiator)模式，则是 Hadoop2.0中的资源管理模式，从Hadoop 0.23.0版本开始，Hadoop的 MapReduce框架完全重构，新的Hadoop MapReduce框架命名为MapReduceV2 或者叫Yarn。优选的，采用Apache Mesos集群模式，Mesos提供了高效、跨分 布式应用程序和框架的资源隔离和共享功能，支持Hadoop和Spark。Mesos支 持多种资源计划分配(内存和CPU)，提供Java、Python和C++APIs来开发新 的并行应用程序，提供基于Web的用户界面来提查看集群状态。

所述Hbase是高性能、高可靠性、可伸缩的分布式非关系列数据库，是构 建在Hadoop HDFS之上的数据库，主要用于海量结构化、非结构化数据存储， 能够对大型数据提供随机、实时的读写访问。Hbase可存储上T甚至P级别数 据文件，Hbase目标主要依靠横向扩展，通过不断增加廉价的PC服务器，来增 加计算和存储能力。使用Hbase数据库存储海量数据而不使用Hadoop的HDFS， 是因为HDFS不适合在并发环境下的写入和修改，也不适合瞬时(毫秒级)的实 时数据获取。使用Spark的分布式计算架构，而不使用Hadoop的计算架构，是 因为Spark的计算性能、通用性、容错性等都比Hadoop好，另外还能有效地利 用Spark的流处理技术(Streaming)、SQL处理技术(Shark)、机器学习技术(MLlib) 等功能实现快速的大数据分析。可选的，也可以采用开源的Hypertable数据库 代替Hbase，Hypertable和Hbase都是基于Google BigTable的两个开源实现， HBase主要使用Java语言开发，而Hypertable使用Boost C++开发。

图2为本发明实施例的Spark集群部署架构图，如图2所示的Spark集群 架构图，Spark应用在集群上以独立的进程集合运行，在驱动程序(即主程序)中 以Spark环境对象(即SparkContext)来协调。在集群上运行时，Spark环境可以 与不同的集群管理器(Spark单主机集群管理器或者Apache Mesos/Hadoop  YARN集群管理器)相连接，这些集群管理器可以在应用间分配资源；Spark 环境一旦连接上集群管理器，Spark需要在集群上的执行节点，也就是那些执行 计算和存储应用数据的工作进程；然后，它将应用代码(以Java打包后的JAR 文件或者Python定义的文件并传送到Spark环境)发送到执行者节点；最后， Spark环境发送任务让执行节点运行。

所述设备监测数据采集与存储，是利用业界成熟的状态接入控制器(CAC) 对水电设备进行状态监测，并通过数据上传服务对设备监测的结果数据进行上 传操作，存储到分布式、非结构化、列存储数据库Hbase中。

图3为基于大数据技术的水电设备监测数据采集与存储结构图。如图3所 示，状态接入控制器(CAC)提供两个层面接口：即I1和I2。其中，I1接口是 监测层与接入层之间的接口，面向被监测装置即子站，采用较为底层的DL/T 860 接口协议实现。I2接口则是接入层到主站层之间的接口，面向主站，采用具有 良好扩展性的Web服务方式实现。主站通过CAG接入网关将状态接入控制器 (CAC)的监测数据接入到CAG，一个CAG可以接入多个状态接入控制器。 CAG接入网关向数据上传服务器发送XML文件，供数据上传服务将设备监测 数据上传到Hbase中。

水电设备监测数据，一般是基于时间序列的数据，实时性强、数据量大， 不适合关系数据库存储，采用高性能、高可靠性、可伸缩的分布式非结构化列 存储数据库Hbase来存储，非常合适。

所述管理数据采集，即通过Web服务方式，实现管理数据的采集，包括生 产管理系统中的设备台帐信息、缺陷信息、试验信息、运行信息、检修信息、 生产厂家信息等。可以提供两种Web服务接口，一种是实时的数据发送、接收； 另一种是按一定时间周期(如每隔30分钟)进行查询、接收。实时Web服务是指 生产管理系统一旦新增、修改或删除一个设备台帐信息时，就会将修改结果通 过Web服务发送过来，Web服务接收到数据后，将数据更新到Hbase数据库中。 定时Web服务是指按照一定的时间周期(如30分钟)定时向生产管理系统发送增 量数据查询服务，并将查询到的数据更新到Hbase数据库中。对于设备台帐初 始数据的更新，可以使用关系数据库导出到文件，在通过编写程序写入到Hbase 数据库中。

所述设备监测展现，即编写Web应用程序，查询和统计Hbase数据库存储 的设备台帐相关信息，展现设备监测信息和设备相关统计信息。包括可视化展 现、告警管理、查询与统计三个功能模块，如图4所示。

这里，所述可视化展现模块，包含大坝安全监测、水利测量监测、水轮机 组监测、变压器监测、断路器监测、溶性设备监测、避雷器监测、微气象环境 监测等子模块。

所述告警管理模块包括事件告警配置、短信告警配置、短信告警查询、事 件告警查询子模块。

所述查询与统计模块包括监测数据查询、设备综合查询、告警统计、运行 工况统计模块。

可视化展现模块，是使用可视化的、非常直观的图形来描述现实世界中的 设备、厂房、地理位置等要素，外加关注的热点数据(设备监测信息)实时显 示，并可以点击热点数据，展现热点数据的详细信息。

告警管理模块，包括事件告警和短信告警子模块两部分，均通过配置设备 监测点的上限值、下限值、上上限、下下限以及多个监测点的组合告警条件， 组合告警条件是一个条件表达式，可组合多个监测点数据，一旦取得的设备监 测数据超过设置的上限值、上上限值或低于下限值、下下限值或满足组合告警 条件，就产生告警记录，如果配置了短信告警，同时向相关人员发送短信提醒。

查询与统计模块，包括设备监测数据的历史查询、设备相关台帐的综合信 息查询、设备监测告警记录的统计、设备运行工况信息的统计等。

设备的故障诊断模块，包含模型设置、模型训练、模型验证、故障诊断、 故障预警等子模块，如图4所示，属于基于大数据技术的水电设备监测和故障 诊断系统的一个模块。

大数据技术的故障诊断技术主要采用聚类分类(K-mans、Birch)模型、贝叶 斯网络故障诊断模型、预测模型(基于时间序列Arima预测模型、神经网络预测 模型)等，进行设备故障诊断及预警。通过模型设置功能，确定采用的模型和模 型的细节调整；通过对水电设备的海量数据(与设备相关的监测数据、台帐数据、 技术参数、检修数据、试验数据、缺陷数据、运行数据)进行模型训练，满足模 型求解的数据支撑；通过外部输入数据测试，验证模型准确性，以便对模型设 置进行微调，达到准确故障诊断和预警的目的。故障诊断功能对已经存在故障 的设备进行故障诊断分析，确定故障类型、故障位置和解决办法。故障预警是 预测一定范围内的设备在一定时间范围内(如一天、一周、一月、一年)后设备 是否会发生故障，以及发生何种故障。

本发明基于大数据技术的水电设备监测和故障诊断系统，主要包括大数据 技术架构、水电设备监测数据采集与存储、管理数据采集、设备监测展现以及 设备故障诊断功能模块。

所述基于大数据技术的水电设备监测和故障诊断系统的设计与实现，主要 包括：大数据技术架构搭建和故障诊断子系统、基于大数据技术的水电设备监 测数据采集与存储子系统、基于大数据技术的水电设备监测与故障诊断子系统。 其具体的实现方式详述如下：

所述大数据技术架构搭建和故障诊断子系统，即在开源Linux操作系统(如 Ubuntu12.04)上，安装Java运行环境JDK1.6或以上版本，部署基于分布式集群 架构的Spark和Hbase，其中Spark用于大数据环境下的故障诊断，包括模型训 练、模型验证、故障诊断、故障预警等4个模块，均通过Spark程序实现具体 功能，部署在大数据环境下运行，充分利用Spark的分布式内存运算优势，实 现海量数据的快速分析。Hbase用于大数据存储，包括设备监测数据、设备台 帐相关数据。采用的Spark版本为2014年7月11日发布的Spark 1.01 for  Hadoop2，采用的Hbase版本是2014年7月3日发布的Hbase-0.94.21，采用的 Spark集群管理器版本是2014年6月9日发布的Mesos-0.19.0，采用的Hbase 集群管理器版本是2014年3月10日发布的Zookeeper-3.4.6。

从最简单的大数据集群环境部署，需要六台服务器，其中两台运行Spark 集群(一主一备)、两台运行Hbase集群(一主一备)、一台运行主Web应用程序， 另一台用于数据上传服务(包括管理数据采集)，这六台服务器都部署在主站内， 搭建集群环境的详细配置不再赘述。从Spark和Hbase集群能力上来说，集群 台数没有限制，一般集群台数越多，性能越好，在正式环境中，集群部署几千 台PC服务器是没有问题的。

所述基于大数据技术的水电设备监测数据采集与存储子系统，即通过状态 接入控制器，实现子站设备监测数据的采集与上传，通过CAG接入网关，实 现所有子站数据上传到主站，并将数据以Xml文件形式上传到指定的数据上传 服务器；数据上传服务器中的数据上传服务是一个Java任务调度程序，每隔一 段时间(如30秒)进行一次数据上传操作，通过Hbase提供的Java接口将数据 写入Hbase数据库，实现对设备监测数据(本地Xml文件)和生产管理系统中设 备台帐相关数据(设备台帐数据、设备技术参数、设备检修数据、设备试验数据、 设备缺陷数据、设备运行数据、设备生产厂家)上传到Hbase数据库中；其中与 生产管理系统的数据接口使用Web服务方式进行；与设备监测数据接口使用 Java IO(InputStream/OutputSteam)流处理。

所述基于大数据技术的水电设备监测与故障诊断系统，即编写J2EE Web 程序，实现可视化展现、告警管理、查询与统计、故障诊断等模块的功能。Web 程序使用Spring4框架，用于编写Web后台业务逻辑和前台界面展现，后台数 据库采用Hbase。由于Hbase不是关系数据库，所以不能使用对象关系映射 (Object Relational Mapping，ORM)框架(如Hibernate)，需要自己编写一套基于 Hbase的数据访问层接口(与普通SQL不同)，提供对Hbase表的增加、删除、 修改、查找操作。

可视化展现模块，主要是利用可视化的图形和实时测点数据展现设备监测 信息，包括大坝安全监测、水利测量监测、水轮机组监测、变压器监测、断路 器监测、溶性设备监测、避雷器监测、微气象环境监测等。实时测点数据展现 是通过Ajax+javascript的定时函数(setInterval(fun,time))实现的，通过前台的 Ajax，调用后台的数据查询，并将结果显示在页面上。

告警管理模块，用于实现事件告警和短信告警条件的配置维护，以及产生 的事件告警和短信告警记录的查询功能。事件告警配置中可以配置单个测点的 上上限(二级告警)、上限(一级告警)、下限(一级告警)、下下限(二级告警)，也 可以配置多个测点组成的复杂告警条件(组合告警)。告警管理模块包含一个告 警数据生成功能，一般写在数据库的存储过程中，如果通过Java程序实现，性 能要差不少。由于Hbase数据库没有存储过程，只能通过Java程序来实现，即 每隔一段时间(如15秒)查询所有复杂事件告警条件(组合告警)和单测点告警条 件(一、二级告警)，将当前测点数据放入事件告警条件中的测点变量，若事件 告警条件成立(单测点告警条件：大于上上限或小于下下限属于二级告警，大于 上限且小于上上限或小于下限且大于下下限属于一级告警)，则判断当前告警是 否已经存在当前告警记录中，如果不存在则增加事件告警记录，如果配置了短 信告警，同时向相关人员发送短信提醒。

查询与统计模块，用于实现测点数据查询、综合设备查询、告警统计、运 行工况统计。测点数据查询是按照电站、设备类型、电压等级、设备名称、测 点名称、开始时间、结束时间来查询设备测点的历史数据，并提供折线图展现 数据整体变化趋势。综合设备查询是按设备列表、技术参数、缺陷记录、检修 记录、试验记录、运行记录、监测记录等Tab页，其中每个Tab页都提供常用 查询条件(如电站、电压等级、设备类型、设备名称、开始时间、结束时间)查 询，默认是选中设备列表中的一行记录后，切换到其它标签页时，其它标签页 显示当前选中设备的相关记录。告警统计是统计一段时间内(年/月)按电站、电 压等级、设备类型、设备名称、告警等级、告警次数进行统计。运行工况统计 是通过设备监测点状态(正常/异常)和监测数据统计设备整体运行工况，按电站、 电压等级、设备类型、设备名称、正常运行率(监测状态正常时间/监测时间)、 一级告警率(一级告警时长/监测时长)、二级告警率(二级告警时长/监测时长)进 行统计。

所述故障诊断模块中，模型设置子模块是确定故障诊断和故障预警所采用 的模型，以及模型的边界设置，属于模型配置信息，保存在Hbase数据库中。 Web程序中的模型训练负责对训练数据的范围进行确定，并可以接收外部特定 格式的训练数据导入，将数据训练范围或接收的外部训练数据都存储在Hbase 中后，向大数据环境发送执行模型训练指令(中间通过大数据环境集群主机上部 署的Web服务，在Web服务中执行大数据故障诊断程序的批处理)，大数据环 境接收到执行模型训练指令后，执行模型训练，模型训练子模块会读取Hbase 中的模型训练配置信息，并对训练数据进行MapReduce式的任务分解，任务分 解过程中进行模型数据训练，任务聚合时，将当前完成进度信息写入Hbase中， Web程序中，通过不断读取Hbase中的进度信息，显示当前模型训练进度情况。 模型验证、故障诊断、故障预警等子模块都是采用上述方法实现。模型验证子 模块是通过外部数据导入(设备故障数据或正常数据)，验证模型准确性。故障 诊断子模块是对已经发生故障的设备进行诊断，确定故障类型、故障位置和解 决办法，可以直接通过条件选择故障设备或导入故障设备进行分析。故障预警 子模块是预测一定范围内(整个系统、电站、某一设备类型、某一电压等级、某 一生产厂家、某一设备型号、某一具体设备等条件)的设备在一定时间范围(如 一天、一周、一月、一年)内设备是否会发生故障，以及发生何种故障。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。