面向服务思想和私有云平台的电力大数据架构设计与实现

摘要

随着电力系统的自动化和智能化程度越来越高，电力系统的五大环节产生了大量的数据，数据规模对传统的数据处理方式带来了巨大压力，对此，电力系统与大数据技术结合成为了热门研究内容。为提高电力系统中大数据处理能力，降低工作人员使用门槛，实现计算机学科和电气学科的高效融合，本文围绕面向服务和微服务的架构开展研究，设计了涵盖在线分析接口、复杂计算接口、抽取转换装载系统的电力大数据平台，并在私有云平台进行部署。 通过融合Hadoop分布式文件系统，GreenPlum数据仓库，Spark并行计算等几大技术的优势，结合电力系统的调控数据实现在线分析（OLAP)接口开发；设计研究了基于Spark的可编程复杂计算接口，通过RESTful接口暴露，允许用户发送HTTP请求上传和执行程序包，实现了对Spark并行计算资源的统一托管；同时在复杂计算接口的基础上，开发了服务于并行处理的抽取、转换、装载（ETL) 系统，利用Spark Streaming工具流式提取数据源的数据，并转化为结构化的数据存储到数据仓库，ETL基于复杂计算接口，继承了其可编程性和灵活性，通过利用托管的资源，降低了开发成本；私有云平台通过Kubernetes搭建，Kubernetes在底层实现了微服务架构，拥有服务发现，服务监控，服务部署等功能，而服务最终运行在Kubernetes编排的Docker容器里。 通过以上平台的研究工作，实现了电力大数据在线分析，包括了站点历史信息统计，站点事件预测，站点故障和厂家关联等功能。从多个维度分析了电力系统的工作情况，并进行可视化展示。通过复杂分析模块实现了并行的序列比对（LCS)算法，实现了对事件序列的分析；同时在电网数据多源异构的背景下，实现了从存储在HDFS的数据提取有效信息并存入数据仓库的ETL应用，并在ETL系统进行了验证。 文章通过结合电力系统的调控数据，开展了各功能模块的开发与可视化展示，有效验证了本文所提出的面向服务思想和私有云平台的电力大数据平台。

目录

第一个书签之前