云平台下电力设备监测大数据存储优化与并行处理技术研究

摘要

随着智能电网建设的不断推进，智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势，监测数据变得日益庞大，电力设备在线监测系统面临越来越大的技术挑战。本文以电力设备监测大数据的存储和并行处理方法为研究对象，利用云计算和大数据处理技术(Hadoop、ODPS、Spark)对电力设备监测大数据的存储方法、数据在分布式平台下的分布策略、波形信号的并行分析和特征提取方法、多源数据的并行关联查询和分析方法、监测数据的并行聚类方法以及监测数据快速模式识别等问题进行了系统深入的研究。
　　存储模式和数据分布策略是大数据处理首要解决的问题。本文分析了电力设备监测大数据的特点，分别基于HDFS文件和HBase表，设计了监测数据的存储方法。针对多源监测数据关联分析时，采用Hadoop默认数据分布策略造成节点间通信量大、性能低下的问题，提出了考虑数据相关性的多副本一致性哈希存储算法。基于该算法，应用MapReduce并行编程框架设计实现了多数据源并行关联查询算法和多通道数据融合并行特征提取算法，并通过实验验证了数据分布策略对并行算法性能的影响。
　　鉴于总体经验模态分解(EEMD)方法在特征提取、信号去噪方面的优势，针对现有信号分析仪器采样率高（数据量大）且EEMD算法计算量大、运行速度缓慢的问题，提出了基于MapReduce并行编程框架的并行化EEMD算法。在对分段包络线进行重构时，针对矩形窗的固有缺陷，提出了基于局部平稳度的自适应分段包络线重构算法，用于分段边界的补偿处理，使重构的包络线误差减小到给定阈值范围内。通过实验的方式给出了误差限与延拓长度关系的实验数据，对并行化EEMD算法的性能进行了实验验证。
　　针对自建数据处理平台在硬件规模、扩展性和集群伸缩性等方面的限制和问题，首次尝试利用阿里云大数据计算服务(ODPS)存储并加速电力设备监测大数据的分析过程。以变压器局部放电相位分析(PRPD)为例，提出了基于ODPS的局部放电信号数据存储方法;提出了基于ODPS扩展MapReduce模型(MR2)的并行化PRPD分析方法，在ODPS平台上实现了海量PD信号的并行基本参数提取、统计特征计算与放电类型识别，并对算法性能进行了实验验证。
　　针对监测系统中由于恶劣天气等因素影响形成的短时、大规模并发报警和越限监测数据快速分析问题，研究了基于Spark的电力设备监测数据快速模式识别方法，在E-MapReduce平台上设计实现了Spark-KNN快速分类算法，用于海量绝缘子泄漏电流数据的快速类型识别，识别算法的平均性能高于HadoopMapReduce实现，更适合执行电力设备监测大数据的实时处理任务。

目录

声明

摘要

第1章 绪论

1．1 课题背景及研究意义

1．2 电力设备监测数据存储和数据处理的研究现状

1．2．1 监测系统的存储软件和监测平台架构

1．2．2 时序波形信号监测数据的存储方法

1．2．3 电力设备监测数据的并行分析和快速处理

1．3 本文的研究内容和结构安排

第2章 云计算与大数据处理技术

2．1 云计算与大数据

2．1．1 云计算的概念和特点

2．1．2 大数据的概念和特点

2．1．3 云计算与大数据的关系

2．2 Hadoop大数据处理技术

2．2．1 Hadoop分布式文件系统HDFS

2．2．2 分布式数据处理MapReduce

2．2．3 分布式面向列的数据库HBase

2．2．4 Hadoop的适用场景

2．3 大数据计算服务ODPS

2．4 Spark大数据处理技术

2．5 本章小结

第3章 电力设备监测大数据存储方法研究

3．1 引言

3．2 电力设备监测大数据的特点

3．3 基于HDFS的数据存储方法研究

3．3．1 存储架构设计

3．3．2 多源监测数据在分布式系统中的数据分布策略

3．3．3 考虑数据相关性的多副本一致性哈希存储算法

3．3．4 影响HDFS存储性能的其他因素及优化方法

3．3．5 Hadoop平台搭建和HDFS性能基准测试

3．4 基于HBase的数据存储方法研究

3．4．1 电力设备波形信号数据的HBase存储设计

3．4．2 考虑时空二维属性的监测数据HBase存储设计

3．4．3 基于YCSB的HBase存储性能测试

3．5 基于ODPS的数据存储方法研究

3．5．1 自建Hadoop存储系统的局限性

3．5．2 变压器局部放电数据的ODPS表存储方法

3．5．3 PD数据上传与压缩存储性能测试

3．6 本章小结

第4章 基于MapReduce的电力设备监测大数据并行分析及其应用研究

4．1 引言

4．2 并行化总体经验模态分解算法MR-EEMD及去噪应用

4．2．1 时序波形信号的快速处理

4．2．2 EEMD算法性能分析

4．2．3 自适应数据分段及边界补偿处理

4．2．4 并行化EEMD算法MR-EEMD

4．2．5 实验结果与分析

4．2．6 基于MR-EEMD的局部放电信号去噪

4．3 多源数据并行关联分析

4．3．1 数据分布对并行算法性能的影响

4．3．2 多源监测数据并行关联查询算法

4．3．3 并行化多通道数据融合特征提取

4．3．4 实验结果与分析

4．4 并行化分形维数特征提取与密度聚类划分

4．4．1 电力设备波形信号的时频分形维数

4．4．2 基于分形维数特征的半监督DBSCAN聚类划分算法

4．4．3 实验结果与分析

4．5 基于ODPS并行框架MR2的局部放电相位分析和模式识别

4．5．1 大数据环境下传统局部放电相位分析的局限性

4．5．2 并行化PD信号分析整体流程

4．5．3 数据预处理和数据上传

4．5．4 PD信号放电基本参数n-q-φ并行提取算法

4．5．5 谱图构造和统计特征计算

4．5．6 并行化KNN局部放电类型识别

4．5．7 实验结果与分析

4．6 本章小结

第5章 基于Spark的电力设备监测大数据并行分析

5．1 引言

5．2 监测数据在RDD中的分布式存储

5．3 Spark-KNN快速模式识别算法

5．3．1 基于Spark的并行化KNN算法Spark-KNN

5．3．2 Spark-KNN算法的RDD数据处理流程

5．3．3 基于Hadoop MapReduce的并行化KNN算法MR-KNN

5．4 实验与结果分析

5．4．1 实验环境搭建

5．4．2 实验数据

5．4．3 Spark-KNN性能测试

5．5 本章小结

第6章 结论与展望

6．1 结论

6．2 展望

参考文献

攻读博士学位期间发表的论文及其它成果

攻读博士学位期间参加的科研工作

致谢

作者简介