基于spark的实时电力负荷统计与事件检测

摘要

近些年来，随着能源需求量的迅猛增长，节能成为当今迫切需要解决的问题并且吸引了越来越多的关注。电力系统中“节能”的技术与措施可以概括为降损节能和需求侧节能两类。需求侧节能旨在：通过相关技术手段，引导用户进行合理用电，从而减少电力消耗和电力需求。比如根据详尽的用电量统计数据了解用电分布，合理安排用电；根据负荷投切事件了解电器的使用情况及负荷构成，减少不必要的电量消耗等。更细化的负荷数据信息有助于了解系统设备运行情况，排查设备故障，合理安排用电达到节能的效果。因此，对电力系统中负荷实时数据的分析具有很实用的市场价值。
　　电力负荷分析在实际生产环境中已有应用。其中，绝大部分是在单机上采用离线或在线计算方式，时延较大，不具备可伸缩性，并行度不高。因此，在海量数据和高并发的场景下，现有的电力负荷分析系统优势不明显，不能满足良好的实时性要求。本文针对该问题，以实时计算和大数据为背景，对在高性能分布式平台上进行电力负荷实时分析的解决方案进行了研究与探索。此外，本文把针对暂态高频数据的事件检测算法进行改进，使其能够适用于稳态低频电力负荷数据上的事件检测，并对改进的算法以实时计算方式实现。
　　并行计算平台Spark基于内存计算，其流处理框架Spark Streaming为批处理与实时处理结合的准实时处理模型，能保证高容错性。此外，Spark可以部署在大量廉价硬件之上，形成集群，可伸缩性强。本文以Spark的流处理框架Streaming为平台，进行电力负荷实时统计分析与事件检测，探索在保证实时性要求和吞吐量的前提下的解决方案，最后测试功能的准确性。通过对比测试，比较传统离线分析与在Spark Streaming上实时分析的性能。通过事件检测结果的对比，证明了改进后的事件检测算法比原CUSUM算法具有更高的准确性。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 课题研究背景

1.2 研究现状

1.3 本文研究内容及章节安排

2 论文相关技术研究

2.1 流处理模型分析

2.2 流式框架Spark Streaming特性

2.3 负荷监测中事件检测算法理论

2.4 本章小结

3 基于Spark的电力负荷实时分析

3.1 负荷实时统计

3.2 事件检测

3.3 本章小结

4 测试与结果分析

4.1 测试环境

4.2 测试结果分析

4.3 本章小结

5 全文总结与展望

5.1 论文的主要工作

5.2 展望

致谢

参考文献