Storm在电力大数据分析平台中的研究与应用

摘要

电力系统对生产、管理、运营过程的实时监控范围更广、粒度更细，积累的实时数据量呈指数级增长，如何快速、实时的处理流数据成为研究热点。分布式的流处理技术使得流数据进行及时分析成为可能。
　　Storm是Twitter公司开源的分布式、常用在实时计算技术，在实时分析、线机器学习、连续计算等领域。目前，Storm在网站信息、用户画像、实时推荐等领域已取得不错的效果。本文以“Storm在电力大数据分析平台中的研究与应用”为课题，旨在将Storm技术与电力大数据平台相结合，提出电力系统中海量实时数据的处理方案。主要研究内容有:
　　1、研究分布式的流处理平台及典型代表。分析Storm、S4、SparkStreaming各自的架构特点，从系统架构、数据模型、故障恢复等方面进行对比;研究Storm集群及流数据处理过程涉及的相关技术，如ZooKeeper、Kafka等。
　　2、深入分析Storm集群架构及处理模型，研究Storm数据流处理策略，包括Storm流分组策略及实时数据无损处理算法;通过实例，测试Storm在不同拓扑、不同参数配置情况下的性能，包括CPU使用率、系统吞吐量及处理延时等方面，分析Storm性能瓶颈，以支持系统扩展。
　　3、将Storm与电力大数据平台相结合，设计基于Storm的流数据处理过程。在分析电力流数据处理需求的基础上，提出一种分层的、多种计算模式混搭的电力大数据平台架构;针对电力系统流数据的特点及处理需求，提出基于Storm的实时数据处理方案，添加Kafka消息队列辅助数据采集、在对数据进行格式化去重等预处理操作后，传至具体处理逻辑螺栓，结果存入HBase。
　　4、Storm在输变电设备状态监测系统中的应用。研究输变电状态监测系统，从状态监测的三个基本步骤（数据采集、特征量提取和状态评估）入手，以输电线路绝缘子状态监测为例，分析状态监测流数据的处理过程，而后实现基于Storm的状态监测整个流程，并给出系统展示图。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究动态

1．2．1 流数据处理研究现状

1．2．2 Storm在大数据平台的应用现状

1．3 论文内容及组织结构

第2章 相关技术研究

2．1 分布式流处理平台

2．1．1 Apache Storm

2．1．2 Yahoo S4

2．1．3 SparkStreaming

2．1．4 分布式流处理平台对比

2．2 ZooKeeper

2．3 Kafka

2．4 Hbase

2．5 本章小结

第3章 Storm平台架构及数据处理策略

3．1 Storm基本概念及整体架构

3．1．1 Storm术语解释

3．1．2 Storm整体架构

3．1．3 Storm处理模型

3．2 基于Storm的数据流处理策略

3．2．1 流分组策略

3．2．2 实时数据无损处理算法

3．3 Storm性能分析与测试

3．4．1 测试方法及结果

3．4．2 测试结论

3．5 本章小结

第4章 电力大数据平台中Storm的流数据处理

4．1 电力大数据平台

4．1．1 电力大数据及其特点

4．1．2 电力大数据平台需求分析

4．1．3 电力大数据平台整体架构设计

4．2 电力大数据平台中流数据处理架构

4．3 数据采集与预处理

4．4 数据处理

4．5 结果存储

4．6 本章小结

第5章 Storm在输变电设备状态监测中的应用

5．1 系统概述

5．2 状态监测流数据处理

5．2．1 特征量选取及计算

5．2．2 状态评估

5．3 状态监测流程

5．4 系统实现

5．5 本章小结

第6章 结论与展望

6．1 论文完成的主要工作

6．2 未来展望

参考文献

攻读硕士学位期间发表的论文及其它成果

致谢