面向电网时序数据的数据质量实时治理技术研究

摘要

电网时序数据是电网设备状态监测、故障诊断的重要基础，对实时性要求较高。然而，现有的数据质量治理方法大多侧重于数据库中已有的历史数据，难以满足实时性的要求，且所采用的方法以及框架由于自身存在的问题，难以应对超大规模的数据集。本文以“面向电网时序数据的数据质量实时治理技术研究”为课题，旨在研究分布式实时计算系统Storm，并将其与时间序列序列分析、数据清洗技术相结合，解决大规模数据集实时治理的问题。
　　本文首先深入研究时间序列分析技术的原理与方法，对时间序列预测模型ARIMA与智能电网时序数据的特点进行分析;其次，对数据质量控制的方法进行归纳总结;最后设计了面向电网时序数据的数据质量实时治理框架以及适用于该框架的时序数据存储模式。
　　本文利用所提出的框架开展针对海量时序数据源的实时并发治理，对时序数据进行预测，比较不同数据样本对预测值的影响，分别采用基于统计与基于聚类的方法，实时识别数据中的孤立点，为电网当前运行状态诊断与未来发展趋势挖掘提供支撑平台。实例从预测精度、运算速度、占用资源等角度验证了本框架的有效性与实用性。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究动态

1．2．1 时间序列分析研究现状

1．2．2 数据质量控制研究现状

1．2．3 Storm的研究与应用现状

1．3 论文内容及组织结构

第2章 时间序列分析

2．1 时间序列分析概念

2．2 智能电网时序数据

2．3 ARIMA模型

2．4 ARIMA建模流程

2．4．1 AIC准则

2．4．2 参数估计

2．5 ARIMA预测

2．6 电网时序数据特点及模型适用性

2．7 本章小结

第3章 数据质量控制方法

3．1 数据质量问题的解决办法

3．1．1 数据清理步骤

3．1．2 单数据源中孤立点的检测

3．2 智能电网中的数据质量控制

3．2．1 智能电网中的数据质量控制方法

3．2．2 智能电网数据质量控制过程

3．2．3 适用于本框架的孤立点检测方法

3．3 本章小结

第4章 电网时序数据的数据质量实时治理框架的设计

4．1 Storm基本概念

4．1．1 Storm基本组件

4．1．2 Storm运行机制

4．2 框架工作原理

4．3 基于Hbase的时序数据存储模式

4．4 Topology详细设计

4．4．1 Spout处理机制

4．4．2 Bolt处理机制

4．4．3 流分组策略

4．5 本章小结

第5章 电网时序数据的数据质量实时治理测试

5．1 Storm集群部署

5．1．1 搭建ZooKeeper集群

5．1．2 安装Storm本地依赖

5．1．3 搭建Storm集群

5．2 Storm实例编写

5．2．1 实例需求分析

5．2．2 拓扑详细设计

5．2．3 拓扑运行

5．3 实例

5．3．1 样本容量对预测结果的影响

5．3．2 预测准确性分析

5．3．3 Storm处理效率检验

5．3．4 服务器资源消耗情况

5．4 本章小结

第6章 结论与展望

6．1 论文完成的主要工作

6．2 未来展望

参考文献

攻读硕士学位期间发表的论文及其它成果

致谢