基于spark模型的电力异常数据检测和短期负荷预测

摘要

电网的信息化与智能化程度不断的提升使得电力数据量越来越大，给数据的处理和分析带来很大的困难。在智能电网大数据应用处理的过程中，数据的实时性存储、高效处理、多源异构数据的融合以及数据的可视化方面面临着严峻的挑战，需要深入对这些方面开展研究，切实发挥大数据在保障电网安全稳定运行的作用。 电力大数据挖掘的基础是电力大数据平台，通过大数据平台可实现智能电网数据共享，对各类数据进行存储、处理、分析及应用，激发电力市场潜力，挖掘电力数据中蕴含的价值。 针对电力系统中的异常数据将导致电力系统状态估计结果的准确性降低，传统聚类算法处理海量高维数据时单机计算资源不足，Map-Reduce框架不能有效处理频繁迭代计算等问题。本文从电力异常数据检测与修正和短期负荷预测两个方面阐述电力大数据与智能电网的深度融合，基于Spark大数据计算平台，提出一种改进ISODATA聚类算法对异常数据进行检测与修正；基于Spark大数据计算平台，利用XGBoost算法将历史用电数据、日期特征、天气数据等不同种类的数据，通过特征提取和特征转换，构建模型进行短期用电负荷预测。

目录

第一个书签之前

摘要

第一章 绪论

1.1课题研究背景及研究的意义

1.2国内外研究现状

1.3论文的研究内容

1.4 论文结构安排

第二章 相关技术理论

2.1 智能电网和电力大数据

2.1.2 电力大数据

2.2 数据挖掘

2.2.1 聚类分析

2.2.2 XGBoost

2.3 Hadoop云计算平台

2.3.1 Hadoop简介

2.3.2 Hadoop文件系统HDFS

2.3.3 MapReduce并行计算平台

2.4 Spark 并行计算平台

第三章 基于Spark的聚类算法检测与修正异常数据

3.1传统异常数据检测

3.2 Spark计算平台搭建与配置

3.2.1 Hadoop平台的搭建环境

3.2.2 Hadoop集群安装配置

3.2.3 Spark安装与配置

3.3 基于并行ISODATA聚类的负荷特征曲线提取

3.3.1 改进的ISODATA算法

3.3.2 负荷特征曲线提取

3.4 基于负荷特征曲线的异常数据处理

3.4.1利用纵向相似性检测和辨识异常数据

3.4.2利用横向相似性检测和辨识异常数据

3.5实例分析

3.6 本章小结

第四章 基于Spark的短期负荷预测

4.1 短期负荷预测方法

4.1.1经典负荷预测方法

4.1.2传统负荷预测方法

4.1.3 智能负荷预测方法

4.2 XGBoost算法的并行化

4.3 基于Spark并行XGBoost的短期负荷预测

4.3.1 数据处理

4.3.2特征工程

4.3.3 XGBoost分布式部署

4.4 实例分析

4.5 本章小结

第五章 总结与展望

5.1 本文总结

5.2 结论与展望

参考文献

附录1 攻读硕士学位期间撰写的论文与专利

致谢