智能用电系统数据挖掘与数据处理技术研究及应用

摘要

随着电力企业信息化水平的不断提高，所积累的各类数据越来越多，呈信息爆炸的趋势。数据量的激增占用了大量的计算机系统资源，造成了系统的拥塞，影响了有用信息的进一步增长，对数据的管理也越来越复杂;再者，传统的数据库技术与联机事务处理技术对数据的统计分析已经难以从庞大的信息中获得所需要的结果，简单的分析方法也已经无法满足用户对高级分析的要求。因此，必须探究先进的数据分析及数据处理方法和手段，以有效解决生产中出现的各种问题，保证电力系统的安全稳定运行。
　　本文构建了并行计算数据挖掘平台，对取自省级计量自动化主站系统、营销系统的数据以及天气数据进行分析，实现了电力数据的高级应用。完成的具体工作有:
　　开发了基于并行计算平台分布式文件系统HDFS、并行计算框架Map/Reduce的并行计算数据挖掘平台。利用ETL(Extract-Transform-Load)工具，开发出和业务相关的系列“作业”，这些“作业”对数据源的业务数据进行清洗、抽取、转换以及“协议簇”规则等操作，生成中间服务器(MS)的文本文件，然后上传到基于云计算技术的运算平台;云运算平台对海量的电力数据量进行快速检索;针对智能用电数据的特点，数据挖掘平台提供了并行聚类算法、并行分类算法、并行实时分群算法等常用数据挖掘算法模块，可有效支持各类高级应用的研究。
　　考虑并行计算数据挖掘平台要注意接口安全、数据挖掘平台的数据上传、提供webservice接口，以供外部系统或现有系统进行调用，同时考虑各个系统编程语言的差异性(java、asp、php等)，需要解决跨平台、跨语言的问题，本文完善了数据接口，提高了数据传输效率。
　　建立了最优复杂度模型、线损率指标数据预处理模型等，优选了数据处理算法，对缺失数据、异常数据以及告警误报漏报数据进行预处理，提高了应用结果的正确性。
　　提出了基于客户个性化分组的最优算法组合负荷预测方法，搭建预测模型构架。先利用聚类算法对行业客户进行分组，将具有类似用电特征的用户聚集在同一组内;然后针对分组后的客户组分别利用不同的时序预测算法进行负荷建模与预测，再叠加计算出行业用电预测值。
　　构建基于模糊神经网络(FNN)的停电事件分析模型，采用K-means聚类技术，实现可靠性指标预测评价、动态跟踪与控制、自动统计分析的停电事件分析功能。
　　经过实际应用验证，本文所建立的并行计算数据挖掘平台能实现预期的功能、获得正确的分析结果、具有较好的应用效果。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 国内外研究现状

1．2．1 数据挖掘的研究状况

1．2．2 电力数据高级应用的研究现状

1．3 研究目标与主要内容

1．4 论文的组织结构

第二章 并行计算数据挖掘平台

2．1 系统的整体架构

2．2 ETL海量电力营销数据处理

2．2．1 整体方案

2．2．2 ETL作业流程图

2．2．3 并行计算平台上传作业

2．3 海量电力数据快速检索

2．3．1 分步说明

2．3．2 服务组件

2．4 并行计算数据挖掘平台

2．5 并行计算数据挖掘平台部署

2．6 并行计算数据挖掘算法

2．6．1 并行聚类算法

2．6．2 并行分类算法

2．6．3 并行实时分群算法

2．7 并行计算数据挖掘平台监控管理

2．7．1 文件系统监控

2．7．2 任务系统监控

2．7．3 资源管理节点监控

2．7．4 名称节点监控

2．7．5 资源管理阶段监控

2．7．6 子节点监控

2．7．7 计算节点监控

2．7．8 数据节点监控

2．8 界面

2．8．1 创建方案

2．8．2 数据管理

2．8．3 运行算法

2．8．4 结果展示

2．9 本章小节

第三章 接口建设

3．1 数据说明

3．2 数据内容及更新频度

3．2．1 计量自动化系统

3．2．2 天气接口数据

3．3 对外接口

3．3．1 统一FTP

3．3．2 统一注册验证

3．3．3 统一接口调用

3．4 本章小节

第四章 数据预处理

4．2 数据预处理

4．2．1 缺失数据预处理

4．2．2 异常数据预处理

4．2．3 告警误报漏报数据预处理

4．3 本章小结

第五章 电力负荷预测研究

5．1 概述

5．2 预测模型架构

5．3 客户分群

5．3．2 数据预处理

5．3．3 聚类算法选择

5．3．4 聚类知识发现

5．4 时序预测

5．4．1 构建样本

5．4．2 自适应的时序预测方法

5．4．3 建立分群预测模型

5．4．4 建立直接预测模型

5．4．5 模型对比

5．4．6 应用验证

5．5 算法实例

5．6 本章小节

第六章 停电事件分析

6．1 停电事件判断

6．1．1 数据准备

6．1．2 判断

6．2 停电聚类分析

6．2．1 停电挖掘与分析

6．2．2 样本数据准备

6．2．3 停电特征提取

6．2．4 停电聚类分群

6．3 算法实例

6．4 本章小节

第七章 总结与展望

参考文献

致谢