智能电网中大数据可视化技术的研究

摘要

随着人工智能和大数据相关技术的快速发展，国家电网进入了智能化时代。数据量呈几何增长，如何处理这些数据，已经成为智能电网发展的一个挑战，大数据相关技术和可视化相关技术的发展为电网数据数据带来了新的机会。在当下的大数据技术中，Spark平台相比Hadoop平台更加优异，工作负载性能、RDD数据集的高速计算能力在海量的电网数据处理中都表现出极大的优势，Zepelin框架提供了可视化平台，在Zepelin框架下运行Spark平台实现数据可视化，最后将用户用电数据进行可视化。 本文将Zepelin框架和Spark平台相结合，根据电网数据的实际需求，对传统K-means聚类算法进行改进，并将改进算法应用到Spark平台上，实现对电网数据的预处理；然后对传统的Radviz模型进行改进，并将改进的Radviz模型运用到Zepelin框架下，实现对电网数据的可视化。本文主要完成了以下三方面工作：第一，研究传统K-means聚类算法，针对传统算法的不足，给出一种基于聚类有效函数的K-means聚类改进算法，并验证了新的有效函数的可行性；第二，研究Radviz技术，根据传统Radviz模型的不足对其进行改进，给出一种新的Radviz模型，减少了数据之间的遮盖度，提高了可视化结果的准确性，并通过实验验证了改进Radviz技术的准确性；第三，搭建Spark平台和Zepelin框架，然后将两者结合，将改进K-means聚类算法应用到Spark平台实现对电网大数据的预处理，将改进Radviz技术应用到Zepelin框架下，实现对电网数据的可视化，最后根据电网数据可视化效果图验证了改进可视化技术的准确性。

目录

第一个书签之前

摘要

Abstract

第1章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1 可视化技术的研究现状

1.2.2 智能电网的研究现状

1.3 本文主要研究内容

1.4 本文章节安排

第2章 大数据关键技术及可视化技术研究

2.1 Zeppelin

2.2 Spark

2.3 RDD结构

2.4 K-means聚类算法

2.5 可视化技术

2.5.1 科学可视化

2.5.2 信息可视化

2.5.3 知识可视化

2.5.4 思维可视化

2.5.5 数据可视化

2.6 本章小结

第3章 基于K-means聚类算法的数据预处理研究

3.1 K-means聚类算法

3.1.1 K-meas聚类算法基本思想

3.1.2 K-means聚类算法的步骤和流程

3.1.3 K-means聚类算法的优缺点

3.2 基于聚类有效函数的K-means聚类算法的实现

3.2.1 初始中心点算法的改进

3.2.2 K值算法的改进

3.3 实验验证与分析

3.3.1 聚类有效函数的验证与分析

3.3.2 改进K-means聚类算法的验证与分析

3.4 本章小结

第4章 基于Radviz的可视化算法研究

4.1 Radviz技术

4.2 传统Radviz的实现原理

4.2.1 传统Radviz模型

4.3 Radviz技术的改进

4.3.1 改进的Radviz模型

4.3.2 改进Radviz算法的实现

4.4 实验验证与分析

4.5 本章小结

第5章 智能电网中大数据可视化的实现

5.1 实验平台的搭建

5.1.1 系统运行环境

5.1.2 Spark平台搭建

5.2 Spark平台数据处理过程

5.2.1 Spark Streaming实时计算框架

5.2.2 RDD计算过程

5.3 智能电网中大数据可视化的实现

5.3.1 数据来源

5.3.2 数据聚类

5.3.3 数据可视化

5.4 结果分析

5.5 本章小结

第6章 结论与展望

6.1 结论

6.2 展望

参考文献

攻读硕士学位期间发表的论文及其他研究成果

致谢