云计算在智能电网任务调度及潮流并行计算的理论与应用研究

摘要

云计算是当前电力系统领域研究的关键问题，在潮流分析时使用Spark集群做数据传输的并行计算框架已成为目前的研究热点。与传统基于硬盘的串行系统相比，使用Spark云可以缩短运算的收敛时间，对于数据密集型的任务，可以将运行速度提升数十倍。在电力系统并行计算快速发展的同时，如何提升Spark调度系统的性能和内存的利用率，保证潮流并行算法的求解效率，成为亟待解决的问题。 本文基于云计算引擎Spark，首先，研究了集群对于RDD(数据集)的使用行为，对任务筛选与分区缓存等顶层调度机制进行了优化；其次，以综合性能为目标，对系统底层计算资源的分配完成了多目标搜索；最后，提出了一种适用于分布式计算的并行潮流算法，并在Spark云实现了雅克比阵的并行更新以及修正方程的并行迭代。本文的主要贡献有： (1)通过对源码进行分析，引入Spark运算流的两个特征参数，实现了任务的动态优先级筛选；在分析和优化任务结构的基础上，结合RDD的分布式特征，包括使用次数、内存容量、访问时间等，对RDD分区缓存策略进行了优化，提高了任务在资源有限情况下的运行效率。 (2)通过分析RDD节点间的通信机制，建立了Spark运算流的分级调度策略，以实现高性能计算、降低成本、负载均衡为目标，提出了一种考虑偏好区域的多目标优化算法，经过仿真测试表明，该算法产生的综合能效均优于PSO、GA等传统算法。 (3)通过引入Neumann定理对牛拉法进行了并行改造，并在Spark上对雅克比阵的生成及修正式的求解完成了并行装配，主要包括：与稀疏矩阵相关的修正量求解，以及针对高维矩阵的分布式相乘运算。最终实现了由Spark与Hadoop组成的并行计算集群，在IEEE合成系统中验证了该算法的可行性和有效性。

目录

第一个书签之前

第一章 绪论

1.1 课题背景及研究意义

1.1.1 课题背景

1.1.2 研究意义

1.2 国内外研究现状

1.2.1 智能变电站调度平台研究现状

1.2.2 Spark云计算研究现状

1.2.3 并行潮流算法研究现状

1.3 论文主要工作

第二章 Spark基础理论及相关技术

2.1 MapReduce核心技术简述

2.1.1 分布式计算框架

2.1.2 MapReduce模型

2.1.3 MapReduce调度策略

2.2 Spark核心技术简述

2.2.1 Spark架构模式

2.2.2 Spark工作流程

2.3 智能变电站云调度系统概述

2.4 本章小结

第三章 异构环境下Spark智能调度云系统的设计与优化

3.1 概述

3.2 RDD运算流的构建与分析

3.2.1 Spark任务调度过程

3.2.2 RDD运算流图的建立

3.3 基于RDD运算流的优化策略

3.3.1 基于优先级的任务筛选策略

3.3.2 基于优先级的RDD分区缓存策略

3.4 基于RDD运算流的多目标资源调度策略的设计

3.4.1 RDD分级调度策略的制定

3.4.2 目标函数和控制变量的选择

3.5 基于Pareto的多目标调度优化算法

3.5.1 编码方式的选取

3.5.2 适用度函数的构造

3.5.3 基于偏好支配的搜索

3.5.4 种群的克隆增殖操作

3.5.5 种群修剪策略

3.5.6 MOPIA算法主流程

3.6 算法仿真及性能分析

3.6.1 实验环境介绍

3.6.2 模型参数设置

3.6.3 实验结果分析

3.7 本章小结

第四章 基于Spark云计算的电力系统并行潮流算法的设计与实现

4.1 概述

4.2 串行系统基本潮流算法

4.3 牛拉法潮流计算的并行化改造

4.4 基于Spark平台的并行潮流算法的设计与装配

4.4.1 Spark-GPU云对Jacobi矩阵的分布式更新

4.4.2 Spark-GPU云对修正方程的分布式求解

4.4.3 并行潮流计算流程图

4.5 算例仿真分析

4.5.1 Hadoop云环境的实现

4.5.2 Spark云环境的实现

4.5.3 实验测试

4.6 本章小结

第五章 总结与展望

5.1 工作总结

5.2 研究展望

参考文献

发表论文和科研情况说明

致 谢