基于Spark的粒子群算法并行编程及其在水库调度中的应用

摘要

黑河流域水资源数据量庞大，数据关系复杂，应用常规技术进行优化调度难度较大。本文针对黑河流域当前存在的水资源调度问题，应用大数据处理与进化计算技术，基于大数据计算框架Spark与并行化的粒子群算法，研究开发了黑河流域水库群多目标优化调度系统。
　　在研究开发过程中，作者分析了黑河流域水资源优化调度系统多个目标的特点，将多个目标转化成单个目标，得到该问题的求解模型。接着研究了并行算法编程模型、用于优化问题求解的粒子群算法及其并行化策略，以及基于Spark大数据计算框架的粒子群算法并行化方法。
　　在理论与技术研究的基础上，以Hadoop2.7.1、Sparkl.5.2、Spark on Yarn软件为基础，搭建了大数据支持平台；在该平台的分布式文件系统HDFS中存储了获取的黑河流域水资源数据。接着在Ubuntu Linux操作系统环境、 Spark平台下，应用Scala语言开发了基于粒子群算法的水库群多目标优化调度并行程序，实现了可处理水库调度大数据、可高速运行调度优化程序的水库群多目标优化调度系统。
　　本调度系统的数据载入、程序运行、结果查询等操作都是在Ubimtu Linux操作系统与 Spark平台、界面下进行，对于不熟悉Spark运行机制的普通使用者来说，使用困难极大。为了解决此问题，还开发了一个水库群多目标优化调度系统应用平台，实现了大数据的上传、下载、删除、查询，以及需要Spark大数据平台处理的应用程序任务的提交运行和SQL查询等功能。
　　本课题的研究开发工作，将为水资源优化调度系统的高效运行起到积极的促进作用，对于基于Spark平台的大数据并行编程的发展与应用也有很好的参考价值。

目录

声明

1 绪论

1.1 课题背景和意义

1.2 相关技术国内外研究现状

1.3 研究内容

1.4 论文组织结构

2 相关技术与基本理论

2.1 Spark相关技术

2.2 算法并行化技术

3 黑河流域水库群多目标优化调度分析

3.1 水库群多目标优化调度简介

3.2 黑河流域水资源问题分析

3.3 黑河流域水库群调度多目标优化调度问题的转化

4.1 粒子群算法并行性分析

4.2 基于Spark的粒子群算法并行化实现

4.3 基于Spark的水库群优化调度系统环境搭建与数据存储

4.4 水库群多目标优化调度系统运行结果

4.5 水库群多目标优化调度系统性能测试

5 基于Spark的水库群多目标优化调度系统应用平台开发

5.1 应用平台需求概述

5.2 应用平台设计

5.3 应用平台典型界面展示

6.1 总结

6.2 展望

致谢

参考文献