智能电网大数据流的快速分发与任务调度方法研究

摘要

随着智能电网的逐步发展和建设，电力系统信息化的程度也在不断提高，电力数据的种类和规模也在不断的增大，而规模庞大的数据流也对数据处理也提出了更高的要求。云计算与大数据技术为处理智能电网大数据流提供了技术基础。在云计算集群环境下，通过将分布于不同地域的服务器整合形成整体系统的方法，提供更好的计算性能，但是面对规模和体量庞大的数据流时，尤其在突发情况下，如报警、异常等发生时依然存在较大处理压力，所以在集群环境下进行数据处理任务的快速分发与任务调度，可以分散集群的处理压力，更好的利用云计算集群的各类资源。 本文以智能电网大规模数据流如何快速可靠的在云计算集群内进行处理分发作为主要研究内容，研究了数据流处理和处理任务调度分发的现状，并分析了目前大数据流处理存在的问题。文中首先建立云集群的分层模型，再由该模型进行集群的管理，平衡各子集群的计算负载。随后提出数据处理任务调度分发机制与调度节点的选择算法，可以有效的利用集群的基础资源，平衡各节点的计算负载。 文中对云集群建立分层模型，将云集群划分为多层次多区域，然后再由中枢节点控制各子区域形成全局域，实现子区域与全局区域的双重负载平衡策略，有效统合局部与全局资源。各区域通过选举推选区域内的调度控制节点，记录并维持区域内节点的资源状况，若该节点失效，则立即选举新的控制节点，并向其推送节点资源信息。在该模型之上，提出基于多队列动态优先级调度算法（DPCS）和节点选择算法（NRPS）的处理任务调度及分发方法。该方法通过各集群节点，将接收到数据进行分析，再由节点根据自身负载和资源状态，选择部分处理任务进行调度，调度目标节点由节点选择算法进行筛选。数据处理任务的调度首先在各区域进行，在区域整体负载较高时，则选择其他较优的区域进行迁移调度。数据处理任务的调度也会根据数据内容的区别产生相应的调整，保障重要数据的可靠处理与及时分发。 针对大规模数据流处理任务的调度与分发，在文中实验部分进行了实验对比和验证。在目的调度节点选择实验中，与最小负载优先调度算法进行对比，引入负载均离差衡量各节点之间负载的平衡状态，结果表明，使用该方法可以有效分散节点的负载。在调度及分发实验中，分别与EDF、HVF和DVD算法比较，从实验结果可以得出，该方法在任务完成率以及完成时间方面有比较明显的提升。

目录

第一个书签之前

摘要

Abstract

第1章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状及发展动态

1.2.1 大数据流式处理研究现状

1.2.2 数据处理任务调度与分发机制

1.3 本文研究内容

1.4 论文结构

第2章 电力云计算集群分层模型的设计

2.1 云计算集群技术

2.2 电力云计算集群分层设计

2.2.1 云计算集群分层模型的原理

2.2.2 云计算集群节点模型

2.2.3 集群分层与节点模型结构

2.2.4 集群分层模型设计与控制节点模型的特点

2.3 本章小结

第3章 电力云集群调度目标节点的选择与负载均衡

3.1 云计算集群节点状态参量模型

3.2 云集群调度目标节点的选择算法与负载均衡

3.2.1 电网大数据流处理任务调度与负载均衡技术

3.2.2 云集群区域最优调度目的节点选择

3.2.3 云集群同层最优调度目的区域选择

3.2.4 云集群调度目的节点选择流程

3.3 本章小结

第4章 电网大数据流的分发与任务调度算法

4.1 智能电网大数据流处理任务的分类

4.2 电网大数据流的处理任务调度优先级设计

4.2.1 数据流处理任务的价值特征模型

4.2.2 数据流处理任务的时间特征模型

4.2.3 处理任务优先级的动态分配策略

4.2.4 处理任务优先级的动态变化分析

4.3 电网大数据流处理任务调度算法

4.4 电网大数据流处理任务的分发机制

4.5 本章小结

第5章 实验测试与结果分析

5.1 实验环境的配置与搭建

5.1.1 集群环境以及硬件配置

5.1.2 实验环境的搭建

5.2 实验数据与测试指标

5.3 实验过程与结果分析

5.3.1 处理任务调度算法的性能对比测试

5.3.2 集群负载均衡算法的对比测试

5.3.3 云集群分层处理模型的性能测试

5.4 本章小结

第6章 总结与展望

参考文献

攻读硕士学位期间发表的论文及其他成果

致谢