Hama中满足公平性和负载均衡资源调度器的研究及实现

摘要

随着移动互联时代、物联网时代的到来，数据量成爆炸式地增长。各种大数据处理技术也得到广泛应用，其中最为著名的是 Hadoop平台。Hadoop能够快速高效的处理一些大数据问题，并且提供了简单的编程接口，使用户可以方便快速的进行大数据应用程序的开发。但是由于Hadoop中Map Red uce计算模型的限制，使得它在处理图计算、机器学习等问题时表现不佳。因此，Google实现了基于BSP计算模型的Prege l图并行计算框架来处理网页排序、最短路径、k-mea ns聚类等问题。随后Apac he也实现了Pre ge l的开源版本——Ha ma并行计算框架。P re ge l和Ha ma在处理迭代算法时，性能远远高于 Hadoop。资源调度作为 Ha ma中的核心模块，目前只提供了一个简单的FCFS资源调度器。FCFS资源调度器实现简单，但是它不能满足多个用户公平共享集群资源的需求，而且其在资源利用率、负载均衡等方面也存在缺陷。
　　本文的目的就是设计并实现一个满足公平性和负载均衡的Ha ma资源调度器，来弥补FCFS资源调度器的上述不足。首先，本文Hadoo p平台的关键技术HDFS和 MapRed uce、BSP计算模型、Pre ge l图并行计算框架进行研究。然后，本文对Ha ma并行计算框架进行深入研究，主要包括：Ha ma系统架构和软件架构、BSP计算引擎、Hama作业运行原理和 FCFS资源调度器。最后，本文研究了Hadoop平台中的四种资源调度器：FIFO调度器、公平调度器、计算能力调度器、应用于实时作业的deadline调度器。
　　在上面研究的基础上，本文将给出满足公平性和负载均衡的Ha ma资源调度器的设计思想和具体实现，重点介绍Ha ma集群资源的管理模型、资源的公平分配策略、作业的公平调度策略、任务分配时的负载均衡策略。最后，通过实验对我们设计实现的资源调度器进行了功能和性能上的测试。并且实验证明了该资源调度器可以满足多个用户公平共享 Ha ma集群资源，不同用户的作业可以得到公平调度，通过负载均衡策略提升了作业的执行效率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1. 1课题的背景与意义

1. 2课题研究现状

1. 3课题主要研究内容

1. 4本论文的结构安排

第二章 Hama并行计算框架及相关技术研究

2.1 Hadoop平台技术

2.2 BSP计算模型

2.3 Pregel图并行计算框架

2. 4 Hama并行计算框架

2. 5本章小结

第三章 Hadoop及Hama资源调度器研究

3.1 Hadoop资源调度器

3.2 Hama FCFS资源调度器

3. 3本章小结

第四章 满足公平性和负载均衡资源调度器的设计

4. 1 Hama作业类型

4. 2设计目标

4. 3资源表示模型

4. 4资源调度策略设计

4. 5资源调度器配置

4. 6资源调度器工作流程

4. 7本章小结

第五章 满足公平性和负载均衡资源调度器的实现

5. 1实现概述

5. 2具体实现

5. 3本章小结

第六章 实验验证

6. 1实验环境

6. 2实验目的

6. 3功能测试

6. 4性能测试

6. 5本章小结

第七章 全文总结与展望

7. 1全文总结

7. 2后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果