云计算环境下基于优先级与可靠度的Hadoop作业调度研究

摘要

近年来，云计算因其高性能、高可靠、可扩展等特点在海量数据计算中得到了广泛应用。在信息技术飞速发展的条件下，海量数据处理成为计算机科学领域的新挑战。MapReduce作为一种新兴的分布式计算模型，它的主要特点在于封装开发传统并行分布式程序的细节，实现业务逻辑程序的编写与分布式实现细节的分离。Hadoop作为MapReduce计算模型的开源实现，得到了各界的广泛关注，Hadoop调度算法主要克服的是集群资源利用率，用户作业的运行时间等难题。云环境下Hadoop作业调度的研究给学术界和工业界带来了新的挑战。改进和提高作业调度能力，对提高Hadoop的性能和资源利用率具有重要意义。
　　 首先，介绍了云计算的概念以及体系结构，对开源平台Hadoop中的MapReduce编程模型和分布式文件系统HDFS(Hadoop Distributed File System)进行了深入研究，详细分析了Hadoop作业运行时机制以及现有的调度算法。
　　 其次，针对基于优先级的加权轮转调度算法没有考虑系统负载水平，同时不能充分利用异构集群中计算节点的处理能力的问题，提出了一种改进的优先级调度算法(Priority Based Multi Scale，PBMC)，PBMC算法对集群中的计算节点的计算能力进行判断，并按照计算能力的不同进行排序，考虑系统整体的负载水平，在保证系统整体负载处于合理状态时，将优先级较高作业中的任务分配给计算能力好的节点。实验结果表明PBMC算法充分考虑了集群中节点性能的不同，减少了集群作业的完成时间，进一步提高了集群资源的利用率。
　　 最后，通过对云计算的开源平台Hadoop调度算法进行深入研究，针对用户提交服务的随机性、趋同性以及云计算系统的可靠性和集群资源的利用率的问题，利用排队模型建立云计算系统模型，采用集群中节点负载值来划分计算节点的可靠度。在对节点可靠性分类的基础上，提出了一种基于计算节点可靠度的Hadoop作业调度算法（Job Scheduling Based on Node Reliability，JSBNR）。JSBNR提出了一种计算节点可靠度评估模型，进而推出节点与任务的匹配方法。通过实验表明JSBNR提高了集群的可靠性以及资源的利用率，同时，具有良好的可扩展性能。

目录

声明

摘要

插图索引

附表索引

第1章 绪论

1．1 研究背景及意义

1．2 研究现状

1．3 本文研究工作

1．4 本文组织结构

第2章 相关研究

2．1 云计算及MapReduce模型

2．1．1 云计算概念

2．1．2 云计算特点

2．1．3 MapReduce模型基本概念

2．1．4 MapReduce模型实现框架

2．2 Hadoop平台分析

2．2．1 Hadoop概述

2．2．2 Hadoop的生态系统

2．2．3 Hadoop的文件系统HDFS

2．2．4 MapReduce作业在Hadoop中的运行流程

2．3 Hadoop调度算法研究

2．3．1 作业调度概述

2．3．2 FIFO调度算法

2．3．3 公平份额调度算法

2．3．4 计算能力调度算法

2．4 小结

第3章 基于优先级的多尺度Hadoop作业调度

3．1 优先级与轮转调度

3．2 多尺度模型

3．3 基于多尺度模型的作业调度算法

3．4 实验评价

3．4．1 实验平台

3．4．2 评价指标

3．4．3 作业完成时间评价

3．4．4 吞吐率评价

3．5 小结

第4章 基于节点可靠度的Hadoop作业调度

4．1 排队论和节点可靠度

4．1．1 排队论的概念

4．1．2 排队模型的符号表示

4．1．3 节点可靠度

4．2 节点可靠度调度模型

4．2．1 产生背景

4．2．2 模型定义

4．3 基于节点可靠度的Hadoop作业调度算法

4．3．1 算法设计

4．3．2 算法流程

4．4 实验评价

4．4．1 动态负载权值对比

4．4．2 评价指标

4．4．3 负载均衡评价

4．4．4 可扩展性评价

4．4．5 可靠性评价

4．5 小结

结论

参考文献

附录A (攻读硕士学位期间发表的学术论文)

附录B (攻读硕士学位期间参与的科研项目)

致谢