基于Hadoop的MapReduce作业调度系统的研究与应用

摘要

Hadoop是近几年发展起来的专为处理大数据的平台，是开源分布式数据处理框架，在处理大数据方面具有可靠性、可伸缩性、高效性、可扩展性、低成本等优点。MapReduce作为Hadoop的作业调度系统，它采用了分而治之的思想，同时采用具有开创性的设计思路来实现自身的功能，使其能处理的数据规模越来越大。虽然MapReduce在进行作业调度方面有得天独厚的优势，但仍然在作业调度过程中会存在一些性能瓶颈，例如，长作业长时间得不到执行，作业执行时间过长影响用户体验，系统资源利用率低下等缺陷。因此更具公平性和高效性的作业调度算法已然成为学术界和工业界的一个重要研究课题。
　　为了解决Hadoop作业调度系统中所产生的一些性能问题，基于作业的截止日期考虑，提出了有效序列（ES）、最有效序列（MES）产生器、MES更新器和异常处理等概念和技术，设计了基于最有效序列作业调度算法（ASAMES）。首先得出ES，然后在此基础上选择MES作为作业调度的执行策略，对新到来的作业提出了MES更新器，以此减少频繁地调用MES算法，从而避免增加系统开销负担。针对集群的异常情况考虑，MES的异常处理机制可以发现集群中节点或者作业的异常，从而能快速地做出相应的解决策略。采用收集的互联网数据作为实验数据集，对ASAMES进行系统测试。结果表明，ASAMES在作业平均完成时间、作业平均完成率和系统吞吐量等性能方面较原有系统和作业调度算法都有较大提升。
　　通过把ASAMES应用到作业调度系统中，能有效地减少作业平均执行时间和提高系统吞吐量，从而提高Hadoop平台的作业调度处理性能。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1研究背景和意义

1.2国内外研究现状

1.3主要研究内容及贡献

1.4主要章节安排

第二章 相关理论和技术

2.1 Hadoop分布式平台产生背景

2.2分布式文件系统HDFS

2.3分布式编程模型MapReduce

2.4 YARN框架

2.5本章小结

第三章 MapReduce作业调度算法研究与分析

3.1 MapReduce原生作业调度算法

3.2其他作业调度算法

3.3 TSD作业调度算法

3.4本章小结

第四章 AMES作业调度系统的设计与实现

4.1系统需求分析

4.2系统总体设计

4.3主要算法介绍与实现

4.4作业预估完成时间概述

4.5本章小结

第五章 AMES系统的测试和主要算法的实验结果分析

5.1 Hadoop实验平台搭建

5.2参数和实验性能评估

5.3实验设计与结果分析

5.4本章小结

第六章 总结与展望

6.1论文工作总结

6.2今后研究展望

参考文献

附录1 攻读硕士学位期间参加的科研项目

致谢