基于YARN高并发性的机会资源调度器的研究与实现

摘要

近年来，随着大数据应用的迅速发展，集群资源的高效管理和提高集群的吞吐量成为了提升集群性能的关键因素。在Hadoop2.0及以后的版本中，YARN成为了集群新的资源管理系统，该资源管理系统在很大程度上提升了平台任务处理性能以及资源的使用率，并且该系统可以同时兼容多种计算框架。然而，YARN在对整个Hadoop集群资源的分配中，依然存在着资源却未被充分使用的问题。由于任务请求的资源量与实际使用的资源量之间可能存在差异，任务申请了比实际需求多的资源，导致YARN资源管理器分配给任务的资源无法被充分利用。本文基于YARN现有的资源管理模式，进行了高并发性的机会资源调度器的研究。
　　本研究针对YARN的资源管理策略在资源分配上的不足，提出了一种高并发性的机会资源调度策略Ballon，方法是让集群节点配置的资源量随着节点操作系统中的实际资源利用率做出弹性的调度从而产生可供资源管理器调用的机会资源，同时Ballon资源管理器中的资源请求分类器将不同应用程序提交的资源请求分类为4种不同的类型，然后Ballon资源管理器能够利用产生的机会资源对待处理的已被分类的请求进行合理重分配，从而提高集群资源利用率并且避免或者减轻由资源弹性调度方案所产生的资源冲突，达到提高集群的并发性和吞吐量的目的。在实验集群中通过运行具有代表性的工作负载分别对部署Ballon的集群与YARN的集群进行了性能测试。通过对集群CPU、内存的使用率、集群任务的并发度及作业运行时间等参数对两种调度器进行了比较。在单任务实验中，结果表明：Ballon调度器中资源请求分类器对于MapReduce计算框架作业的体量类型的预测精度达到了0.87，充分满足了大多数体量调度算法的精度要求。相比于IO密集型应用，Ballon资源调度器对CPU密集型应用程序具有更好的提升效果。在多任务并行实验中，实验结果表明：Ballon调度器对CPU密集型应用和IO密集型的组合应用具有较优的运行效果，并且Ballon调度器平衡了集群中各项资源的使用，在一定程度上也提高了集群整体资源的利用率。总体而言，Ballon机会资源调度器有效的提升了Hadoop YARN平台的并发性，同时有效的避免和减轻了由资源弹性调度所产生的资源冲突，具有较高的实用价值。

目录

第1章 绪 论

1.1 课题背景及研究目的和意义

1.2 国内外研究现状和存在问题

1.3 本论文的主要研究内容

1.4 论文的组织结构

第2章 YARN的管理机制和调度策略分析

2.1 YARN的资源管理模式

2.2 YARN的资源模型

2.3 YARN资源调度机制

2.4 YARN的通信框架

2.5 本章小结

第3章 高并发机会资源调度器概要设计

3.1 资源调度器设计目标

3.2 调度器体量模型

3.3 Ballon调度器整体架构

3.4 调度器各模块概要设计

3.5 本章小结

第4章 高并发机会资源调度器详细设计

4.1 节点监测器NodeSigar Monitor

4.2 资源请求分类器ResourceRequest Classifier

4.3 机会资源调度器Ballon Scheduler

4.4 本章小结

第5章 系统验证

5.1 实验环境

5.2 单任务实验

5.3 多任务并行实验

5.4 本章小结

结论

参考文献

声明

致谢

简历