数据局部性感知的Hadoop任务调度器

摘要

任务调度是分布式并行计算平台，如 Hadoop、Dryad等，最核心的功能。任务调度结果的优劣极大地影响着系统吞吐率、计算集群的资源利用率以及作业的性能。同时，由于计算集群的异构性、负载的动态可变性以及任务特征的多样性等原因，也使得调度问题成为了分布式集群中最困难的问题之一。本文在大量地研究了当前的分布式并行计算平台中的各种调度算法的基础上，深入研究了当前Hadoop系统中的任务调度算法的优缺点，特别针对MapReduce的资源再分配过程进行了改进和优化：
　　1）针对当前Hadoop系统在Map任务的调度时采用的基于队列的任务调度方式所存在的缺点（数据本地化程度不能达到最佳），将调度问题重新映射为一个流网络并且通过对流网络的最大流求解，以获得在节省网络开销方面更优的调度方案。
　　2）在1）的基础上对算法进一步细化和改进，考虑任务对节点的偏好度，以达到进一步降低网络开销的目的。
　　3）核心路由器的带宽往往是限制数据传输速率的最主要的因素，本文通过改进MapReduce中Reduce任务调度方式，降低了Shuffle阶段跨机架的网络数据传输量，节省了核心路由器宝贵的带宽资源。
　　最后，通过实际的Hadoop实验环境对本文所提出的调度模型和算法的有效性与高效性进行了验证。实验结果表明，该算法在降低 MapReduce应用的网络数据传输量方面表现优异。