异构环境下的作业调度算法在Hadoop实现中的优化

摘要

云计算的提出是对互联网的一个冲击，它实现了计算能力的商品化，其透明性和简单的编程模式为开发者带来了更便捷的服务开发和部署方式。2009年被称为云计算元年，AmaZon、Google、IBM等诸IT巨头都把目光聚焦在云计算，将其视为未来发展的主要战略方向。因此，对云计算进行研究既迎合了IT技术的发展趋势，又具有较强的实际意义和商用价值。
　　MapReduce是一种重要的并行计算模型，可以高效的运行在包含上千个节点的数据中心。它不仅仅是编程模型，还是优秀的任务调度模型，其作业调度问题已成为业内最热烈的讨论话题之一，并成为云计算系统高效稳定运行的关键技术。在实际应用中，作业调度常常会面临节点性能异构，混合负载等情形，处理这些问题涉及到资源感知，机器学习，人工智能，和匹配算法等多方面的技术，实现起来相当复杂。目前国内外许多专家和学者就致力于异构环境下的调度技术的研究，同时也出现了各种不同的作业调度器。
　　本文对MapReduce编程模型做了深入的研究，并对Hadoop平台上常用的三种调度算法进行了全面的分析。在以上研究基础上提出了一种新的作业调度器，即基于资源感知的自适应任务调度器。针对Hadoop计算平台中集群异构性的问题，它通过资源感知监控系统中执行作业的历史信息和集群资源的状况，根据每个计算节点的处理能力合理的分配任务.并且可以自适应的负载分类，实现CPU和I/O资源的有效利用。另外利用基于deadline约束的优先级调度为不同类型的作业提供相应高水平服务，并对Hadoop原始的推测执行算法进行了改进，新的算法采用更精确的方法来判断影响系统响应时间的掉队者任务，大大的提高了掉队者任务的命中率，避免不必要的推测执行，从而有效地提高了系统的响应能力。
　　本文通过实验比较了该调度器和其他调度器的性能差异，验证了新调度器具有更好的响应时间和吞吐量，有着良好的负载均衡，并且大大提高了Hadoop系统在异构平台上的性能。