异构环境下自适应的Map-Reduce调度

摘要

本文针对Hadoop自带的Map-Reduce调度器和LATE调度器的不足,提出了自适应的Map-Reduce调度方式.通过历史信息动态调整Map和Reduce任务各阶段的时间比例,以找出真正需要启动备份任务的任务.并将节点进一步分类,在快速节点上启动落后任务的备份任务,从而减小响应时间,并尽量避免节点空载,以免浪费系统资源.最后通过具体实验验证了自适应的Map-Reduce调度的有效性,从历史信息中学习的方式在实验中能减少15%左右的响应时间,综合各种技术,能够减少25%左右的响应时间.