基于Hadoop平台的作业调度算法研究

摘要

爆炸式增长的数据要求高效率地使用计算资源,Hadoop是解决大数据处理的一个方向,不过Hadoop平台还处于发展中,很多地方还有待完善.对Hadoop自带的三种调度器的优缺点进行分析,针对希望区分和动态改变作业服务质量的情况提出了动态优先调度算法.实验结果表明动态优先调度算法能够在作业的运行中动态改变作业的优先级,在效率上也有所提升.