Hadoop平台下基于预释放资源列表的任务调度方法

摘要

本发明提出一种Hadoop平台下基于预释放资源列表的任务调度方法，充分利用了Hadoop记录的历史信息和集群当前状况监控信息来更好地帮助资源调度。本方法无需手动设置延迟等待时间。并通过对预释放资源列表中的资源进行预调度，解决了公平性和本地性之间的矛盾。另外，本发明提出的任务调度算法可以像延迟调度算法一样，同时应用于公平调度器和计算能力调度器。本发明的调度算法使用了预释放资源列表，通过资源列表与任务列表的匹配调度，无论在Hadoop完成时间、任务本地性，还是平均作业响应时间方面，都取得了更好的效果。