基于缓存感知和数据本地性的map任务调度方法

摘要

本发明公开了一种基于缓存感知和数据本地性的map任务调度方法，根据等待的map任务组成任务集T(n)，并申请得到资源集C(m)；根据任务集T(n)中各个map任务的优先级，得到各个Map任务在任务集T(n)的位置信息；依据各个map任务的位置信息，建立任务集T(n)与资源集C(m)的映射矩阵V；建立二分图，根据选择矩阵V确定二分图的权值，得到带权二分图；获取带权二分图的最大权匹配项，根据带权二分图最大权匹配结果，得到优化的任务调度方案。本发明充分考虑了任务调度算法中的缓存数据利用和全局数据本地性，能够较好的适用于Hadoop环境的资源调度，同时对于设计Hadoop任务调度算法也有很好的参考价值。