基于动态标记优先值的MapReduce数据本地化方法

摘要

本发明提供了一种基于动态标记优先值的MapReduce数据本地化方法，包括以下步骤：将各计算节点上的本地化数据块初始化标记值为2n，计算各计算节点本地化数据块的数量；按照各计算节点的数据块数量进行升序排序；依次从数据块数量最少的计算节点开始，将每个计算节点上的数据块的后续备份数据块的标记值减去一个确定的数DecS；优先选择标记值最大的数据块进行调度；任务调度后，再次调整每个计算节点的数据块数量，并进行升序排序，排序后进行标记值调整，最终完成数据处理。本发明通过标记数据块并设置不同优先值，从而提升作业的数据本地化程度，进而提升MapReduce上作业的执行效率和减少作业的带宽占用率。