一种处理大数据平台YARN数据分配不均衡的方法

摘要

本发明实施例公开了一种处理大数据平台YARN数据分配不均衡的方法与装置，涉及集群资源调度、负载均衡领域。随着大规模的MapReduce集群广泛地用于大数据处理，当前主要问题之一是如何最大限度地减少其工作时间，提高MapReduce作业的服务效率；在MapReduce过去的研究当中，较少的涉及到数据均衡相关问题，本发明针对MapReduce运行流程中常常会出现的数据倾斜问题，提出了YarnTune的解决方法，所述方法包括步骤：倾斜检测(Skew detection)以用来确定哪个任务在执行过程中发生倾斜现象；接着主节点要求短腿型任务停止运行；然后采用本地扫描或者并行扫描的方法来划分间隔大小；最后对划分出的以间隔为单位的未完成任务进行重新分配，直到所有任务处理完毕。