一种MapReduce系统中的数据采样和划分方法

摘要

本发明涉及一种MapReduce系统中的数据采样和划分方法，其步骤包括：1）客户端向MapReduce系统中提交任务请求，所述MapReduce系统中的主控节点将Map任务划分成采样和普通任务，所述主控节点Master将采样任务优先下发到各个分节点Worker进行执行；2）根据各个分节点Worker上的Map采样任务筛选出样本集合，并将样本上传至主控节点Master进行合并；3）所述主控节点Master根据Map采样任务结果得到Reduce任务工作量，对Reduce任务划分键值区间，实现负载均衡，完成采样和划分。在存在数据倾斜的应用场景下，本发明可以较大幅度地提高整个MapReduce任务的执行效率，本发明的数据采样和划分算法对于原有MapReduce系统带来的额外开销较小，在数据分布比较均匀的应用场景下基本上不影响原系统的执行效率。