并行计算框架中的Reduce端自适应负载均衡方法

摘要

本发明涉及一种并行计算框架中的Reduce端自适应负载均衡方法，通过采用动态哈希函数划分方法来预测任务所输入数据的分布，并且根据所预测数据的分布特点产生一个静态哈希函数，使得在该静态哈希函数的作用下，所有数据的分发尽可能均匀地分配到各个计算节点中，进而任务调度能够根据数据分布的情况动态自适应地调整数据和计算资源的分配，减少了运算中出现的偏斜，提高了效率。