分布式并行计算系统的数据分配方法及系统

摘要

本发明公开了一种分布式并行计算系统的数据分配方法，该方法包括：估算输入数据集中的各个聚类的占用空间；根据所述输入数据集的各个聚类的占用空间以及预设的各个数据块的剩余空间，建立各个聚类以及存储所述聚类的各个数据块的对应关系；根据各个聚类以及存储所述聚类的各个数据块的对应关系，将各个所述聚类存储于对应的数据块中。本发明还公开了一种分布式并行计算系统的数据分配系统。本发明提出的分布式并行计算系统的数据分配方法及系统可以平衡reduce任务的负载，从而提高作业执行的效率，减少时间的损耗。