基于MapReduce框架的编码分布式计算方法

摘要

本发明公开一种基于MapReduce框架的编码分布式计算方法，通过将N个输入文件分成若干份，并将其分别存储到不同的分布式计算节点上；然后，在进行输出函数分配时，为每个分布式计算节点设计了新的输出函数集Wk，这样大大降低了所需输出函数的数量。最后，通过随机选择的方式，每个分布式计算节点再从其他分布式计算节点中获得其未存储输入文件的中间值，即可得到所有输入文件的中间值，并利用所有输入文件的中间值去计算所分配的输出函数，完成分布式计算任务。通过新的文件分配和函数分配方式，使其在牺牲少量通信负载的前提下减少实际所需的输入文件数量和输出函数数量，从而可以更好的解决实际问题，即在实际中得到广泛应用。