一种基于管道通信的MapReduce编程框架运算方法

摘要

本发明公开一种基于管道通信的MapReduce编程框架运算方法，该方法在Map任务和Reduce任务之间实现管道通信，避免将中间结果写入分布式文件系统，并使Map任务和Reduce任务并行化执行；该方法还提供了容错策略，Reduce任务将收到的数据存储到临时缓冲区，Map任务失败时，忽略它从管道发来的所有数据；Map任务将其发出去的数据暂时保存，Reduce任务失败时，将这些数据重新发送给复制的Reduce任务。本发明成果能节省布式文件系统的维护代价，大幅度缩短作业的执行时间，且具备健壮的容错性。