一种基于MapReduce模型的分布式并行计算编程系统

摘要

本发明提供了一种基于MapReduce模型的分布式并行计算编程系统，包括Map模块、Reduce模块、任务调度模块、任务追踪模块、输入模块、输出模块和中转模块，输入模块用于输入待处理文件，任务调度模块用于将任务分配给Map模块，Map模块和Reduce模块均用于执行任务，Map模块执行的为一级任务，Reduce模块执行的为二级任务，任务追踪模块用于追踪一级任务的完成情况，输出模块用于输出Reduce模块的执行结果，中转模块用于将Map模块的执行结果发送至Reduce模块。该系统通过对在Map模块与Reduce模块之间的数据传输进行优化，提高了整个系统的计算处理效率。