一种基于MapReduce的非精确任务并行处理方法

摘要

一种基于MapReduce的非精确任务并行处理方法，步骤为：（1）选取M个Map子任务执行节点和一个Check节点，Check节点存储有将要执行的具有非精确计算特征的任务是否完成的判断逻辑；（2）将任务分解成N个Map子任务分配给前述M个执行节点执行；（3）每一个Map子任务执行完毕时，向Check节点发送任务执行完毕信息以及与判断逻辑相关的结果信息；（4）每收到一个Map子任务执行完毕的信息，Check节点会将它累计到之前的结果中，直至累计结果满足判断逻辑；（5）终止所有Check节点尚未接收到执行完毕信息的Map子任务，结束Map任务执行过程，同步进入Reduce子任务；（6）获取Reduce任务执行结果，整个任务执行完毕。