基于流水线多线程的MapReduce任务并行化方法

摘要

本发明提出了一种基于流水线多线程的MapReduce任务并行化方法，将MapReduce任务的计算过程划分为具有一定依赖关系的子任务，以此能够将节点内串行的MapReduce任务并行化为流水线多线程MapReduce任务，从而充分利用多核节点丰富的硬件资源提高大数据处理性能。