MapReduce编程模型中key值二次分类算法

摘要

MapReduce编程模型是分布式计算中最常用的编程模型,其主要目的是将单个巨大计算任务分割成多个小计算任务,并分别交由不同的计算机去处理.MapReduce将任务分成map阶段和reduce阶段,每个阶段都是用key/value键值对作为输入和输出.针对MapReduce中Map数量少,Reduce数量多的情况,文章将Map阶段任务中的Key值进行二次划分,提出一种MapReduce编程模型中Key二次分类的方法.实验,证明该方法能够在原有基础上提高数据处理效率.