多核MapReduce编程模型的性能分析

摘要

MapReduce是云计算时代广泛使用的并行编程模型.Hadoop版本的MapReduce编程模型无法高效地使用多核处理器的计算能力,因此斯坦福大学研制了面向多核处理器的MapReduce库Phoenix.本文针对Phoenix2进行了深入剖析,并以WordCount为例,进行了详细的性能测试,并与Pthread直接编写的并行程序、Hadoop版本的MapReduce编程模型进行了对比测试.同时,还在Intel处理器平台和飞腾处理器平台上对MapReduce的性能进行了初步测试.本文给出了详细的实验结果和分析,以指导将来多核MapReduce的优化.