Hadoop MapReduce海量数据处理方法分析与研究

摘要

近年来随着大数据的发展,我们所面临的数据除了在数量上呈现爆炸式增长,其结构和类型也越来越多样化,面对这些海量数据,在完成存储之外,挖掘出其中有价值的部分才是关键。而传统的数据计算方式已经不能满足这些要求,经过研究与实践,分布式处理方式已经被越来越多的人认可,在此基础上,MapReduce计算模型得到了广泛的应用。MapReduce是一种针对大规模集群中分布式文件进行并行处理的计算模型,本文对其工作原理和工作流程进行了分析,并以WordCount为例,阐述了MapReduce以并行方式处理问题的思路。