通过HiBench基准测试比较Hadoop与Spark的性能

摘要

Hadoop MapReduce和Apache Spark都适用在大型集群上以并行和分布式模式有效地处理大量数据.为了比较这两个框架的性能,作者使用HiBench基准套件基于执行时间和内存消耗两个标准进行测试.测试结果表明,这些框架的性能根据用例实现的不同而有很大差异.从而可以得出结论:在一般情况下,Spark能够比Hadoop更有效地处理大量数据.但是,因为Spark要将待处理数据加载到内存中,并在缓存中保留一段时间,所以Spark需要更高的内存占用.