MapReduce における Shuffle の性能解析

摘要

本研究では MapReduce におけるshuffle の性能に関して，ネットワーク I／O とディスク I／O の 2 つの観点から詳細な解析を行う．解析対象として現在一般に幅広く用いられている in-memory MapReduce 処理系であるApache Spark を採用し，Spark 1.6.2 の提供する 2 種類の shuffle 実装（Sort-based Shuffle，Hash-based Shuffle）に関して性能検証及び比較を行う．検証の結果，ネットワーク I／O に関しては 2 つの shuffle 実装の間で大きな差は見られず，ディスク I／O に関しては Hash-based Shuffle の方が頻繁にディスクへのアクセスを行っているものの，最終的な実行時間に関しては Hash-based Shuffle の方が Sort-based Shuffle に対して有利になるという結果となった．