計算サーバ間相互接続網の構造がMapReduce 処理のシャッフル完了時間に与える影響について

摘要

データセンターにおける代表的な分散処理機構であるMapReduce 処理では，シャッフルと呼ばれる大量のデータ転送が計算サーバ間で行われる.本稿では，計算サーバ間を相互接続するネットワークの構造がMapReduce 処理におけるシャッフルの完了時間にどのような影響を与えるかについて考察する.特に本稿では，代表的なネットワーク構造として単純木構造とFat-Tree 構造を取り上げ，理論的な検討並びにシミュレーション実験を併用して，相互接続網の構造がシャッフルの完了時間に与える影響について考察する.%MapReduce processing, a typical distributed processing scheme in data centers, includes shuffle operation, where a massive amount of data are transferred between computation servers. In this article, we investigate the impact of the interconnection network structure on the shuffle completion time. For this purpose, we consider a simple tree structure and fat-tree strucure, and investigate their impact on the shuffle completion time through theoretical examination and simulation experiments.