大規模分散システムにおける並列プログラムの通信と処理状況を同時に表示する可視化ツールの検討

摘要

大規模なクラスタ上で，大規模データを分析する並列プログラムを開発，実行させることが一般的になってきた．このような並列プログラムは，特定のサーバに処理が集中してしまったり，サーバ間の通信が特定の時間に集中してしまうなどの問題により，実行の最適化が難しい．特に，大規模なクラスタになるほど，サーバの実行状態やサーバ間の通信状態を見やすく表示することが難しく，並列プログラムの実行状態を把握すること自体が難しい·そこで，我々は，大規模なクラスタで動作する並列プログラムを対象に，サーバの実行状態やサーバ間の通信状態を同時に表示し，並列プログラム最適化を補助するツールSphereVizを提案する．本ツールは，並列プログラムの実行後，サーバからログを収集し，ログを再構成し，時間順にそれを表示する．このとき，サーバを画面上の球面に配置し，サーバ間を線で結合することにより，多数のサーバの負荷とサーバ間通信の負荷を同時に表示する．プログラマは本ツールにより並列プログラムの実行状態を検証し，必要な最適化について検討する．本稿では，SphereVizについての提案とプロトタイプの実装について述べる．さらに，簡単なMapReduceプログラムを例に，100台規模のサーバから構成されるクラスタに構築されたHadoop上でのMapReduceプログラムの最適化への適用評価について報告する．