Cell Broadband Engine クラスタ向けスレッド仮想化環境におけるMapReduceフレームワークの実装と評価

摘要

近年,高い演算処理性能を達成するために,Cell Broadband Engine（Cell／B.E.）やGraphic Processing Unit（GPU）などの非対称型マルチコアプロセッサがクラスタシステムに用いられている．しかし，プログラム開発の際には,コンピュータ間通信とコア間通信の両方を記述する必要があり，複雑なプログラミングモデルとなる問題点がある．本研究はCell／B.E.クラスタ向けのプログラム開発支援を目的として，スレッド仮想化環境（TVE）とTVEを用いたMapReduceフレームワークを実装・評価する．TVEはプログラマからコンピュータ間通信を隠蔽するフレームワークである．TVEを用いたMapReduceフレームワークにより，プログラマからコンピュータ間通信とコア開通倍を隠蔽し，Cell／B.E.クラスタ上での容易なプログラム開発を支援する．プログラヤビリティの観点では，既存のCell／B.E.クラスタ向けMapReduceフレームワークと比較して，平均33％のコード削減を達成した．性能評価の観点では，通信回数が多いプログラムでは期待する性能が得られなかったが，通信回数が少ないプログラムでは台数効果を得ることができた．%Recently heterogeneous multi-core processors such as Cell Broadband Engine(Cell/B.E.) are introduced into cluster systems. In a case of introducing such processors, programmers have to write both inter-computer and inter-core communication statements. In this report, we implemented Thread Virtualization Environment(TVE) and MapReduce framework with TVE. TVE hides inter-computer communication from programmers. MapReduce hides inter-computer and inter-core communication from programmers. MapReduce with TVE can reduce the amount of programs by about 33% than a conventional MapReduce framework for Cell/B.E. clusters. We found that less communication-intensive program is able to be scaled depending on the number of computers, but communication-intensive program is hard to avoid increase of the execution time.