ネットワーク連携型タスクスケジューリングによるHadoop性能の改善

摘要

大規模データの分散処理に用いられるHadoopではMapReduce処理により分散処理を実現している。MapReduceではシャッフルと呼ばれる大量のデータ転送を伴う処理が発生するが、現在のHadoopのタスクスケジュール方式はこれを考慮せずにタスクの割当てを行っているため、ネットワークにボトルネックが発生するとジョブ処理が遅延する場合がある。本論文ではHadoopのデータの流れを調査し、タスク割当ての際に各ノードのデータ転送量を観測しこれによりタスクスケジュールを行うスケジューラを提案し、実機環境で評価を行う。