広域アプリケーションレイヤネットワーク観測解析のための大規模クラスタの構築－クラウドの要素技術とテストベッドの特長の検討

摘要

ここ数年、WEBやP2P上にSNSなどのアプリケーションが構築されるに伴い、広域大規模なトラフィックを処理するケースが増加している。これらのアプリケーションレイヤで構築されるネットワークを扱うため際に、大規模データと、加えて複雑な文字列解析を行う必要が生じている。これらの新しいネットワーク観測·解析問題を解決するために、JGN-X上に多数のノードを仮想化し集約することで大規模なトラフィックデータを格納転送可能にし、HDFS上にスケールアウト可能な解析系クラスタをstarBED上に構築し、頻度集計やノード規模測定などの解析を行う。HDFS上にMap Reduceを基本フレームワークとする分散key value store型のデータ処理機構を構築する場合、クラスタは同期やスケジューリングなどを行うname nodeと、並列分散処理を行うdata nodeに分けられ、Data nodeのスケールアウトは高い効果をやたらす。また観測解析には巨大データの頻繁な移動が必要であり、広域高帯域なJGN-Xが高い効果をもたらす。また、StarBEDでは数十台～数百台規模のサーバの設定が可能であり、従来のクラスタ構築処理環境では不可能なデータ処理速度を達成することを検証する。