Hadoopクラスタの構築と運用

摘要

We are developing and studying the new application platform on a mobile network. In this platform, we construct and maintain a large Hadoop cluster that consists of 1012 commodity servers. This cluster is located on a remote data center and is in unattended operation. In this article we describe the design of this cluster and the conclusion of operation.%大規模なデータを解析し、その結果をもとに新たなサービスを開発、実行するためのプラットフォームTitanium(Telecommuncation and InformaTion ApplicatioN platform In a Ultimate Mobile network)の研究開発を行っている。本ブラットフォームにおける大規模データの処理基盤として、1012台のサーバによる大規模クラスタの上にHadoopの実行環境を構築し、運用を行ってきた。本癀境は、遠隔地に構築され、通常は無人で運用を行っていて、オープンソースソフトウェアを活用した監視、操作、構築のシステムにより、少ない要員で保守運用を行ってきた。本稿では、大規模クラスタであるHadoop環境の設計と構築について述べ、保守運用の結果について述べる。