大規模データ処理に対するOSS Hadoopの活用

摘要

近年、ネット企業を中心に「ビッグデータ」に対する処理技術の開発が進められてきました。Apache Hadoopはそれらの技術を基に、ペタバイト級の巨大データの蓄積とそれに対する分散処理をスケールアウトで実現するOSSとして注目を集めています。NECでは、Apache Hadoopについて検証を行い、その特性に合わせた構築を行っています。また一般に難しいといわれるApache Hadoopのサイジングについて、シミュレーション技術により予測可能とする技術を開発しており、その内容についても紹介します。