LHD大容量データの遠隔レプリケーション－MMCFTPとパイプライン化レプリケーションによる145TBデータの4Gbps移送

摘要

先端科学技術分野で国際共有される大容量データは，多数の小さなファイルで構成されることが多い.小さなファイルのままファイル転送を多数回行うと，転送効率が低い.アーカイブ化してからファイル転送すると，転送効率は上がるものの，アーカイブ生成·解凍の時間が余計に掛る，アーカイブファイルを置くストレージ領域が別途必要，との課題がある.NIFSの大型プラズマ装置LHDの計測データをITER遠隔実験センターに遠隔複製する実験でも，この点が課題であった.そこで，転送対象データ約145TBをLHD実験番号に基づき約13000に分割し，アーカイブ生成とファイル転送をパイプライン処理した.アーカイブ生成と転送が並列に行われるので，アーカイブ化時間はスループットには影響しない.また，転送終了次第アーカイブファイルは消去するので，大きなストレージは必要ない.このストレージには，読み書き同時で転送速度の2倍の負荷が掛かり，転送性能のボトルネックに成りやすい.現在では，高速レプリケーションの主制約はストレージ性能に有り，通信距離には無い.