複数FPGAボードを用いたビッグデータ分割処理の高速化

摘要

インターネットの普及とセンサ技術の発達により，人々が扱うデータはビッグデータと呼ばれるような増大と多様化が進んでいる．ビッグデータの解析には分散システムが使用されるが，その計算時間はデータの配置に大きな影響を受ける．データの分散に要するプロセッサおよびネットワークの負荷は高く，計算機システム全体のパフォーマンスを制約してしまう．そこで我々の研究グループは，データの分散に要する計算と通信をストレージとネットワークを密結合するFPGA上の専用ハードウェアにオフロードする仕組みを提案する．本研究報告ではケーススタディとして，生命科学における配列類似性検索を対象に塩基配列データベースを分散配置するハードウェアを実装し，評価した結果について議論する．est_humanデータベースを対象に評価した結果，ソフトウェアによる同様の処理であるmpiBLASTでのデータ分散と比較して，プロセッサとネットワークの負荷を低く維持したまま，約24～27倍の高速化を確認した．