ストリームデータ処理におけるデータベースアーカイブ処理高速化の提案と評価

摘要

RFIDやセンサデータなど高いレートで生成されるデータを継続的にリアルタイム処理するストリームデータ処理が重要性を増している．ストリームデータ処理システムでは，データの永続化を行わないため，事後解析やロギングのためのDBアーカイブも必須である．しかしながら，DBアーカイブはコミット処理や通信による遅延が発生するため，アーカイブ処理によりリアルタイム処理性能も低下する問題があった．本稿では，DBアーカイブ高速化手法である非同期バルクストア，および処理性能を維持しつつも処理結果がDBに格納されていることを保証するアーカイブバッファ同期バルクストアを提案した．プロトタイプシステムによる評価の結果，アーカイブ処理性能がリアルタイム処理出力量を下回るDB限界に達する以前では，アーカイブバッファ同期バルクストアは，アーカイブしない場合と比較し，スループットが最大5.4％減，レイテンシが最大200ミリ秒以内となり，リアルタイム処理性能を維持可能であることを示した．さらに，提案手法を組み込hだスマートシェルフシステムを構築し，高速化の効果を確認した．