重複部分木情報を利用した事前圧縮を特徴とするSerDeの開発と評価

摘要

ビッグデータを扱うシステムでは，ストレージ資源の節約やI/O負荷の低減のために，Serial-izer/Deserializer(以下，"SerDe")が利用される.従来のSerDeは，木構造データをバイト配列へ直列化し，更に既存圧縮技術を適用してデータサイズを縮小する.しかし既存圧縮技術では，大きな部分木単位で重複がある場合や重複した部分木どうしが離れている場合に，その冗長性を十分に利用した圧縮を行えない.そこで我々は，部分木どうしの等値性や重複した部分木の出現回数などの情報を利用した事前圧縮を行うSerDeを開発した.重複した部分木を含む木構造データを扱う場合，従来のSerDeと既存圧縮技術の組合せよりも性能上の優位性を示すことを，その評価結果とともに述べる.