効率的な頻出データ計数アルゴリズムLossy Countingの拡張

摘要

Monitoring network traffic is important to analyze network state, so that it is necessary to observe various traffic data and then compute the data frequency counts. If we simply transact all the incoming packets, obviously huge computer resources(ex. memory, CPU) is required. Lossy Counting alogorithm can approximately compute data frequency counts over data streams with small resources. Although the algorithm is simple, it is able to compute only for data stream of fixed length (window size) "AP'that given beforehand, so that it is hard to transact continuous data after iVth. In this paper, we propose improved algorithm of Lossy Counting. We show that data frequency counts after sliding the window can be computed by using previous computation with small resources.%ネットワークの様々な状態を検出するためには，トラフィックを観測し，必要な情報を計数する必要がある．しかし，膨大な数のパケットを全て数え上げていると，メモリ量など計算機のリソースも膨大になる．Lossy Countingアルゴリズムは，あらかじめ与えた聞値以上現れるアイテムの頻度値をあらかじめ与えた誤差以内で効率よく数え上げる手法である．しかし，あらかじめ与えた固定長のデータサイズ（ウインドウサイズ）において数え上げる手法であるため，連続的に流れ続けるパケットに対して，繰り返しウインドウをずらしながら数え上げ続けるためには再びアイテム全てを数え直すなどの処理をしなければならなず，多くのリソースが必要となる．そこで，ウインドウをずらしてながらも少ないリソースでデータの頻度値を計数する手法を提案する．本論文では，それまでの以前のウインドウでの計数結果を用いて，1パスで数え上げる手法を示す．