連続型HMMを用いたテキストセグメンテーション

摘要

A text segmentation method via continuous HMM is shown in this paper. In general, an HMM has output symbols of vocublary, i.e. one word will be output by one step. In contrast, our method uses an HMM whose output symbol is a vector of word counts. The vector corresponds to a sliding window on a text. We evaluate this HMM, then we confirmed that our method has higher performance than a general case HMM.%連続型HMMによるテキストセグメンテーション手法を示す．一般にHMMによるテキストセグメンテーションは，1つの単語を出力記号とし，学習データを用いて状態遷移および各状態における出力記号の確率分布を求める．これに対し本研究では，テキストデータ内のある一定の範囲をテキスト窓とし，テキスト窓内の単語の出現数をベクトルとして出力記号とする．このようなHMMを用いてテキストセグメンテーションを行い，ウェブのニュース記事が複数結合されたテキストデータに対して評価実験を行った．その結果，ランダムに話題が移り変わるようなテキストデータに対して，従来手法よりも高い性能を得ることができた．