HMMの変分ベイズ学習によるテキスト文書の話題分割法

摘要

確率モデルに基づくテキスト分割法を提案する．left-to-right型の離散HMMをテキスト生成モデルと考え，テキスト分割をHMMのパラメータ推定問題として定式化する．パラメータ推定法として，最尤推定およびベイズ推定（変分ベイズ法）を用いて，日本語ニュース番組を各ニュース項目へ分封する評価実験を行い，最尤推定に比べてベイズ推定が精度よくテキストを分割できることを示す．さらに，従来法としてHearst法を取り上げ，従来法と比べた提案法の利点や課題を明らかにする．