情報量基準で語彙分割したPLSA言語モデルによる話題·文型適応

摘要

PLSAは言語モデルの文脈適応に一般的に用いられる手法である．このPLSAの新しい利用方法を提案する.PLSA言語モデルの語彙をr話題語」「文型語」「汎用語」の3クラスに分割し，話題語PLSAモデルと文型語PLSAモデルを別々に学習·適応した後に3つのモデルを統合する．また新聞記事とCSJ間での品詞分類の出現パターン変化に基づいた，語彙分割基準の自動生成を提案する．評価実験では話題と文型の特徴が学習データで共起していないテキストについて，従来のPLSA言語モデルと比べ15．48％のperplexity削減が得られた．