αダイバージェンスに基づく単語連想と文書分類への適用

摘要

単語と、単語に付随する意味属性とが、コーパス中で共起する頻度を算出することにより得られる共起ベクトルは、単語間の意味的類似性を反映する性質をもつ。本稿では、共起ベクトル間の距離尺度として、カルバック·ライブラー距離を拡張した距離尺度であるαダイバージェンスを適用することにより、様々なレベルの上位·下位·兄弟概念の単語が連想されることを報告する。また、共起ベクトル間のαダイバージェンスの文書分類への適用について述べる。