決定木アルゴリズムに基づく自然言語文書の話題分析

摘要

大量の文書から同一の話題を含んだ文書集合を抽出することを試みる．決定木により元の文書を分娩し，その結果から決定木の構造と分類された文書の特徴との闇の関係を分析している．決定木のリーフにおける分規精度に着目した結果，1つの名詞や2つの名詞の組み合わせが文書中に出現することにより高確率で分野を特定できることを明らかにし，数10個の該当する名詞群を抽出している．また，リ－フ内文書の類似度やエントロピーを用いて，それらの名詞がどの程度話題を特定しているかを調べ，多くの名詞が話題を抽出できていることを確認している．今回の試みで得られた話旗だけでは，新しい通信サービスへの応用には不十分ではあるが，決定木の上位階層や分瓶性能の良い部分のみを用いれば，より適用性が高い話題が抽出できる可能性が示唆されている.