単語論理和での属性拡張による文書分類性能向上

摘要

文書中での単語の出現だけでなく、単語間の関連を利用することで文書検索や文書識別の性能向上が期待されている。例えば、単語の同義語や上位下位関係のデータベースであるWordNet を文書分類に利用する研究があるがある。しかし、上位下位関係を用いること で、常に性能が向上するとは限らない。また、WordNet のような大規模コーパス は汎用ではあるが人手で構築されたものであり、新しいテーマや特定の文書群 について全ての単語の関連を網羅しているわけではない。一方、やでは、文書やWeb ページに現れるパターンに着目することで、人手によらず単語間の上位下位関係を抽出している。しかし、一つの単語、あるいは、 複数の単語の上位あるいは下位の概念として求まるのは、分析対象の文書群に出現する具体的な単語だけである。