機械学習とtf-idf法を用いたスパムメール分類における重要単語選択パラメータの振る舞い

摘要

機械学習を用いたメールフィルターシステムの開発において、スパムメールの分類に必要な単語の抽出にtf-idf法を導入した方法を提案する。tf-idf値によって全ての出現単語を降順に並べ、その上位部分の個数と全単語数の割合をパラメータとして設定した。この上位部分を重要単語として提案手法で実験したところ、このパラメータに依存してスパムメールの分類性能が変化することが分かった。そして、学習メールを効率よく分類するためには、適切なパラメータの設定が重要であることが分かった。