検索語の重みの2段階調整手法

摘要

文書検索において単語の重み付けを行う方法の一つとしてTF・IDF 法があげられる．IDF は文書集合 での単語の出現しにくさを表わしており，検索対象の文書集合に依存する性質を持つ．そのため，クエリと同じ分野ではあまり出現しないためIDF が大きくなるような特定性が高い単語であっても，検索対象文書には出現しやすい単語であった場合にはIDF は小さくなってしまう問題がある．そこで本論文では，従来の検索手法を用いて検索対象の文書集合からクエリと同じ分野であると考えられる関連文書を抽出するステップと関連文書集合での出現頻度も用いて検索するステップの2 段階に分ける手法を提案する．従来手法と比較するためNTCIR-1 のIR タスクデータを用いて評価実験を行ったところ，一般的なべクトル空間モデルと比較して7．1％の精度向上が得られ，NTCIR-1で最も高精度だった結果と同等の精度が得られた．%TF·IDF method is one of the methods to weight terms in the field of document retrieval. IDF value shows the degree of how a term is difficult to appear in the document set, and depends on the document set to be retrieved. Therefore, the problem is that, even if a term is difficult to appear in the same field of document set as query (which means the term is highly specific in the document), IDF value of term which appears easily in the document set to be retrieved is small. In this paper, we propose and study two step adjustment technique of term weight. In the first step, we get documents related to query using vector space model. In the next step, we retrieve relevant documents using IDF calculated from the document set acquired in the first step. Experiments using NTCIR-1IR task collection indicate that, the precision of proposed method is improved about 7.1 percent comparing to that vector space model, and is almost the same value of the precision which get the highest in NTCIR-1.