共起単語中の特異的頻出単語数を用いた用語のrepresentativeness計測尺度

摘要

用語Tを含む文書集合D(T)に対して「D(T)中で特異的に高頻度で現れる単語の異なり数N_p(D(T))」を考え，N_pをBaseline法で正規化したrepresentativeness尺度B(·,N_p)を提案した。「D(T)中で特異的に高頻度で現れる单語」は，バラメータpを用いて，「D(T)内のHGS尺度がpより大である(すなわち，vが全文書中とD(T)中に出現する確率が同一で，単語の出現が互いに独立であると仮定した場合，vがD(T)に実際に出現している回数だけ出現する確率が2~(-p)より小さい)単語と定義する。