文本分类中TF-IDF权重计算方法改进

摘要

T F-ID F是文本分类中计算特征权重的经典方法,但其本身并未考虑特征词在文档集合中的分布情况,从而导致类别区分度不大.通过计算特征词类内密度与特征词在样本中均匀分布时整体平均密度的比值对ID F函数进行改进.实验结果表明,改进后的T F-ID F考虑了特征词内分布与在整体文档集中的分布,提升了对类别的区分能力,有效改善了文本分类效果.