一种基于位置及类内分布的文本特征加权

摘要

向量空间模型下文本特征高维性是文本自动分类的主要瓶颈，文本特征降维是文本分类的核心技术。互信息(multi-information，MI)方法作为常用的特征选择方法在实际应用中效率较低。本文提出了一种改进的基于互信息的特征选择算法，针对特征项在类内分布差异以及在文本位置上差异，优化特征项的赋权方式，更充分地利用了特征项含有的类别信息。试验结果表明，该方法与经典的互信息方法相比具有明显的优势。