文本分类中基于CHI改进的特征选择方法

摘要

针对传统卡方统计量(CHI)方法在全局范围内做特征选择时忽略词的频度、词的分布等问题,提出了一种改进的文本特征选择方法.该方法通过定义特征词频度分布相关性系数,选择局部出现的强相关性特征,同时考虑特征词类间分布差异性来提升不均衡数据集的分类指标.结果表明,改进的方法不仅在分类效果上有明显的提高,而且性能更加稳定.