一种面向不均衡数据集的IG特征选择改进算法

摘要

在文本分类中,各类别样本数目不等是普遍存在且备受关注的问题。本文从特征选择优化出发,分析了特征项在类内出现的频率、类内分散度、类间集中度以及不均衡数据集下文档的差异性对IG特征选择影响,引入了类内词频加权因子、类内词频分散度加权因子、类间词频集中度加权因子对传统信息增益特征选择模型进行改进,提出了一种改进的IG特征选择方法,并分别采用SVM和KNN两种算法进行分类实验。实验结果表明:在不均衡数据集上,本文所改进的特征选择方法具有更好的分类效果。