一种基于区分能力的多类不平衡文本分类特征选择方法

摘要

文本分类中的不平衡数据问题在现实应用中比较普遍.传统的特征选择方法在不平衡问题上倾向于多数类而忽略稀有类.针对这种倾向性该文提出了一种主导性分析量化方法,并基于对该方法的优化提出了一种基于类别区分能力的特征选择方法,即DA(Discriminative Ability)方法,该方法使用文档概率的最小绝对值差作为评分标准,一定程度上保证了特征选择在稀有类与多数类上的公平性.实验表明,DA优于CHI、IG、DFICF,尤其在F1宏平均指标上,DA在不平衡问题上能够取得更好的降维效果.