基于粗糙集特征选择的过拟合现象及应对策略

摘要

在粗糙集方法中,利用向前启发式算法进行特征选择,是一个逐步加入重要度最高的特征的过程,直至满足所给定的约束条件。但使用这一策略选择出来的特征子集有可能产生过拟合现象。鉴于此,设计了一种新的启发式算法,其主要思想是借助交叉验证的方法对特征的重要度进行计算,当过拟合出现时,则采用截断式机制终止算法。使用邻域粗糙集模型,在UCI数据集上将启发式算法与所提算法进行对比分析,实验结果表明:所提算法能够有效地降低过拟合的程度;利用所提算法得到的特征子集能够带来更好的分类性能。