基于文档层词频重排序的特征选择方法

摘要

本发明公开了一种基于文档层词频重排序的特征选择方法。它的主要目的是为了降低特征空间的维度，提高分类的精度。首先基于现有数据集，去除那些冗余的、信息量特别少的特征，然后依据特征选择方法进行数据集的降维处理，最后基于当前特征集合，通过5折交叉验证的方法，构建分类模型并得出分类F1值，选取对应分类F1值最高的特征集作为最优特征集。本发明专利技术的方法用于特征选择，帮助发现具有区分能力的词条信息，并且通过词条频率在文档层上的重排序方法来克服文档频率计算方式的单一性问题和数据集的非平衡性问题。