中文文本分类的特征选取评价

摘要

在对中文文本分类的特征选取方法进行综合评价的基础上,对目前比较流行的5种特征选取方法(文档频度DF、互信息MI、信息增益IG、χ2统计X2、术语强度TS)进行评价,选用NaYve Bayes作为文本分类器,对一个中文文本分类语料库进行分类评测.实验结果表明,DF和χ2的分类性能十分接近,处于较好水平;而TS分类性能稍差一些;IG和MI的分类性能与其他相比都有较大的差距.特别是在特征数目少的情况下,MI和IG的结果较差.在特征数目为1000时,MI的F1值为64.60%;IG为69.36%,而DF则达到87.01%.