中文情感分类挖掘预处理关键技术比较研究

摘要

比较研究了中文情感分类挖掘预处理技术的不同组合对分类效果的影响.预处理中关键技术为文本分词、特征选择和权重计算.考察了文档频率DF、信息增益IG、互信息MI、X2分布CHI、文本证据权(Weight of Evi-dence for Text,WET)5种不同的特征选取方法和布尔权重、词频型特征权重TF、TF-IDF函数3种常用的权重计算方法的15种不同组合.采用支持向量机(SVM)分类器以考察特征选择方法和权重计算方法不同的组合的对情感分类的效果.实验结果表明IG和TF-IDF的组合最为有效,WET和TF的组合效果最差,并给出了效果差异的原因.