基于信息熵的期望交叉熵特征选择文本分类系统及方法

摘要

本发明公开了一种基于信息熵的期望交叉熵特征选择文本分类系统及方法。本发明系统包括依次相联的数据收集及预处理单元、特征选择单元、特征权重计算单元、分类器单元、分类选优单元；数据收集及预处理单元，用于从互联网上收集不同类别语料，分为训练语料和测试语料，并对语料进行预处理，预处理包括文本分词和去停用词；特征选择单元，用于选择语料中的特征项，根据特征选择评估函数从特征项表中选择出不同数目的特征项，组成特征项集合；特征权重计算单元，用于计算特征项的权重值；分类单元，用于对语料文本进行分类；分类选优单元，用于对比不同分类结果，找到最佳分类效果时的特征项数目。本发明能够提高文本分类的精度，改善分类效果。