一种基于特征项选择与权重计算的文本分类方法

摘要

本发明公开了一种基于特征项选择及权重计算的文本分类方法，对分析整理得到的语料训练集，在传统的TF-IDF特征项权重计算基础上，根据CHI卡方统计考虑特征项与不同类别之间的相关度、特征项的信息熵考虑特征项类内的平均分布情况对特征项的权重进行调整。再根据特征项类间权重差对特征项进行评估、选择。将训练集文本与待分类文本分别以特征子空间中的特征项表示成向量的形式。计算待分类文本和训练集文本之间的相似度，来确定待分类文本的类别。由于在特征项选择及权重计算过程中，在TF-IDF基础上综合考虑了特征项在类间类内的分布情况，提高了特征项选择的准确度，有效降低特征项维数，从而提高文本分类的效率和精度。