一种基于卡方统计量和IDF的文本分类特征选取方法

摘要

本公开涉及一种基于卡方统计量和IDF的文本分类特征选取方法，包括：将收集到的文本分为两部分，一部分为训练文本集，另一部分为测试文本集，将训练文本集进行类别标注；对获取的训练文本集进行分词处理，获得特征词，计算特征词t的卡方统计量值、文本数量Dt、IDF值、CHI‑IDF(t,c)值。本发明的优点是：实现简单，通过结合卡方统计量和IDF两种方法各自的特点，得到改进的CHI‑IDF特征选择方法来改善传统卡方统计量的特征选择效果，有效地提高特征词的选取概率。