基于互信息的用于文档分类的并行特征选择方法

摘要

本发明的基于互信息的用于文档分类的并行特征选择方法，包括a).选取样本并分类；b).求解词的TF‑IDF值；c).生成初始化数据集合D＝{x₁,x₂,...,x_N}；d).分布式计算，将所有子数据集平均分布到m个计算节点上；e).建立集合，S＝Φ，V＝{X₁,X₂,...,X_M}；f).计算联合、条件概率分布；g).计算互信息；h).选取特征变量；i).判断数量是否已够；j).文本分类。本发明的文档分类的并行特征选择方法，基于瑞利熵的互信息被用来度量特征变量与类变量之间的相关性，使得最终选取的特征变量的更能代表文档分类的特征，分类效果更准确，分类结果要好于目前常用特征选择方法得到的结果，有益效果显著，适于推广应用。