基于HowNet的VSM模型扩展在文本分类中的应用研究

摘要

在采用VSM模型进行文本分类时,如果特征向量维教相差悬殊,会给分类结果产生很大负面影响.为了解决这一问题,本文引入了特征向量扩展的思想,同时定义了有效原始信息浓度的概念.特征向量扩展以HowNet语义词典为依据,对高维和低维特征向量采用不同的扩展策略,从而减小了不同类别语料间有效原始信息浓度的差值,进而改善复杂语料的分类结果.实验表明该方法在复杂语料情况下,通过对特征向量进行HowNet语义扩展,可以较好的改善分类结果.