一种面向财务文本分类的TF-IDF改进算法

摘要

结合财务文本特征,对TF-IDF方法在应用到财务文本分类时的不足进行了分析,提出了一种新的特征词权重计算方法(SNGTI-LFDF).该算法以TF-IDF方法为基础,引入停用词失效的N-Gram方法和特征词位置词频因子,保留特征词位置信息并改善了特征词的权重分配.采用朴素贝叶斯方法对分类性能进行了验证,实验结果表明,相对于TF-IDF和同类改进算法TF-IDF-DL,SNGTI-LFDF方法取得了更高的准确率、召回率和F1值.因此该算法在能较好地提高财务文本分类性能.