基于卷积神经网络和KNN的短文本分类算法研究

摘要

为解决传统基于TF-IDF的K最近邻(KNN)分类算法在短文本分类时,出现特征维度过高和数据稀疏的问题,基于卷积神经网络和KNN,提出一种新的短文本分类算法.通过采用神经网络语言模型word2vec对短文本进行词向量的训练,并用训练好的词向量表示文本,使用卷积神经网络对短文本进行抽象特征的提取,在提取出抽象特征的基础上,运用KNN分类器进行短文本分类.分别在短文本中句子数目为2、4、6、8的数据集上进行测试,结果表明,与基于TF-IDF的KNN分类算法相比,该算法在准确率、召回率和FI值上平均提高了10.2％、21.1％和15.5％.