基于多分类器的藏文文本分类方法

摘要

文本分类是信息检索与数据挖掘领域的关键技术,可以有效解决信息杂乱问题并定位有效信息。提出了基于深度学习的卷积神经网络、循环神经网络、长短时记忆网络和双向长短时记忆网络的藏文文本分类方法。首先提出长短时记忆加条件随机场模型的方法对藏文分类文本进行分词,接着去除停用词、计算词频、提取特征词构建词向量空间模型获得词向量,然后将该词向量传输给分类模型训练藏文文本分类器,最后使用训练好的分类器对待分类藏文文本进行分类。实验数据表明,数据量较大时,深度神经网络模型分类效果均比传统机器学习模型分类效果好,且其中双向长短时记忆网络分类器得到的藏文文本分类效果最好;当数据量较少时,支持向量机分类效果较好。