基于注意力机制的CRNN文本分类算法

摘要

cqvip:为增强文本特征的表达能力,提出一种基于注意力机制(Attention)的卷积循环神经网络(CRNN)的文本分类算法。把预训练好的词向量作为输入,使用卷积神经网络(CNN)提取文本向量的特征;利用双向门控循环单元(BiGRU)捕获文本中的词序信息,提取文本的上下文依赖关系并结合Attention机制识别不同特征的重要性;使用Highway网络进行特征优化。将该模型在20Newsgroups、SST-1和SST-2这3个英文语料上进行实验,实验结果表明,该模型有效提高了分类任务的准确率。