基于分层Attention机制的Bi-GRU中文文本分类模型

摘要

针对基于神经网络的文本分类模型在训练过程中容易发生过拟合及忽略句子中的关键词的问题,提出了一种基于分层Attention机制的Bi-GRU中文文本分类模型。该模型引入了分层的思想,利用双向门控循环神经网络学习词层面和句子层面的文本表示,采用Self-Attention层次模型获取词和句子对于文本分类影响程度的信息;通过绑定共享嵌入层和softmax层之间的权重,在减少模型中参数的同时采用AMSBound优化方法快速有效地获取最优权重矩阵。对常用的两个中文数据集Fudan Set和THUCNews,本文模型对中文较长文本分类数据集Fudan Set进行实验,实验结果表明,本文模型在精度、召回率、F-score等指标上均优于Text-CNN模型、Attention-BiLSTM模型、Bi-GRU_CNN模型,精度、召回率、F-score指标分别提高了5.9%、5.8%、4.6%。