融合自注意力机制的D-BGRU文本分类模型

摘要

针对传统循环神经网络(RNN)建模时压力过大且容易忽略局部细节特征以及卷积神经网络(CNN)无法捕获远距离依赖关系的问题,提出了一种基于中断信息机制的文本分类模型方法.该方法将中断信息流的思想引入双向门控循环单元(BGRU)中,既能提取上下文远距离依赖关系又具有类似卷积核的位置不变性,从而兼顾到文本的时间特征及空间特征.在此基础上融合了自注意力机制,进一步学习特征之间的依赖关系,为重要特征分配较大权值以降低噪声冗余,强化模型对关键信息的提取能力,实现文本特征的优化操作.在AGnews,DBPedia.Yelp P.等5个真实数据集上进行实验,该方法的准确率较多个基线算法均有提升,分别达到了95.8%、99.7%、98.1%、70.4%、77.5%,验证了该模型能够更有效的实现文本分类,具有良好的应用前景.