基于GNN的文本分类算法研究

摘要

图神经网络(Graph Neural Networks,GNN)因其结构的新颖性在文本分类任务中广受关注。针对GNN在训练数据集较少时容易出现过拟合、特征信息不足等问题,提出了Att-DASA-ReGNN(Regional Embedding GNN based on Data Augmentation and Self-Attention with the Attention Mechanisms)模型。该模型在数据特征提取阶段引入了简单数据增强方法(Easy Data Augmentation,EDA)和Self-Attention技术改善了过拟合问题;原模型词嵌入方式对维度很高且稀疏的高阶邻域信息的捕捉能力不足,该模型中通过增加区域词嵌入技术,加强了词级之间的关系,使得模型更容易捕捉高阶邻域信息,从而减轻数据稀疏带来的影响。为了进一步提升模型的文本分类准确率,该模型的图词特征交互阶段通过引入Soft-Attention技术改进了注意力权重提取方式。最后,在多种数据集上的实验证明,该模型的分类准确率较之前模型均有不同程度的提升。