基于BERT-BiGRU模型的文本分类研究

摘要

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法.针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究.提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recur-rent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示.在BERT模型后面增加了BiGRU,将训练后的词向量作为BiGRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果.使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93.通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能.