ALBERT结合双向网络的文本分类

摘要

针对目前多标签文本分类算法不能有效利用文本深层信息的缺陷,提出一种利用ALBERT模型进行文本深层信息的特征提取,使用双向LSTM网络进行特征训练,并结合注意力机制强化分类效果,完成分类的模型——ABAT模型。在百度发布的Du EE1.0数据集上进行实验,相对于各对比模型,该模型的各项性能均达到最优,Micro-Precision达到0.9625,Micro-F1达到0.9033,同时模型汉明损失下降到0.0023。实验结果表明,改进的ABAT模型能较好地完成多标签文本分类的任务。