一种结合BERT与双层LSTM的复杂长句意图分类方法

摘要

传统文本分类方法从复杂长句中提取特征的能力有待提高.为准确识别与分类复杂长句意图,构建一种结合BERT(Bidirectional Encoder Representation from Transformers)迁移学习与长短时记忆网络LSTM(Long Short-Term Memory)的分类方法.使用BERT获取上下文相关的动态词向量,捕捉传统模型难以表示的一词多义特征;在BERT输出层接入LSTM网络,经由词级、句级双层LSTM层次化提取特征,获取细粒度语义表示,进而对句子意图进行准确分类.实验结果表明,该方法在复杂长句意图分类任务上的准确率、召回率以及F1值与已有方法相比均有提高.