基于双向长短时记忆网络的改进注意力短文本分类方法

摘要

【目的】针对短文本篇幅较短、特征稀疏等问题,基于双向长短时记忆网络,提出一种改进注意力的端到端短文本分类模型。【方法】采用预训练词向量完成原始文本数字化;利用双向长短时记忆网络进行语义特征提取;在此基础上,改进注意力层将正向和反向特征进行融合,用于全局注意力得分计算,以获得具有深层语义特征的短文本向量表示;采用Softmax给出样本标签的分类结果。【结果】相比于传统的卷积神经网络、长短时记忆网络以及双向长短时记忆网络模型,基于双向长短时记忆网络的改进注意力模型在包含中英文的多个数据集上分类精度取得提升,其中最高提升为19.1%。【局限】仅针对短文本分类问题,对于篇幅长度较长文本,模型分类精度提升有限。【结论】基于双向长短时记忆网络的改进注意力模型实现短文本分类,能够充分利用文本的上下文语义特征,有效地克服短文本特征稀疏,提高短文本分类性能。