基于BiLSTM-Attention-CNN混合神经网络的文本分类方法

摘要

BiLSTM和CNN网络在文本分类领域取得了较好的应用效果,二者的结合可以充分发挥CNN的特征提取能力和BiLSTM的上下文依赖能力,但是没有体现出每个词语在文本中的重要程度,无法将注意力集中在重要的词上.针对该问题,提出一种基于BiLSTM-Attention-CNN混合神经网络的文本分类方法.在BiLSTM层之后加入注意力机制(Attention)提取输出信息的注意力分值;注意力层之后,连接k-max池化层,提取前k个重要的词,增强模型特征的表达能力.在DBPedia和AGNews数据集上进行实验,结果表明,该模型相较于其他现有网络模型,分类准确率提高1～2个百分点.