基于注意力机制的生物医学文本分类模型

摘要

对生物医学文本进行准确分类,是促进医院信息化发展的一个重要途径。本研究提出一种基于注意力机制的双层次文本分类模型,用于对生物医学文本进行有效分类。该模型结合卷积神经网络与循环神经网络的优势,对用户输入的疾病文本进行特征提取。首先,在第一层次通过Bi-GRU通道与Bi-LSTM通道提取文本中的上下文关联信息,同时,为增强模型的特征提取能力,在该层次引入注意力机制。其次,将两个通道提取到的时序特征进行特征拼接,并将拼接后的结果传入第二层次,从而进一步提取文本的局部特征,最后利用分类器输出最终的分类结果。对生物医学文本进行分类性能评估,结果表明,与基线模型相比,该模型的分类准确率可达91.45%,具有显著的分类性能。