基于LSTM并结合词性及多注意力机制的句子分类方法

摘要

本发明公开了一种基于LSTM并结合词性及多注意力机制的句子分类方法，包括步骤：在输入层中将每个句子转化成两个基于连续和稠密的语义词向量矩阵和词性词向量矩阵；在共享的双向LSTM层中分别学习句子中词或词性的上下文信息，并将每一步的学习结果进行串联后输出；在自注意力层中采用自注意力机制及点乘函数分别从语义词向量序列和词性词向量序列学习句子中各个位置上的重要局部特征，得到相应的语义注意力向量和词性注意力向量，并通过KL距离对它们进行约束；在合并层中利用得到的语义注意力向量和词性注意力向量对双向LSTM层的输出序列进行加权求和，得到句子的语义表征和词性表征，并得到最终的句子语义表示；最后通过MLP输出层进行预测和分类输出。