基于神经元块级别注意力机制的LSTM关系抽取

摘要

目前关系抽取方法中,传统深度学习方法存在长距离依赖问题,并且未考虑模型内部神经元特征之间的相关性。针对以上问题,提出一种基于神经元块级别注意力机制的LSTM(long short-term memory)关系抽取方法。将多特征向量相融合作为双向LSTM的输入,采用块级别注意力机制对神经元特征进行注意力计算,通过注意力概率分布对神经元特征进行更新,同时采用批标准化算法对神经元的注意力特征进行优化,获取双向LSTM模型的输出特征;最后采用句子级别注意力机制对输出特征进行注意力计算,通过softmax分类器输出分类结果。在SemEval-2010task 8关系数据集上的实验结果表明,该方法的准确率较传统深度学习方法有进一步提升。