采用自注意力机制和CNN融合的实体关系抽取

摘要

目前在实体关系抽取任务中,神经网络模型发挥着重要的作用,利用卷积神经网络可以自动提取特征,但是在卷积神经网络中利用固定窗口大小的卷积核来提取句子中词的上下文语义信息受到限制.因此,提出一种新的采用自注意力和卷积神经网络融合的关系抽取模型.利用原始的词向量通过自注意力机制计算得到序列中词之间的相互关系,使得输入的词向量表达出更加丰富的语义信息,从而弥补卷积神经网络自动提取特征的不足.在SemEval-2010 Task 8数据集上的实验结果表明,加入自注意力机制以后,本文模型有利于提升实体关系抽取效果.