基于多头自注意力和SENet的远程监督关系抽取

摘要

关系抽取是指从文本中识别实体并抽取出实体之间的语义关系。它作为信息抽取的基本组成之一,在知识图谱、关系推理、知识问答等自然语言处理领域有着广泛的应用。卷积神经网络是关系抽取中比较常用的特征提取网路。由于它在抽取句子的长程依赖特征时有一定的局限性,提出了SENet和多头自注意力相结合的关系抽取模型。模型通过多头自注意力来计算句子每个词与其他词的联系,捕获句子的内部结构,用SENet来对卷积通道进行注意力加权,获得句子短语的深度语义信息,最后用句子级注意力机制来解决远程监督的噪声。所提出的方法在公开数据集NYT上测试,通过计算出准确率、召回率,绘制出PR曲线证明所提方法与基准方法相比,性能有较大的提升。