一种基于图神经网络和推理路径的文档级关系抽取方法

摘要

本发明提出一种基于图神经网络和推理路径的文档级关系抽取方法。本发明为了解决在文档级关系抽取中常用的图模型方法只能关注实体局部特征的特点，不能很好的表示两个实体之间全局特征的问题。本发明的具体的步骤为：步骤一、基于启发式的规则将一篇输入的文档转化为图结构；步骤二、利用路径搜索算法在构造图结构中提取出不同实体对之间的多条路径；步骤三、利用神经网络编码器对输入文档编码，并得到图中节点的向量表示，利用图神经网络更新图中节点的向量表示；步骤四、得到图结构中实体对之间的路径信息向量表示；步骤五、对实体对之间的关系进行判断，使用标注好的数据训练深度学习模型。本发明属于自然语言处理领域。

说明书

技术领域

本发明属于自然语言处理技术领域，特别是涉及一种基于图神经网络和推理路径的文档级关系抽取方法。

背景技术

文档级关系抽取任务是给定一篇包含多个句子的段落、段落中出现的实体及实体在段落中出现的位置，判断在所有的实体对中是否存在着预定义的一些关系。相比于句子级的关系抽取，文档级关系抽取存在着一下几个技术难点：1)文档级关系需要多种不同的推理方式，包含句内关系抽取、指代推理、逻辑推理、常识推理。如何设计更好的文档级关系抽取模型，有效地从更长的上下文信息中综合有用的信息，判断出实体对之间的关系是任务面临的主要的挑战。2)模型的计算代价问题。文档级关系抽取中潜在的具有关系的实体和实体数目的平方成正比，然后实体存在关系的实体对只有很少一部分，如何高效的抽取文档中存在的关系，是一个存在的挑战。

现有的方法通常将文档转化为图结构。根据图结构的不同，分为同构图和异构图。同构图中只包含同种类型的节点和边的信息，通常这种方法需要外部的工具，例如会利用句法解析工具得到文档中每句话的句法依存关系，然后将每句话的句法依存的根节点拼接起来。异构图中包含多种不同类型的节点和边的信息。通常图中包含句子、实体和实体在文档中出现的提及。然后通过一些启发式的规则来构造节点之间的边的关系。

现有的方法利用图神经网络来综合图中的信息。具体地，图神经网络利用节点的邻居结点的特征来更新直接的特征，通过多次迭代来得到节点的包含图上下文信息的节点特征。这种方式虽然能够很好的表示节点之间的交互的信息，但是这种方式只能表示节点的局部特征，当图中两个节点距离较远的时候，图神经网络不能够很好的捕获其中的特征。而且图神经网络没有显示考虑不同实体节点之间的推理路径的关系。

综上所述，文档级关系抽取相关研究存在着以下不足：

1、在文档级关系中广泛使用的图神经网络只能关注到节点的局部特征。当两个节点相距较远的时候，会严重影响模型的性能；

2、图神经网络没有显示的考虑两个节点之间的推理路径，忽略解节点之间的推理关系。

发明内容

本发明目的是为了解决目前自然语言处理领域中文档级关系抽取的图模型只考虑了图中局部特征的问题，提出了一种基于图神经网络和推理路径的文档级关系抽取方法。本发明所述方法通过考虑图中结点之间的推理路径，来表示图中两个实体节点的全局特征，提高了文档级关系抽取性能。

本发明是通过以下技术方案实现的，本发明提出一种基于图神经网络和推理路径的文档级关系抽取方法，所述方法具体包括：

步骤一、基于启发式的规则将一篇输入的文档转化为图结构；

步骤二、利用路径搜索算法在构造的图结构中提取出不同实体对之间的多条路径；

步骤三、利用神经网络编码器对输入文档编码，并得到图中节点的向量表示，利用图神经网络更新图中节点的向量表示；

步骤四、得到图结构中实体对之间的路径信息向量表示；

步骤五、对实体对之间的关系进行判断，使用标注好的数据训练深度学习模型。

进一步地，步骤一中转化为的图结构为异构图结构。

进一步地，步骤二中路径搜索算法为基于广度优先搜索算法。

进一步地，步骤二中通过考虑图结构中两个实体节点之间的路径信息来模拟实体之间的推理路径。

进一步地，步骤四中，利用注意力机制综合多条不同的路径特征，来表示实体对之间在图中的全局特征。

进一步地，在步骤五中利用图神经网络输出的节点的局部特征和两个实体对之间路径的全局特征，共同为实体之间的关系进行分类。

进一步地，所述异构图中包含三种类型的节点，分别为句子节点、实体节点和提及节点；满足以下情况下实体之间具有边相连接：1)在同一句话中的两个提及节点连接起来，来表示两个提及之间的句内的关系；2)提及节点及其所属的句子节点连接起来，来表达提及的所属关系；3)属于同一个实体的两个提及节点连接起来；4)所有的句子结点连接起来，来表达多句话之间的关系；5)若实体的某个提及出现在某个句子中，那么这个实体结点和句子结点连接起来。

进一步地，所述基于广度优先搜索算法具体为：定义一个搜索空间队列S，起始的时候将头实体节点送入搜索空间队列，在每个时间步从队列中取出一个节点，并判断它是否为尾实体节点或者尾实体节点的邻居结点；1)如果它满足条件，则搜索路径结束并且保留该搜索路径为一个可能的实体间的推理路径；2)如果它不满足条件，则将它所有尚未检验过的邻居结点加入到队列中；若队列为空，表示整张异构图都已经检查过了，结束搜索。

进一步地，在步骤三中，首先将输入的文本序列转化为词向量序列，同时将词的向量表示，词的实体类型的表示，词的指代表示一起拼接起来得到词的总体的一个表示，然后将文档中的词送入到一个编码器中，所述编码器为BiLSTM和基于Transformer的预训练模型来学习所述词向量的上下文表示，得到文档的上下文表示之后，对构建的异构图中节点的向量表示进行初始化，得到异构图节点的初始化表示之后，利用基于图注意网络来迭代更新网络中的节点的特征，利用自注意力机制来汇聚邻居结点的特征，集成这些特征从而得到最终的图网络的输出。

进一步地，在步骤四中，通过对两个实体对之间的推理路径进行提取，得到了多条相关的推理路径，利用LSTM来对推理路径进行编码，对于某个推理路径，利用LSTM的最后一次迭代的隐含向量来表示这条路径的特征

本发明的有益效果为：

本发明针对图神经网络只能关注图中节点局部特征的特点，通过考虑图中实体节点之间的推理路径，得到实体对之间在图中的全局的特征。在实体对关系分类的时候，利用路径的向量表示对图卷积特征的向量表示进行补充，提高了模型在文档级关系抽取中的性能。

附图说明

图1为图结构中路径提取及路径特征表示的流程图；

图2为神经网络模型的不同的结构图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

结合图1和图2，本发明提出一种基于图神经网络和推理路径的文档级关系抽取方法，所述方法包括：

步骤一、基于启发式的规则将一篇输入的文档转化为图结构；

步骤二、利用路径搜索算法提取图结构中不同实体对之间的多条路径；

步骤三、利用神经网络编码器对输入文档编码，并得到图中节点的向量表示，利用图神经网络更新图中节点的向量表示；

步骤四、得到图结构中实体对之间的路径信息向量表示；

步骤五、对实体对之间的关系进行判断，使用标注好的数据训练深度学习模型。

步骤一中转化为的图结构为异构图结构。步骤一中输入的数据包含文档的内容、文档中出现的实体及实体在文中出现的不同的位置。

步骤二中路径搜索算法是基于广度优先搜索算法来提取实体对在图中的路径。步骤二中通过考虑图结构中两个实体节点之间的路径信息来模拟实体之间的推理路径。

步骤三中采用神经网络编码器包含BiLSTM或者基于Transformer的预训练模型。

步骤四中利用Attention机制来综合实体对之间的多条路径的信息。采用注意力机制，来融合实体对之间的多跳推理路径信息得到一个总的路径特征的表示，使模型能够自适应的关注最有可能的推理路径。利用注意力机制综合多条不同的路径特征，来表示实体对之间在图中的全局特征。

步骤五中，综合利用图神经网络输出的节点表示和路径特征对关系进行分类。通过融合图神经网络输出的两个实体节点的表示和两个节点之间的路径的表示来共同判断两个实体之间的关系。利用图神经网络输出的节点的局部特征和两个实体对之间路径的全局特征，共同为实体之间的关系进行分类。

步骤一中需要将文档转化为一个异构图结构。具体地，图中包含三种类型的节点，分别为句子节点、实体节点和提及节点。满足以下情况下实体之间具有边相连接。1)在同一句话中的两个提及节点连接起来，来表示两个提及之间的句内的关系。2)提及节点及其所属的句子节点连接起来，来表达提及的所属关系。3)属于同一个实体的两个提及节点连接起来。4)所有的句子结点连接起来，来表达多句话之间的关系。5)若实体的某个提及出现在某个句子中，那么这个实体结点和句子结点连接起来。

步骤二中利用基于广度优先搜索的算法来提取图结构中实体对之间的推理路径。具体地，定义一个搜索空间队列S，起始的时候将头实体节点送入搜索队列。在每个时间步从队列中取出一个节点，并判断它是否为尾实体节点或者尾实体节点的邻居结点。1)如果它满足条件，则该搜索路径结束并且保留该搜索路径为一个可能的实体间的推理路径。2)如果它不满足条件，则将它所有尚未检验过的邻居结点加入到队列中。若队列为空，表示整张异构图都已经检查过了，结束搜索。

步骤三中利用神经网络编码器对输入的文档进行编码。首先将输入的文本序列转化为词向量序列，同时将词的向量表示，词的实体类型的表示(例如人物、地点等，如果该词不属于实体词，则这个表示为空)，词的指代表示(相同实体的提及具有相同的序列号)一起拼接起来得到词的总体的一个表示，形式化表示为：

x

其中x

[g

得到文档的上下文表示之后，对构建的异构图中节点的向量表示进行初始化。具体地，提及节点初始化的表示为该提及所包含的词的上下为表示的平均。句子节点的初始化的表示为该句子所包含的词的上下文表示的平均。实体节点的初始化的表示为该实体所有提及的上下文表示的平均。根据以上的定义，得到了表示这篇文档的图结构及这个图的初始化表示

得到异构图节点的初始化表示之后，利用基于图注意网络来迭代更新网络中的节点的特征。在第l次图神经网络迭代中，给定所有之前推理步骤得到的节点的表示

其中v

其中{K,V}是从邻居结点

步骤四中得到图结构中实体对之间的路径信息向量表示。通过对两个实体对之间的推理路径进行提取，得到了多条相关的推理路径

其中

通过这种方式，得到一个实体{i

其中，

步骤五中对实体对之间的关系进行判断，使用标注好的数据训练深度学习模型。

综合图卷积表示特征和路径特征来对实体对的关系进行分类，如下：

其中MLP

实施例二

在本实施例中，步骤一、二、三、五与实施例一相同。本实施方式的步骤四中得到图结构中实体对之间的路径信息向量表示。除了利用图神经网络输出的节点来表示路径中节点的特征，考虑直接利用节点的初始表示来作为路径中节点的特征(如图2左边)。

以上对本发明所提出的一种基于图神经网络和推理路径的文档级关系抽取方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。