一种知识图嵌入复合邻居链路预测方法

摘要

本发明涉及信息处理技术领域，具体涉及一种知识图嵌入复合邻居链路预测方法，包括复从知识图谱实体描述中提取具有代表性的实体邻居；动态记忆网络编码器包含输入、问题、情景记忆以及回答模块，计算输入和问题的向量表示，触发Attention机制，选择出跟问题相关的输入；情景记忆模块结合相关的输入和问题进行迭代生成记忆，并且生成一个答案的向量表示；KGE解码器和培训目标使用不同的KGE模型来进行链路预测；本申请提出新的编码解码器框架复合邻域嵌入，利用复合邻域嵌入来增强现有的KGE方法；通过设计了动态储网络，利用键值存储单元和多层注意，避免冗余计算，提高推理能力；将编码器增强的实体表示应用到KGE模型中。

说明书

技术领域

本发明涉及信息处理技术领域，具体涉及一种知识图嵌入复合邻居链路预测方法。

背景技术

知识图因其在人工智能(AI)领域的巨大应用潜力而引起了人们的广泛关注。在大多数知识图谱中，知识事实以三元组的形式存储(头实体、关系、尾实体)，尽管从现实世界中提取了数百万个事实，但大规模知识图的构建仍然面临不完整性和稀疏性问题。为了自动预测新的事实并完成知识图谱，提出了知识图谱嵌入算法。与一般的图嵌入不同的是，知识图谱嵌入方法关注于多关系图，学习在低维连续向量空间中实体和关系的表示。然而，大多数知识图谱嵌入方法需要学习知识图谱中的每一个三元组，因此在处理具有很少的三元组的实体时，它们的性能经常会下降。为了解决稀释性问题，利用文本描述或局部邻居来增强KGE。

虽然利用文本描述和局部邻居来增强KGE是有效的，但在工程实践中使用时存在三个问题：实体描述的信息冗余性；本地邻居的不平衡分布；文本描述提供的实体特征不同。

发明内容

本发明所要解决的技术问题是：提供一种解决背景技术中存在的问题的知识图嵌入复合邻居链路预测方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种知识图嵌入复合邻居链路预测方法，包括

复合邻居，从知识图谱实体描述中提取具有代表性的实体邻居；

动态记忆网络编码器，包含输入、问题、情景记忆以及回答模块，计算输入和问题的向量表示，触发Attention机制，选择出跟问题相关的输入；情景记忆模块结合相关的输入和问题进行迭代生成记忆，并且生成一个答案的向量表示；以及

KGE解码器和培训目标，使用不同的KGE模型来进行链路预测。

本发明的有益效果在于：本申请提出了一种新的编码解码器框架——复合邻域嵌入(CoNE)，利用复合邻域嵌入来增强现有的KGE方法；为了从实体的复合邻居中学习实体的表示，设计了动态储网络(DMN)，与一般的图卷积网络相比，DMN编码器利用了键值存储单元和多层注意，避免了冗余计算，提高了推理能力。然后，将DMN编码器增强的实体表示应用到KGE模型中。

附图说明

图1为本发明具体实施方式的一种知识图嵌入复合邻居链路预测方法的实体e生成复合邻居的过程示意图；

图2为为本发明具体实施方式的一种知识图嵌入复合邻居链路预测方法的DMN网络模型架构图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1以及图2，一种知识图嵌入复合邻居链路预测方法，包括

复合邻居，从知识图谱实体描述中提取具有代表性的实体邻居；

动态记忆网络编码器，包含输入、问题、情景记忆以及回答模块，计算输入和问题的向量表示，触发Attention机制，选择出跟问题相关的输入；情景记忆模块结合相关的输入和问题进行迭代生成记忆，并且生成一个答案的向量表示；以及

KGE解码器和培训目标，使用不同的KGE模型来进行链路预测。

从上述描述可知，本申请提出了一种新的编码解码器框架——复合邻域嵌入(CoNE)，利用复合邻域嵌入来增强现有的KGE方法；为了从实体的复合邻居中学习实体的表示，设计了动态储网络(DMN)，与一般的图卷积网络相比，DMN编码器利用了键值存储单元和多层注意，避免了冗余计算，提高了推理能力。然后，将DMN编码器增强的实体表示应用到KGE模型中。

进一步的，所述实体e生成复合邻居的过程包括：

从知识图谱中提取两组邻居，在知识图谱三元组的邻居集中，本地邻居包括至少有一个知识图谱中包含e的三元组的实体；在实体描述的邻居集合中，通过完全匹配它们的名称来提取e的文本描述中提到的实体；此语义邻居被定义为名称出现在e的描述中的实体，以及描述中提及的e名称的实体；即为语义上的邻居；

从两个集合中最多抽取K个实体来组成e的复合邻居，选择同时出现在两个集合中的邻居；使用随机抽样的方法填充其余的复合邻居。

进一步的，所述输入模块使用GRU对输入进行编码；对于单个句子时使用GRU中间的state作为输入；对于多个句子时使用GRU在每个句子的最后状态作为输入。

进一步的，所述问题模块使用GRU将问题编码成向量；

所述问题向量作为记忆模块GRU的初始隐层状态。

进一步的，所述情景记忆模块包括注意力机制、记忆更新、多次迭代；

所述注意力机制使用一个门控函数作为Attention；

输入是本时刻的输入c，前一时刻的记忆m和问题q；首先计算相互之间的相似度作为特征向量传入一个两层的神经网络，最终计算出来的值就是门控函数的值，即该输入与问题之间的相似度；

得分函数G将特征集z(c，m，q)作为输入，并生成标量分数；首先定义一个特征向量来获取输入，记忆和问题向量之间的相似性：

z(c，m，q)＝[c，m，q，coq，com，|c-q|，|c-m|，c

G(c，m，q)＝σ(W

所述记忆更新计算出门控函数的值之后，根据其大小对记忆进行更新；更新方法就是GRU算出的记忆乘以门控值，再加上原始记忆乘以1-门控值；

更新情景记忆m

所述多次迭代包括每次迭代关注不同的内容，这样传递推导，检索不同的信息。

进一步的，所述回答模块使用GRU最为本模块的模型，根据记忆模块最后的输出向量，输入使用的是问题和上一时刻的输出值连接起来，并使用交叉熵损失函数作为loss进行反向传播训练；

使用另一个GRU，初始状态被初始化为最后一个记忆

在每一个时间点，将问题q，最后的隐藏状态a

y

a

进一步的，“使用不同的KGE模型来进行链路预测”包括：

采用三种KGE模型作为KGE解码器，包括TransE、ConvE和RotatE；对于TransE解码器，使用随机梯度下降来最小化链路损耗，并应用Adam优化器来最小化ConvE和RotatE的损耗函数。

实施例一

一种知识图嵌入复合邻居链路预测方法，包括编码解码框架，所述框架包括，第一部分是复合邻居，第二部分是动态记忆网络编码器，第三部分是KGE解码器和培训目标。

1、复合邻居

这是KGE的一种新的附加信息。通过从知识图谱实体描述中提取具有代表性的实体邻居，复合邻居为实体表示提供了更丰富的特征，克服了冗余和分布不平衡的问题。了为实体e生成复合邻居，提出了一个两步过程，如图1所示。

从知识图谱中提取两组邻居。在知识图谱三元组的邻居集中，本地邻居包括至少有一个知识图谱中包含e的三元组的实体。在实体描述的邻居集合中，我们通过完全匹配它们的名称来提取e的文本描述中提到的实体。这些语义邻居被定义为名称出现在e的描述中的实体，以及描述中提到了e名称的实体。所以它们是语义上的邻居。之后，从两个集合中最多抽取K个实体来组成e的复合邻居。由于一些实体拥有数百个邻居，我们首先选择同时出现在两个集合中的邻居。然后，用随机抽样的方法填充其余的复合邻居。

2、动态记忆网络编码器

DMN(Dynamic MemoryNetworks)网络模型包含输入、问题、情景记忆、回答四个模块，架构图如图2所示。模型首先会计算输入和问题的向量表示，然后根据问题触发Attention机制，使用门控的方法选择出跟问题相关的输入。然后情景记忆模块结合相关的输入和问题进行迭代生成记忆，并且生成一个答案的向量表示。

其中

输入模块

使用GRU(Gated Recurrent Unit门控循环单元结构)对输入进行编码，

对于单个句子：使用GRU中间的state作为输入；

对于多个句子：采用GRU在每个句子的最后状态作为输入。

问题模块

这部分与输入模块一样，就是使用GRU将问题编码成向量。

问题向量除了用于Attention外，还会作为记忆模块GRU的初始隐层状态。

情景记忆模块

这部分主要有三部分：注意力机制、记忆更新、多次迭代。

AttentionMechanism(注意力机制)：这里使用一个门控函数作为Attention。输入是本时刻的输入c，前一时刻的记忆m和问题q。首先计算相互之间的相似度作为特征向量传入一个两层的神经网络，最终计算出来的值就是门控函数的值，也就是该输入与问题之间的相似度(G是得分函数)。

得分函数G将特征集z(c，m，q)作为输入，并生成标量分数。我们首先定义一个特征向量来获取输入，记忆和问题向量之间的相似性：

z(c，m，q)＝[c，m，q，coq，com，|c-q|，|c-m|，c

G(c，m，q)＝σ(W

Memory Update Mechanism(记忆更新)：计算出门控函数的值之后，根据其大小对记忆进行更新。更新方法就是GRU算出的记忆乘以门控值，再加上原始记忆乘以1-门控值。

更新情景记忆m

Need for Multiple Episodes(多次迭代)：每次迭代关注不同的内容，这样传递推导，检索不同的信息。

回答模块

使用GRU最为本模块的模型，根据记忆模块最后的输出向量(将其作为初始隐层状态)，然后输入使用的是问题和上一时刻的输出值连接起来(每个时刻都是用问题向量)。并使用交叉熵损失函数作为loss进行反向传播训练。

我们使用另一个GRU，它的初始状态被初始化为最后一个记忆

y

a

3、KGE编码器和训练目标

在CoNE框架中，KGE解码器可以使用不同的KGE模型来进行链路预测。为了预测缺失的实体，分数函数f(eq，rq，ec)被用来测量潜在的三元关系。然而，不同于现有方法输入实体和关系嵌入向量直接得分函数，KGE解码器利用编码器的输出

采用三种KGE模型作为KGE解码器，包括TransE、ConvE和RotatE。对于TransE解码器，使用随机梯度下降(SGD)来最小化链路损耗，并应用Adam优化器来最小化ConvE和RotatE的损耗函数。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。