一种基于时空架构的时序知识图谱补全方法

摘要

本发明公开了一种基于时空架构的时序知识图谱补全方法，其特征在于，包括以下步骤：将待补全时序知识图谱按照其知识的时间标注划分为若干静态的知识集合，并通过每个集合中的知识分别构建若干知识网络，得到若干快照；构建多面图注意力网络，并将快照输入多面图注意力网络，获取实体在每个快照下的静态嵌入表示；构建自适应时序注意力机制，根据实体的静态嵌入表示并使用自适应时序注意力机制获取实体的最终嵌入表示；通过实体的最终嵌入表示计算待补全时序知识图谱中知识的置信度，并通过置信度预测待补全时序知识图谱中的缺失内容。本发明具有更高的扩展性与灵活性，能够与任意静态的补全方法相结合来进行时序知识图谱的补全任务。

说明书

技术领域

本发明属于知识图谱技术领域，具体涉及一种基于时空架构的时序知识图谱补全方法。

背景技术

时序知识图谱作为一种动态知识库系统，由于其在诸多现实领域具有良好的应用价值与可观的应用前景而在近年来备受关注。然而，由于抽取手段的限制与数据来源的复杂性，现有的大规模时序知识图谱依然面临着严重的不完整问题，其中的大量知识是缺失的。因此，旨在预测时序知识图谱中缺失知识的时序知识图谱补全任务成为了该领域近年来重要的研究课题。

静态知识图谱嵌入表示技术旨在将知识图谱中的元素映射到低维向量空间，由于其在静态知识图谱补全任务中的高效性而得到了广泛的关注。受到这类方法的启发，近年来一些工作尝试通过时序知识图谱嵌入表示技术来解决时序知识图谱的补全问题，主要包括四类，其中基于时序关系依赖的方法旨在利用关系之间的客观发生顺序(如对于一个人而言，“生于”应当发生于“死于”之前)来提高知识补全的准确性；基于时间超平面的方法通过将不同时间下的知识映射到不同的超平面上来分别对每个时间的知识进行补全；基于历时实体嵌入的方法将实体的嵌入表示看作一个与时间相关的非线性函数，并根据该嵌入表示衡量知识的置信度；基于张量分解的方法则利用邻接矩阵的低秩分解来预测时序知识图谱中的缺失知识。

尽管现有工作已经在时序知识图谱补全任务上取得了不错的成绩，然而现有工作有两个明显的不足：(1)首先，现有工作都将时序知识图谱当作一组独立的知识，进而独立地处理每个知识并分别为每个知识中的元素学习相应的嵌入表示。这种方式导致无法捕获时序知识图谱中丰富的图结构信息。时序知识图谱作为一种动态的异构网络，其固有的图结构信息能够反映不同的实体之间的复杂关系，从而体现出不同知识之间的内在相关性。(2)其次，现有工作大都独立地处理不同时刻的知识，这导致现有工作无法捕获不同时间的知识之间的相关性。事实上不同时间的知识之间具有密切的因果联系，忽略知识之间的时序相关性导致这些模型无法有效利用过去的相关知识并为当前的缺失知识做出准确的预测。因此，现有的基于表示学习的时序知识图谱补全方法的表现还远远不能令人满意。

发明内容

为了解决现有技术中的上述不足，不同于以往的方法单独地处理每个知识，本发明从时空数据建模的视角来学习时序知识图谱的嵌入表示并用于其补全任务。具体而言，本发明的创新点在于：首先，基于每个实体的自中心结构设计了一种全新的多面图注意力网络(Multi-Faceted Graph Attention Network)，相比于传统的图神经网络，它能够更为有效地捕获实体在每个快照中的结构信息。其次，我们提出了一种新的自适应时序注意力机制(Adaptive Temporal Attention Mechanism)，它能够灵活高效地建模实体嵌入表示在时间维度上的相关性。最后，我们的发明具有高度的灵活性与可扩展性，能够与任意的静态方法结合用于时序知识图谱的补全任务。综上，我们所提供的基于时空架构的时序知识图谱补全方法可以有效解决现有技术中存在的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于时空架构的时序知识图谱补全方法，包括以下步骤：

S1、将待补全时序知识图谱按照其知识的时间标注划分为若干静态的知识集合{G

S2、构建多面图注意力网络，并将快照输入多面图注意力网络，获取实体在每个快照下的静态嵌入表示

S3、构建自适应时序注意力机制，根据实体的静态嵌入表示并使用自适应时序注意力机制获取实体的最终嵌入表示

S4、通过实体的最终嵌入表示计算待补全时序知识图谱中知识的置信度，并通过置信度预测待补全时序知识图谱中的缺失内容，完成时序知识图谱补全。

进一步地，所述步骤S2中多面图注意力网络包括依次连接的输入层和判断单元，所述判断单元分别与三元特征计算单元、组特征计算单元、路径特征计算单元和第二全连接单元连接，所述三元特征计算单元、组特征计算单元和路径特征计算单元分别与第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元一一对应连接，所述第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元均依次通过特征联合单元和第一全连接单元与输出层连接，所述第二全连接层计算单元与输出层连接；

所述判断单元用于判断快照是否存在与其相关的知识；所述三元特征计算单元、组特征计算单元和路径特征计算单元分别用于计算三元特征、组特征和路径特征；所述第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元均用于聚合特征；所述特征联合单元用于联合特征；所述第一全连接单元和第二全连接单元均用于计算实体的嵌入表示以及将实体的关系映射至与实体嵌入表示相同的向量空间中；所述输出层用于输出嵌入表示结果。

进一步地，所述步骤S2中获取实体在每个快照下的静态嵌入表示的具体方法为：

S2.1、将快照G

S2.2、判断快照G

S2.3、基于实体e的自中心网络获取快照G

S2.4、根据三元特征、组特征、路径特征以及每种特征的重要性指标，通过加权平均的方式聚合每种特征，得到最终特征向量；

S2.5、将三种最终特征向量联合，并将联合向量通过一个全连接层处理，获取实体e在快照G

S2.6、将实体e的关系映射至与其嵌入表示相同的向量空间中，完成嵌入表示计算流程。

进一步地，所述步骤S2.3中快照G

其中，r

所述步骤S2.3中每种特征对实体e的重要性指标

其中，d表示三元特征、组特征或路径特征，m＝1,2,...,N

所述步骤S2.5中最终特征向量为：

所述实体e在快照G

所述实体e在快照G

其中，W表示第一全连接单元中的映射矩阵，W

所述步骤S2.6中将实体e的关系映射至与其嵌入表示相同的向量空间中的函数为：

Z＝W

其中，Z表示映射后的关系嵌入矩阵，R表示关系的初始嵌入矩阵，W

进一步地，所述步骤S3中根据实体的嵌入表示并使用自适应时序注意力机制获取实体的最终嵌入表示

S3.1、通过自适应遮罩函数获取t时刻的实体嵌入表示

S3.2、根据注意力遮罩，获取实体e在t时刻和t

S3.3、根据步骤S3.2获取的相关性，获取实体e在t时刻的最终嵌入表示

所述t时刻和t

进一步地，所述步骤S3.1中注意力遮罩函数m

所述

其中，λ表示基础衰减系数，

所述步骤S3.2中相关性

其中，t

所述步骤S3.3中最终嵌入表示

进一步地，所述步骤S4包括以下步骤：

S4.1、将所有实体组成实体集，并将知识中缺失实体的位置换成逐一替换为实体集中的实体，得到若干候选知识；

S4.2、计算每个候选知识的置信度，并将置信度按从小到大的顺序排列，选取置信度最大的候选知识作为补全后的知识，完成时序知识图谱补全。

进一步地，所述步骤S4.2中置信度f为：

其中，z

本发明的有益效果为：

(1)本发明基于节点的自中心结构设计了一个多面图注意力网络，基于该网络，能够有效地捕获时序知识图谱的结构信息并发掘知识之间的内在联系，从而有利于得到更为准确的缺失知识预测结果。

(2)本发明基于自适应时序注意力机制有效地建模知识在时间维度上的相关性，从而能够利用过去的相关知识为当前的缺失知识提供更为准确的预测。

(3)本发明具有更高的扩展性与灵活性，能够与任意静态的补全方法相结合来进行时序知识图谱的补全任务。

附图说明

图1为本发明提出的一种基于时空架构的时序知识图谱补全方法流程图。

图2为本发明中多面图注意力网络示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

在本实施例中，以电影时序知识图谱为例，进行电影时序知识图谱补全。

如图1所示，一种基于时空架构的时序知识图谱补全方法，包括以下步骤：

S1、将待补全电影时序知识图谱按照其知识的时间标注划分为若干静态的电影知识集合{G

S2、构建多面图注意力网络(Multi-Faceted Graph Attention Network)，并将快照输入多面图注意力网络，获取实体在每个快照下的静态嵌入表示

S3、构建自适应时序注意力机制(Adaptive Temporal Attention Mechanism)，根据实体的静态嵌入表示并使用自适应时序注意力机制获取实体的最终嵌入表示

S4、通过实体的最终嵌入表示计算待补全电影时序知识图谱中知识的置信度，并通过置信度预测待补全电影时序知识图谱中的缺失内容，完成时序知识图谱补全。

如图2所示，所述步骤S2中多面图注意力网络包括依次连接的输入层和判断单元，所述判断单元分别与三元特征计算单元、组特征计算单元、路径特征计算单元和第二全连接单元连接，所述三元特征计算单元、组特征计算单元和路径特征计算单元分别与第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元一一对应连接，所述第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元均依次通过特征联合单元和第一全连接单元与输出层连接，所述第二全连接层计算单元与输出层连接；

所述判断单元用于判断快照是否存在与其相关的知识；所述三元特征计算单元、组特征计算单元和路径特征计算单元分别用于计算三元特征、组特征和路径特征；所述第一注意力聚合单元、第二注意力聚合单元和第三注意力聚合单元均用于聚合特征；所述特征联合单元用于联合特征；所述第一全连接单元和第二全连接单元均用于计算实体的嵌入表示以及将实体的关系映射至与实体嵌入表示相同的向量空间中；所述输出层用于输出嵌入表示结果。

在本实施例中，第一全连接单元和第二全连接单元均为全连接层。

所述步骤S2中获取实体在每个快照下的静态嵌入表示的具体方法为：

S2.1、将快照G

S2.2、判断快照G

S2.3、基于实体e的自中心网络获取快照G

S2.4、根据三元特征、组特征、路径特征以及每种特征的重要性指标，通过加权平均的方式聚合每种特征，得到最终特征向量；

S2.5、将三种最终特征向量联合，并将联合向量通过一个全连接层处理，获取实体e在快照G

S2.6、将实体e的关系映射至与其嵌入表示相同的向量空间中，完成嵌入表示计算流程。

所述步骤S2.3中快照G

其中，r

对于每一个邻居实体e

所述步骤S2.3中每种特征对实体e的重要性指标

其中，d表示三元特征、组特征或路径特征，m＝1,2,...,N

所述步骤S2.5中最终特征向量为：

所述实体e在快照G

所述实体e在快照G

其中，W表示第一全连接单元中的映射矩阵，W

所述步骤S2.6中将实体e的关系映射至与其嵌入表示相同的向量空间中的函数为：

Z＝W

其中，Z表示映射后的关系嵌入矩阵，R表示关系的初始嵌入矩阵，W

所述步骤S3中根据实体的嵌入表示并使用自适应时序注意力机制获取实体的最终嵌入表示

S3.1、通过自适应遮罩函数获取t时刻的实体嵌入表示

S3.2、根据注意力遮罩，获取实体e在t时刻和t

S3.3、根据步骤S3.2获取的相关性，获取实体e在t时刻的最终嵌入表示

所述t时刻和t

所述步骤S3.1中注意力遮罩函数m

所述

其中，λ表示基础衰减系数，

所述步骤S3.2中相关性

其中，t

在本实施例中，激活函数为tanh()或relu()。

所述步骤S3.3中最终嵌入表示

所述步骤S4包括以下步骤：

S4.1、将所有实体组成实体集，并将知识中缺失实体的位置换成逐一替换为实体集中的实体，得到若干候选知识；

S4.2、计算每个候选知识的置信度，并将置信度按从小到大的顺序排列，选取置信度最大的候选知识作为补全后的知识，完成电影时序知识图谱补全。

所述步骤S4.2中置信度f为：

其中，z

如表1所示，本发明在现实世界数据集ICEWS14上的补全任务效果优于现有的方法，表中所有指标均为越高越好。

表1：实验结果对比

本发明的有益效果为：

(1)本发明基于节点的自中心结构设计了一个多面图注意力网络，基于该网络，能够有效地捕获时序知识图谱的结构信息并发掘知识之间的内在联系，从而有利于得到更为准确的缺失知识预测结果。

(2)本发明基于自适应时序注意力机制有效地建模知识在时间维度上的相关性，从而能够利用过去的相关知识为当前的缺失知识提供更为准确的预测。

(3)本发明具有更高的扩展性与灵活性，能够与任意静态的补全方法相结合来进行时序知识图谱的补全任务。