一种基于多轮生成策略的可解释性知识推理方法

摘要

本发明公开了一种基于多轮生成策略的可解释性知识推理方法，包括：给定待进行查询的知识图谱，并利用TransE模型，生成知识图谱中各实体的实体向量以及各关系的关系向量；获取查询条件，并识别查询条件中的实体之间的关系；计算知识图谱中各实体的实体向量与查询实体集中的实体的相似度，以获取候选实体集；基于查询条件中的实体以及实体之间的关系按照多轮生成策略；计算候选实体集中的候选实体与逻辑查询向量的相似度，并取相似度高于预设阈值的实体。本申请的方案实现了对于复杂查询生成一阶逻辑规则，利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多轮生成策略的可解释性知识推理方法。

背景技术

知识推理(Knowledge Reasoning)任务通常用于知识图谱检索与问答，旨在于知识图谱中查询复杂的、多跳的关系，是知识图谱应用的关键环节之一。

通常，将基于知识图谱的知识推理任务定义为：给定查询q作为“问题”，返回排序后的候选实体集合，在该集合中，与查询q相关性越高的实体排序越靠前，选择排序第一的实体作为该查询q的“答案”。对知识推理任务，例如：用户输入复杂的查询“Bill Gates的出生城市的所在州的所在国家”，算法返回排序后的候选实体集合，在该集合中排序最高的实体是“U.S.A.”。

查询q“Bill Gates的出生城市的所在州的所在国家”的链式逻辑规则为：

q("Bill Gates")：＝E

其中，实体e

(e

由于给定查询被表示成为了链式的逻辑规则，其中展示了一条可以被人类理解的推理路径、体现出关系的多跳传导。

现有技术中存在的技术问题：

传统知识推理技术要么无法生成答案产生的路径，要么无法对路径上缺失的节点进行补全并提供被补全节点的置信度，因此传统技术手段缺乏可解释性和可行性。

此外，传统知识推理方法将知识图谱的实体关系向量和查询向量分离训练，造成查询向量和实体关系向量难以在同一向量空间、同一标准下计算相似度。

传统知识推理技术在生成答案的时候，所选用的候选实体集合规模较大，造成较多的比较次数和较高的计算开销。

发明内容

本发明实施例提供一种基于多轮生成策略的可解释性知识推理方法，用以实现了对于复杂查询生成一阶逻辑规则，利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

本发明实施例提供一种基于多轮生成策略的可解释性知识推理方法，包括：

给定待进行查询的知识图谱，并利用TransE模型，生成所述知识图谱中各实体的实体向量以及各关系的关系向量；

获取查询条件，并识别所述查询条件中的实体之间的关系，以获得查询实体集；

计算所述知识图谱中各实体的实体向量与查询实体集中的实体的相似度，以获取候选实体集；

基于所述查询条件中的实体以及实体之间的关系按照多轮生成策略，生成逻辑查询向量；

计算所述候选实体集中的候选实体与所述逻辑查询向量的相似度，并取相似度高于预设阈值的实体，作为查询结果。

在一些实施例中，获取查询条件，并识别所述查询条件中的实体之间的关系，以获得查询实体集包括：

基于所述查询条件，使用命名实体识别模型和关系抽取模型识别所述查询条件中的实体之间的关系，以生成查询实体集。

在一些实施例中，计算所述知识图谱中各实体的实体向量与查询实体集中的实体的相似度，以获取候选实体集包括：

候选实体集合，采用如下方式生成：

E

其中，N(e)为实体e的邻居实体集合，N(r)为出现在关系r的头实体和尾实体上的所有实体集合，{e

在一些实施例中，基于所述查询条件中的实体以及实体之间的关系按照多轮生成策略，生成逻辑查询向量包括：

在第一轮，将实体e

在第二轮，基于实体向量e

重复轮，以生成逻辑查询向量q

将q

在一些实施例中，对于任一轮，若相应的实体向量e

对于候选实体集合中的每个实体e∈N(r

sim(e,q

取该余弦值最高的实体作为实体e

在一些实施例中，计算所述候选实体集中的候选实体与所述逻辑查询向量的相似度，并取相似度高于预设阈值的实体，作为查询结果包括：

对于候选实体集合中的每个实体e∈E

sim(e,q)

使用该余弦相似度对候选实体集合的所有实体排序，设置阈值ρ，取余弦相似度超过ρ的实体进入答案实体集合：

E

按照余弦相似对答案实体集合中的实体进行排序，取排序最高的实体作为查询结果e

在一些实施例中，还包括采用如下方式执行模型训练：

定义目标函数：

其中，m表示训练集中的查询的数量，q

使用随机梯度下降算法和反向传播算法，执行模型训练，直至模型收敛。

本申请实施例还提出一种可解释性知识推理装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于多轮生成策略的可解释性知识推理方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于多轮生成策略的可解释性知识推理方法的步骤。

本发明实施例实现了对于复杂查询生成一阶逻辑规则，利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例可解释性知识推理方法的基本流程图；

图2为本申请实施例可解释性知识推理方法的基本结构示例；

图3为本申请实施例可解释性知识推理方法的多轮生成策略流程示例。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种基于多轮生成策略的可解释性知识推理方法，包括：

在步骤S101中，给定待进行查询的知识图谱，并利用TransE模型，生成所述知识图谱中各实体的实体向量以及各关系的关系向量。具体的对于知识图谱中G的每个实体e的向量e、生成知识图谱G的每个关系r的向量r。

在步骤S102中，获取查询条件，并识别所述查询条件中的实体之间的关系，以获得查询实体集。例如对于给定的给定查询q，使用命名实体识别模型和关系抽取模型，识别查询q中的实体及其之间的关系，形成查询q的实体集合{e

在步骤S103中，计算所述知识图谱中各实体的实体向量与查询实体集中的实体的相似度，以获取候选实体集。因为知识图谱G中通常包含数量庞大的实体，因此计算所有实体与给定逻辑查询q的相似度，会产生极大的计算开销。本示例中通过生成候选实体集合的方式解决了上述技术问题。

在步骤S104中，基于所述查询条件中的实体以及实体之间的关系按照多轮生成策略，生成逻辑查询向量。利用本申请提出的多轮生成策略来获得最终的逻辑查询向量。

在步骤S105中，计算所述候选实体集中的候选实体与所述逻辑查询向量的相似度，并取相似度高于预设阈值的实体，作为查询结果。

本申请中的知识图谱可以是应用本申请技术的用户的自有图谱，也可以是开源图谱。在一些具体示例中将本申请的知识推理方法应用于在百科类知识图谱Freebase上进行自动问答的任务。百科类知识图谱由百科类事实(Fact)构成，一条事实表示为一个三元组(头实体，关系，尾实体)，表示头实体和尾实体之间存在特定关系，例如以三元组(Steve_Jobs,Founder_Of,Apple)为例，表示史蒂夫·乔布斯(Steve_Jobs)是苹果公司(Apple)的创始人(Founder_Of)，即：史蒂夫·乔布斯与苹果公司之间存在创办关系。在百科类知识图谱Freebase上进行自动问答的任务，可以定义为：给定百科类知识图谱Freebase，用户提出自然语言形式描述的问题，系统在百科类知识图谱Freebase进行查询并将答案反馈给用户。

本发明实施例实现了对于复杂查询生成一阶逻辑规则，利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

在一些实施例中，获取查询条件，并识别所述查询条件中的实体之间的关系，以获得查询实体集包括：基于所述查询条件，使用命名实体识别模型和关系抽取模型识别所述查询条件中的实体之间的关系，以生成查询实体集。

具体的，对于给定查询q，使用命名实体识别模型和关系抽取模型，形成查询q的实体集合({e

基于上述实体和关系，构成如下三元组：

{(e

进而，给定的查询q可以表示成一阶逻辑规则形式：

(e

在一些实施例中，计算所述知识图谱中各实体的实体向量与查询实体集中的实体的相似度，以获取候选实体集包括：

定义N(e)为实体e的邻居实体集合，即在知识图谱G中与实体e有连边的实体的集合；定义N(r)为出现在关系r的头实体和尾实体上的所有实体集合。由此候选实体集合，采用如下方式生成：

E

其中，{e

在一些实施例中，基于所述查询条件中的实体以及实体之间的关系按照多轮生成策略，生成逻辑查询向量包括：

在第一轮，将实体e

在第二轮，基于实体向量e

重复轮，以生成逻辑查询向量q

将q

基于表示学习的知识推理任务的一项重要环节，是对给定的逻辑查询q生成具有表现能力的向量q，该向量应该涵盖逻辑查询q中所包含的众多实体({e

如图2、图3所示，本示例还提出一种多轮生成策略，来生成向量q，每一轮均会生成一个向量q的表示(依次表示为{q

第一轮(生成q

q

第二轮(生成q

q

如果实体e

sim(e,q

取该余弦值最高的实体作为实体e

第三轮(生成q

q

如果实体e

sim(e,q

取该余弦值最高的实体作为实体e

类似的：

第i轮(生成q

q

如果实体e

sim(e,q

取该余弦值最高的实体作为实体e

第n+1轮(生成q

q

最终，取向量q

q＝q

在一些实施例中，对于任一轮，若相应的实体向量e

对于候选实体集合中的每个实体e∈N(r

sim(e,q

取该余弦值最高的实体作为实体e

在一些实施例中，计算所述候选实体集中的候选实体与所述逻辑查询向量的相似度，并取相似度高于预设阈值的实体，作为查询结果包括：

对于候选实体集合中的每个实体e∈E

sim(e,q)

使用该余弦相似度对候选实体集合的所有实体排序，设置阈值ρ，取余弦相似度超过ρ的实体进入答案实体集合：

E

按照余弦相似对答案实体集合中的实体进行排序，取排序最高的实体作为查询结果e

在一些实施例中，还包括采用如下方式执行模型训练：

定义目标函数：

其中，m表示训练集中的查询的数量，q

使用随机梯度下降算法和反向传播算法，执行模型训练，直至模型收敛。本申请的方法将知识图谱的实体关系向量和逻辑查询向量在同一空间协同训练，实现了对实体关系向量和逻辑查询向量更精准、科学、公平的相似度度量。

本示例中的模块关系如图2所示，包括：

(1)实体向量和关系向量初始化模块：将知识图谱G中所有元素(包括实体、关系)映射到统一的语义空间中，成为该语义空间中的向量。

(2)查询理解模块：针对可解释性知识推理任务，旨在理解用户所给定的查询q的逻辑形式，将其表示为一阶逻辑规则形式。

(3)候选实体集合生成模块：从知识图谱G的全部实体E中抽取实体，形成候选实体集合。

(4)逻辑查询向量生成模块：基于多轮生成策略，将给定查询q映射到统一的语义空间中，成为该语义空间中的向量。其中，逻辑化查询嵌入是通过折叠机制生成的。

(5)答案实体集合生成模块：利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

(6)目标函数训练模块：通过构建和训练目标函数，生成和迭代更新本发明所提出的基于多轮生成策略的可解释性知识推理方法的参数，直至收敛。

本申请的方法，基于多轮生成策略，实现了对于复杂查询生成和建模一阶逻辑规则，利用语义相似度度量给定查询与候选实体之间的相关性，生成答案实体集合。

本申请的方法能够有效地定位候选实体和生成候选实体集合，避免了在知识图谱数量庞大的全部实体上去遴选答案，有效降低了计算开销。

本申请实施例还提出一种可解释性知识推理装置，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于多轮生成策略的可解释性知识推理方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于多轮生成策略的可解释性知识推理方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。