一种基于全局至局部聚合裂变网络的事实验证方法及系统

摘要

本申请公开了一种基于全局至局部聚合裂变网络的事实验证方法及系统，该方法包括：将获取的证据语句解析为语义级关系三元组并作为证据节点构建全连接图；执行多跳实体级推理，更新证据节点的初始隐层表征获得第一裂变表征；分别将每个证据节点的第一聚合表征进行邻域信息聚合操作，得到第二聚合表征；根据所述第二聚合表征选取预设数量个价值度最高的证据节点；根据选取的证据节点以及声明的表征信息计算预测概率，输出预测概率最大的预测标签作为所述声明的验证结果；本发明通过全局至局部聚合裂变网络，获得细粒度的线索表征，并采用与迭代操作实现多跳推理以及更高阶的信息聚合，获取足够的逻辑关系，提高了事实语义验证的效率和准确性。

说明书

技术领域

本申请涉及自然语言推理与事实验证技术领域，更具体地，涉及一种基于全局至局部聚合裂变网络的事实验证系统。

背景技术

随着互联网的快速发展，数据信息也迎来一个爆炸式增长的时代。但在互联网上除了正确的信息以外，还存在着大量的虚假信息，譬如假新闻、谣言、政治欺骗等。因此，如何对互联网上存在的信息进行真伪判断，成为一个亟待解决的问题。事实验证任务便是指给出一个声明，要求系统从大规模文本语料库中抽取相关句子作为证据，并利用这些证据验证并判断声明的真实性。系统需要给出基于证据对声明所做出的三类判断：支持(SUPPORTED)、反对(REFUTED)或信息不足(NOT ENOUGH INFO)。

近年来，许多传统的事实验证系统使用自然语言推理技术进行证据和声明之间的关系挖掘以输出判断。而这些已有的事实验证系统通常使用三级流水线结构完成事实验证任务：首先进行文档抽取，之后进入证据抽取环节，最后进行声明验证。对于文档抽取步骤，主要存在三种思路。一是实体链接，即将文本中的某些字符串映射至知识库中对应的实体之上；二是成分分析加关键词匹配；三是成分分析加在线检索。而证据抽取可以通过关键词匹配或有监督分类这两种方式实现，例如使用ESIM增强序列推理模型计算语句间的相似度得分。声明验证步骤，也是现有大多数模型主要关注的环节。例如，Yoneda等人提出的模型推断每个声明-证据对的准确性，并通过聚合多个预测标签输出最终预测；Hanselowski等人提出的模型分别对每个声明-证据对进行编码，最终使用池化函数聚合特征用于预测。但大多数现有的传统事实验证方法都仅使用简单的模型从证据中提取相关信息，没有考虑到各个证据之间的联系，这也在一定程度上限制了其性能表现。

进一步地，通过将多证据推理集成至基于构造证据图的事实验证中，学术界提出了许多图增强自然语言推理模型，并实现了更为优异的性能表现。其中的GEAR模型首次使用BERT对证据进行编码，并设计了一个图神经网络，通过将每个证据视为一个节点对构造证据图进行信息聚合操作。DREAM模型则采用XLNet，并使用GCN和GAT对建立的语义级图进行证据推理。KGAT则创新性地采用核图注意力网络，通过在证据图上统一边缘核机制与节点核机制实现信息聚合。

虽然现有的事实验证模型已经取得了显著的进展，但依然存在以下几处不足。第一处不足是缺乏细粒度的证据线索表征，现有的模型要么将证据语句连接为单个字符串，要么只是将每个证据-声明对看作单个句子级节点。由于这些模型仅仅是在语句层面进行信息聚合，因此在实现细粒度推理方面存在很大困难。例如对于声明“长城由罗布泊延伸至沈阳”，而现有证据表明长城延伸至“丹东”而非“沈阳”，这便要求模型能区分真伪陈述之间的细微区别，但现有模型大多难以对这些关键实体做出如此细致的区分。第二处不足是难以获取足够的逻辑关系和基于跳点的声明验证。由于互联网上存在的虚假声明往往是人为捏造的，所以它们在语义层面上可能是合理的，但在逻辑层面上得不到事实支持，故而需要模型通过已有线索获取足够的逻辑关系，进行多跳推理以做出准确判断。以声明“罗德尼金骚乱发生在美国人口最多的县”为例，证据线索表明“罗德尼金骚乱发生在洛杉矶县”、“洛杉矶县是美国人口最多的县”，事实验证模型必须以“洛杉矶县”为核心进行挖掘，并获取“罗德尼金骚乱”和“美国人口最多的县”这二者之间的潜在关系，通过多跳推理才能做出准确判断。第三处不足是缺乏对于噪声证据的滤波机制。由于在进行事实验证过程中的证据语句是从复杂的背景语料库中检索出来的，将不可避免地引入噪声。更为糟糕的是，这些噪声可能会在后续的转换处理中被进一步放大，影响事实验证系统的性能表现。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于全局至局部聚合裂变网络的事实验证方法及系统，通过提取细粒度的证据线索表征信息，实现复杂逻辑关系下的事实验证，其目的在于提高声明验证的准确性。

为实现上述目的，按照本发明的一个方面，提供了一种基于全局至局部聚合裂变网络的事实验证方法，所述方法包括以下步骤；

获取声明与多个证据语句，将每个所述证据语句解析为至少一个语义级关系三元组；以各所述语义级关系三元组作为证据节点构建全连接图并分别生成每个证据节点的初始隐层表征；

在每个证据节点及其相邻证据节点之间进行多跳实体级对象推理，根据所述相邻证据节点的初始隐层表征对证据节点的初始隐层表征进行更新，获得每个证据节点的第一裂变表征并将其转换为第一聚合表征；

分别将每个证据节点的第一聚合表征进行邻域信息聚合操作，得到第二聚合表征；

根据所述第二聚合表征从全连接图中选取预设数量个价值度最高的证据节点；

根据选取的证据节点的第二聚合表征以及声明的初始隐层表征计算预测概率，输出所述预测概率最大的预测标签作为所述声明的验证结果。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，还包括：

将每个证据节点的第二聚合表征转换为第二裂变表征，基于所述第二裂变表征对每个证据节点迭代执行邻域信息聚合操作。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述第一裂变表征的获取方式具体为：

对于每个证据节点，分别计算其初始隐层表征中的对象表征与每个相邻证据节点的初始隐层表征中的主体表征之间的第一向量相似度；

根据所述第一向量相似度分别计算每个相邻证据节点对应的第一注意力权重；

根据所述第一注意力权重及相邻证据节点的初始隐层表征计算表征相邻证据节点的注意力向量；

根据所述注意力向量及证据节点的对象表征更新证据节点的初始隐层表征，得到第一裂变表征。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述分别将每个证据节点的第一聚合表征进行邻域信息操作，得到第二聚合表征具体为：

根据每个证据节点及其相邻证据节点的第一聚合表征计算节点之间的第二向量相似度；

根据所述第二向量相似度分别计算每个相邻证据节点对应的第二注意力权重；

根据所述第二注意力权重将各相邻证据节点的第一聚合表征进行整合，得到每个证据节点的第二聚合表征。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述根据第二聚合表征从全连接图中选取预设数量个价值度最高的证据节点，具体为：

计算声明的初始隐层表征与每个证据节点之间的第二聚合表征之间的语义相似度；

通过池化操作选取预设数量个语义相似度最高的证据节点。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述根据选取的证据节点的第二聚合表征以及声明的初始隐层表征计算预测概率具体为；

根据声明的初始隐层表征与选取的证据节点的第二聚合表征生成细粒度标签预测概率；

根据声明的初始隐层表征与所述选取的证据节点的第二聚合表征之间的语义相似度计算证据选择概率；

通过所述细粒度标签预测概率与证据选择概率计算预测概率。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述预测概率为选取的各证据节点的细粒度标签预测概率与证据选择概率的乘积之和。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述语义级关系三元组包括证据节点的主体、关系和对象；每个证据节点的初始隐层表征包括主体表征、关系表征和对象表征。

进一步的，上述基于全局至局部聚合裂变网络的事实验证方法，所述预测标签为支持、反对以及信息不足中的任一者。

按照本发明的另一个方面，提供了一种基于全局至局部聚合裂变网络的事实验证系统，其包括：

全局语义编码器，获取声明与多个证据语句，将每个所述证据语句解析为至少一个语义级关系三元组；以各所述语义级关系三元组作为证据节点构建全连接图并分别生成每个证据节点的初始隐层表征；

局部裂变推理层，在每个证据节点及其相邻证据节点之间进行多跳实体级对象推理，根据所述相邻证据节点的初始隐层表征对证据节点的初始隐层表征进行更新，获得每个证据节点的第一裂变表征并将其转换为第一聚合表征；

全局证据聚合层，分别将每个证据节点的第一聚合表征进行邻域信息聚合操作，得到第二聚合表征；

池化层，根据所述第二聚合表征从全连接图中选取预设数量个价值度最高的证据节点；

多层感知器，根据选取的证据节点的第二聚合表征以及声明的初始隐层表征计算预测概率，输出所述预测概率最大的预测标签作为所述声明的验证结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的一种基于全局至局部聚合裂变网络的事实验证方法及系统，在每个证据节点及其相邻证据节点之间进行多跳实体级对象推理，计算目标证据节点的第一裂变表征，可以获得细粒度的线索表征，解决了细粒度推理问题；通过选取预设数量个价值度最高的证据节点，过滤价值度较低的证据节点进行事实语义的验证，提高了事实语义验证的效率与准确性；

(2)本发明提供的一种基于全局至局部聚合裂变网络的事实验证系统，通过在全局至局部聚合裂变网络模型中进行迭代执行多跳实体级对象推理与邻域信息聚合操作，可以实现多跳推理以及更高阶的信息聚合，以获取足够的逻辑关系来进行更为准确的事实验证。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例提供的一种基于全局至局部聚合裂变网络的事实验证方法流程图；

图2为本实施例多跳实体级对象推理的工作机制图；

图3为本实施例邻域信息聚合操作的工作机制图；

图4为本实施例提供的全局至局部聚合裂变算法的工作流程图；

图5为本实施例提供的一种基于全局至局部聚合裂变网络的事实验证系统结构图；

图6为本实施例提供的注意力值可视化结果图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

此外，为了避免使技术人员对本发明的理解模糊，可能不详细地描述或示出公知的或广泛使用的技术、元件、结构和处理。尽管附图表示本发明的示例性实施例，但是附图不必按照比例绘制，并且特定的特征可被放大或省略，以便更好地示出和解释本发明。

针对已有事实验证模型存在的缺乏细粒度的证据线索表征、难以获取足够的逻辑关系和基于跳点的声明验证以及缺乏对于噪声证据的滤波机制等不足，本申请提出了一种基于全局至局部聚合裂变网络的事实验证方案，来完成事实验证任务。在本申请中，通过将证据语句解析为三级推理线索，并将线索建模为由主体实体映射至对象实体的函数，解决了具有挑战性的细粒度推理问题。本申请在FEVER数据集上的实验结果获得了76.2％的测试成绩，达到了相当优秀的性能。

一方面，本实施例提供了一种基于全局至局部聚合裂变网络的事实验证方法，图1为本实施例提供的一种基于全局至局部聚合裂变网络的事实验证方法流程图，请参阅图1，该事实验证方法包括以下步骤：

(1)获取声明与多个证据语句，将每个所述证据语句解析为至少一个语义级关系三元组；以各所述语义级关系三元组作为证据节点构建全连接图并分别生成每个证据节点的初始隐层表征；

具体的，获取给定声明c与l条证据语句，从l条证据语句中提取出n个语义级关系三元组，将语义级关系三元组作为证据节点构造证据图G，将证据语句解析为三级推理线索，将线索建模为由主体实体映射至对象实体的函数，证据节点的集合可表示为式(1)，

E＝{e

其中，1≤i≤n，n为大于1的自然数。

在一个具体示例中，证据节点的集合E中的语义级关系三元组是通过在l条证据语句上应用已有的语义角色标记(SRL)工具所得到的，而每一条证据语句都可以被解析为多个语义级关系三元组。

语义级关系三元组包括证据节点的主体、关系和对象，对于证据节点e

e

其中，s

证据节点集合E中的n个证据节点通过边相连接，最终构造出全连接图(证据图)G。基于全连接图G，通过对语义级关系三元组(图节点)执行推理过程得到预测概率，最终以概率最大的预测标签作为声明验证结果返回。

本实施例中，语义角色标记SRL工具将每个语义级关系三元组连接为“[CLS]主体[SEP]关系[SEP]对象”，其中，[CLS]标志位于句首，[SEP]标志用于分开输入语句。将“[CLS]主体[SEP]关系[SEP]对象”输入至BERT模型，获得所有证据节点与声明节点的初始隐层表征，并输出证据节点的初始隐层表征。其中，每个证据节点的初始隐层表征包括主体表征、关系表征和对象表征。

对于证据节点e

类似地，声明节点初始隐层表征计算方式见式(4)，

(2)在每个证据节点及其相邻证据节点之间进行多跳实体级对象推理，根据所述相邻证据节点的初始隐层表征对证据节点的初始隐层表征进行更新，获得每个证据节点的第一裂变表征并将其转换为第一聚合表征；

具体的，对于每个证据节点，分别计算其初始隐层表征中的对象表征与每个相邻证据节点的初始隐层表征中的主体表征之间的第一向量相似度；根据第一向量相似度分别计算每个相邻证据节点对应的第一注意力权重；根据第一注意力权重及相邻证据节点的初始隐层表征计算表征相邻证据节点的注意力向量；根据所述注意力向量及证据节点的对象表征更新证据节点的初始隐层表征，得到第一裂变表征。

图2为本实施例多跳实体级对象推理工作机制图，不同于已有的将整条证据语句作为节点的推理模型，本实施例执行实体级别的对象推理。具体来说，请参阅图2，对于证据节点e

其中，

再通过归一化计算得到证据节点e

其中，

根据证据节点e

进一步地，根据上述注意力向量与证据节点的对象表征，更新证据节点e

其中，W

更新后的证据节点e

最后，为了便于后续的全局信息共享，对每个证据节点进行聚合操作，将第一裂变表征转换为第一聚合表征表示为式(10)，

其中，

(3)分别将每个证据节点的第一聚合表征进行邻域信息聚合操作，得到第二聚合表征；

具体的，根据每个证据节点及其相邻证据节点的第一聚合表征计算节点之间的第二向量相似度；根据第二向量相似度分别计算每个相邻证据节点对应的第二注意力权重；根据第二注意力权重将各相邻证据节点的第一聚合表征进行整合，得到每个证据节点的第二聚合表征。

图3为本实施例邻域信息聚合操作的工作机制图，请参阅图3，对于证据节点e

其中，

再通过归一化计算得到证据节点e

在整合周围n个证据节点(包括自身)的第一聚合表征后，根据证据节点e

同时，为了在后续迭代中执行全局聚合操作，需要执行裂变操作，将第二聚合表征转换为第二裂变表征表示为式(14)，

其中

归一化计算可使用softmax函数，当然也可选用其他函数，本实施例不做具体限制。

图4为本实施例提供的全局至局部聚合裂变算法的工作流程图，请参阅图4，通过迭代执行多跳实体对象推理和邻域信息聚合，便可以实现多跳推理及更高阶的信息聚合，以获取足够的逻辑关系来进行更为准确的事实验证。

(4)根据所述第二聚合表征从全连接图中选取预设数量个价值度最高的证据节点；

通过池化操作，采用噪声滤波机制，进行证据节点的选择，过滤证据不足的证据节点，从全连接图中选取预设数量个价值度最高的证据节点。具体的，首先计算声明的初始隐层表征与每个证据节点之间的第二聚合表征之间的语义相似度；再通过池化操作选取预设数量个语义相似度最高的证据节点。

当已执行完毕t次迭代操作，将丢弃线索偏少的证据节点，给定一个参数k，选择出k个最有价值的证据节点。其形式化定义如下式(15)，

E

其中，E

证据节点e

其中，

(5)根据选取的证据节点的第二聚合表征以及声明的初始隐层表征计算预测概率，输出所述预测概率最大的预测标签作为所述声明的验证结果。其中，预测标签为支持、反对以及信息不足中的任一者。

事实验证任务旨在根据多条证据语句来验证声明的准确性，并返回预测标签；预测标签∈{支持，反对，信息不足}。

具体的，根据声明的初始隐层表征与选取的证据节点的第二聚合表征生成细粒度标签预测概率；根据声明的初始隐层表征与选取的证据节点的第二聚合表征之间的语义相似度计算证据选择概率；通过细粒度标签预测概率与证据选择概率计算预测概率。

本实施例遵循标准的图标签预测设置，将预测划分为两个组成部分：证据选择概率P(e

根据声明的初始隐层表征与选取的证据节点的第二聚合表征生成细粒度标签预测概率，可表示为式(17)，

其中，

根据选取的证据节点的第二聚合表征与声明c的初始隐层表征之间的语义相似度计算得到证据选择概率表示为式(18)，

选取的各证据节点的细粒度标签预测概率与证据选择概率的乘积之和即为最终的预测概率，可表示为式(19)，

模型训练的目标损失函数为最小化交叉熵，表示为式(20)，

L＝CrossEntropy(y

其中，y

另一方面，本实施例还提供了一种基于全局至局部聚合裂变网络的事实验证系统，图5为本实施例提供的一种基于全局至局部聚合裂变网络的事实验证系统结构图，请参阅图5，该事实验证系统包括：

全局语义编码器(GSE)，获取声明与多个证据语句，将每个所述证据语句解析为至少一个语义级关系三元组；以各所述语义级关系三元组作为证据节点构建全连接图并分别生成每个证据节点的初始隐层表征；

本实施例中，全局语义编码器用于获得声明c以及全连接图G内所有证据节点的初始表征；在全局语义编码器中，首先通过语义角色标记(SRL)工具从证据语句中提取出语义关系三元组作为证据节点，并将每个三元组连接为“[CLS]主体[SEP]关系[SEP]对象”([CLS]标志位于句首，[SEP]标志用于分开输入语句)作为BERT的输入，而后通过BERT获得所有节点的初始隐层表征。

局部裂变推理层(LFR)，在每个证据节点及其相邻证据节点之间进行多跳实体级对象推理，根据所述相邻证据节点的初始隐层表征对证据节点的初始隐层表征进行更新，获得每个证据节点的第一裂变表征并将其转换为第一聚合表征；

为了实现细粒度的声明验证，需要更新三元组节点中的对象信息，本实施例采用局部裂变推理层在目标节点与其连接节点之间进行2跳实体级推理，并最终得到更新后的对象表征。具体的，局部裂变推理层以全局语义编码器的输出表征作为输入，负责对细粒度的声明验证进行2跳对象级推理，并输出更新后的节点表征，这些节点表征在经过聚合操作后会作为全局证据聚合层的输入。

全局证据聚合层(GEA)，分别将每个证据节点的第一聚合表征进行邻域信息聚合操作，得到第二聚合表征；

本实施例中，全局证据聚合层通过执行1阶邻域信息集成操作实现证据信息共享，全局证据聚合层的引入是为了实现信息共享及多证据联合推理。

池化层，根据所述第二聚合表征从全连接图中选取预设数量个价值度最高的证据节点；

为了克服已有方法缺乏噪声证据滤波机制的不足，本实施例采用图池化层进行节点选择及噪声过滤；池化层通过图池化操作过滤存在的噪声数据，并通过生成证据选择概率P(e

多层感知器(MLP)，根据选取的证据节点的第二聚合表征以及声明的初始隐层表征计算预测概率，输出所述预测概率最大的预测标签作为所述声明的验证结果。

需要说明的是，局部裂变推理层和全局证据聚合层可以分别执行2跳推理以及1阶邻域聚合，通过迭代执行局部裂变推理和全局证据聚合，便可以实现多跳推理及更高阶的信息聚合，以获取足够的逻辑关系来进行更为准确的事实验证。

在一个具体的实施例中，表1为声明及证据示例，请参阅表1：

表1声明及证据示例

表2为声明及证据线索示例，通过语义角色标记SRL工具从证据语句中提取出语义级关系三元组，可得到如表2所示的声明线索及证据线索：

表2声明及证据线索示例

图6为本实施例提供的注意力值可视化结果图，在证据节点经过局部裂变推理层与全局证据聚合层后，计算得到的注意力值可视化如图6所示，前四列分别表示节点0-3(分别对应表2中四条证据三元组)的第二注意力权重，最后一列表示证据节点的价值度。

从图4可以看出，通过聚合周围证据节点信息，证据节点1具有最高价值(0.982)，且其价值主要来自于聚合证据节点2以及证据节点3的相关信息，而证据节点2(0.125)语义价值较低，将被池化层过滤。因此可以进一步推断出2跳推理链为节点1至节点3，即由证据(The Rodney King riots,occurred in,Los Angeles County)和(Los Angeles County,is,the most populous county in the USA)推断出声明成立，输出预测标签“支持”。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。