对短文本进行常识性因果推理的方法

摘要

本发明提供了一种对短文本进行常识性因果推理的方法，包括如下步骤：步骤1：构建因果知识网络；步骤2：基于因果推理算法对短文本进行因果分析，得到文本间所蕴含常识性因果关系强度的排序机制，该技术方法可应用到现有问答系统中，改善其对因果问题(为什么‑问题)的回答结果。本发明中的方法采用因果模式来分析短文本的因果关系，并通过设定滑动窗口大小来保证覆盖面，相较于传统的在互联网文本语料库提取因果关系的方法更加准确；并且利用充分性因果和必要性因果结合的方式解决了有效度量词项间因果关系强度的问题。

说明书

技术领域

本发明涉及计算机技术领域的自然语言处理技术领域，具体地，涉及一种对短文本进行常识性因果推理的方法。

背景技术

常识性因果推理体现了实现人工智能最本质的挑战，但近年来相关工作进展缓慢。现有知识库中的因果知识都是由人工编撰，数量规模极为有限。人们亟需大规模的常识性因果知识库来帮助实现在常识性因果推理问题上的研究突破。

因果关系的识别和抽取可以看作是进行因果推理的预处理步骤。存在一些人工编撰的常识性因果知识(参见Liu,H.,and Singh,P.Commonsense reasoning in and overnatural language,Springer 2004)。但这些知识库大小有限，非常耗时耗力，人们更多的转向研究自动化因果知识提取系统。在过去的研究中，自动化因果识别及提取任务通常被归结为一个判别因果/非因果的二分类问题。R.Girju(参见R.Girju.Automatic detectionof causal relations for question answering,ACL workshop 2003)提取名词间存在的因果关系，Chang,D.(参见Chang,D.,and Choi,K.Causal relation extraction usingcue phrase and lexical pair probabilities,IJCNLP 2004)提出了一种非监督方法，利用词汇和因果线索作为特征来识别文本中的因果关系。然而这种方法忽略了因果线索的上下文对语义造成的影响。因果关系提取方法利用了这些上下文信息，构建出更大更有效的因果关系网络。

进行常识性因果推理不仅需要大量因果关系知识，还要求系统能够对这些因果关系进行度量。很多现存的因果知识库并没有提供这种可靠的度量方法(参见Gordon,J.；VanDurme,B.；and Schubert,L.K.Learning from the web:Extracting general worldknowledge from noisy text,Collaboratively-Built Knowledge Sources and AI2010.)。直至近来，基于点互信息的因果度量方法在因果推理任务重取得了一定成效。我们提出的因果度量方法，对因果关系强度的构成进行了更加细致精确的建模，更有效的完成了因果推理任务。

本发明提出的技术方案可用于改善现存问题系统对因果问题(通常为Why-Questions，即为什么-问题)的回答结果。例如，Why do birds sing？(鸟儿为什么唱歌？)回答这类问题与回答传统问答系统的factoid questions不同，需要用到因果知识。传统的问答系统能较好的回答factoid questions，一个factoid question的例子是：Where is theLouvre located？(罗浮宫位于哪里？)要回答上述问题需要从语料中抽取实体间的二元关系“Located-in”(位于)，如factoria：Louvre is located in French.(卢浮宫位于法国。)中，Louvre(卢浮宫)和French(法国)都是实体，且它们之间存在“Located-in”(位于)的关系，则问答系统可以根据这条factoria知识，回答上述factoid question。

而因果问题所涉及的因果关系相对于这种存在于factorias中的实体关系往往复杂的多。首先，在自然语言中因果关系并没有像实体关系“Located-in”这样相对简单明确的二元关系文本表示，人们描述因果关系的方式多种多样；其次，因果关系并非存在于实体之间而是存在于事件之间，因而我们并不能像抽取实体关系那样通过识别实体来抽取因果知识；这给因果知识的抽取增加了难度。

由于上述因果关系的复杂性，目前并没有有效可靠的因果知识库来帮助问答系统回答因果问题。本发明从互联网获取海量文本语料，提出了一种有效抽取因果知识的方法，自动构建具有一定规模的因果网络知识库，并设计了一套算法利用该因果网络对短文本进行因果分析，从而帮助问答系统更好的回答因果问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种对短文本进行常识性因果推理的方法。

根据本发明提供的对短文本进行常识性因果推理的方法，其特征在于，包括如下步骤：

步骤1：构建因果知识网络；

步骤2：基于因果推理算法对短文本进行因果分析，得到文本间所蕴含常识性因果关系强度的排序机制，该技术方法可应用于到现有问答系统中，改善其对因果问题(为什么-问题)的回答结果。

优选地，所述步骤1包括：

步骤1.1：建立因果模式，所述因果模式包括：句中因果模式、句间因果模式，分别用于提取蕴含在句子中和句子段落间的因果关系获得因果知识；并根据句子中和句子段落间的因果关系标示出蕴含原因、结果对应词汇所在的位置；

步骤1.2：利用步骤1.1中建立的因果模式来抽取因果对，因果对包括原因(cause)和结果(effect)两部分，即<原因，结果>词项对，这种因果知识的表示形式便于建立因果知识网络；

步骤1.3：通过因果模式从文本语料库中抽取的因果知识构建因果知识网络，因果知识网络的结点为词项，边为有向带权边，权重为相应因果对在文本语料中所有因果模式下的共现次数总和。

优选地，所述步骤2中的因果推理算法包括：正向和反向两种因果推理，正向推理即给定前提作为原因返回给定的一系列结果的排名，反向推理即给定前提作为结果返回给定的一系列原因的排名。

优选地，所述步骤1.1中通过设置固定窗口大小，提取在匹配到因果模式原因和结果的文本段中的词项，两两配对形成提取的因果对。

优选地，所述步骤2中的因果推理算法如下：

从因果关系主要表现为充分性因果和必要性因果相结合的角度出发，分别对充分性因果关系和必要性因果关系强度进行建模；其中，

充分性因果强度的计算公式如下：

$>{\mathrm{CS}}_{suf}(i_c,j_e)=\frac{p\left(j_e\right|i_c)}{p^{\alpha }\left(j_e\right)}=\frac{p(i_c,j_e)}{p\left(i_c\right)p^{\alpha }\left(j_e\right)}$>

必要性因果强度的计算公式如下：

$>{\mathrm{CS}}_{nec}(i_c,j_e)=\frac{p\left(i_c\right|j_e)}{p^{\alpha }\left(i_c\right)}=\frac{p(i_c,j_e)}{p^{\alpha }\left(i_c\right)p\left(j_e\right)}$>

式中：i和j皆为词项，(i_c,j_e)为因果关系对，其中i_c表示词项i作为原因，j_e表示词项j作为结果。CS_suf(i_c,j_e)为因果关系对(i_c,j_e)所蕴含的充分性因果关系强度；CS_nec(i_c,j_e)为因果关系对(i_c,j_e)所蕴含的必要性因果关系的强度；其中，p(i_c)表示词项i作为原因的先验概率，p(j_e)表示词项j作为结果的先验概率，p(i_c,j_e)表示因果关系对(i_c,j_e)出现的先验概率；p(j_e|i_c)表示已知词项i作为原因其结果为词项j的条件概率；α为指数惩罚常数，用于惩罚语料中的高频词汇。

基于词项的因果度量CS(i_c,j_e)，用于表示因果词项对(i_c,j_e)蕴含的因果关系强度，将该因果关系对(i_c,j_e)蕴含的充分性因果强度和必要性因果强度有机结合在一起。

定义公式如下：

CS(i_c,j_e)＝CS_nec(i_c,j_e)^λCS_suf(i_c,j_e)^1-λ

将词项间因果强度的度量方法扩展到短文本间，需要考虑短文中包含的有效词汇，原因中的有效词和结果中的有效词形成因果对，将所有因果对蕴含的因果强度有效结合，短文本T₁和T₂间蕴含的因果关系强度CS_T(T₁,T₂)定义式如下：

$>{\mathrm{CS}}_T(T_1,T_2)=\frac{1}{\left|T_1\right|+\left|T_2\right|}{\Sigma }_{i\in T_1}{\Sigma }_{j\in T_2}CS(i_c,j_e);$>

式中：T₁和T₂均为短文本片段，包括词项、短语和句子，其中，T₁为原因，T₂为结果，|T₁|,|T₂|为相应的两个文本片段长度。引入的相关权重参数λ在0到1之间取值，与提取因果知识的语料有关，一般来说，文本语料更倾向于蕴含必要性因果，因而λ的取值一般应大于0.5。

优选地，有效词汇包括除去停用词的动词、名词、形容词及副词。

与现有技术相比，本发明具有如下的有益效果：

1、本发明中的方法采用因果模式来分析短文本的因果关系，并通过设定滑动窗口大小来保证覆盖面，相较于传统的在互联网文本语料库提取因果关系的方法更加准确。

2、本发明中利用充分性因果和必要性因果结合的方式解决了有效度量词项间因果关系强度的问题。

3、本发明中的方法能够进行多词的短文本间的因果推理，从而能够简单有效的处理多词的因果语义的组合。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明主要包含的步骤说明图；

图2为本发明的因果关系抽取示例图；

图3为本发明的短文本间因果推理流程示例图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的对短文本进行常识性因果推理的方法，包括如下步骤，如图1所示：

步骤1：构建因果知识网络；

步骤2：基于因果推理算法对短文本进行因果分析，得到文本间所蕴含常识性因果关系强度的排序机制，该技术方法可应用于到现有问答系统中，改善其对因果问题(为什么-问题)的回答结果。

所述步骤1包括：

步骤1.1：建立因果模式，所述因果模式包括：句中因果模式、句间因果模式，分别用于提取蕴含在句子中和句子段落间的因果关系获得因果知识；并根据句子中和句子段落间的因果关系标示出蕴含原因、结果对应词汇所在的位置；

步骤1.2：利用步骤1.1中建立的因果模式来抽取因果对，因果对包括原因(cause)和结果(effect)两部分，即<原因，结果>词项对，这种因果知识的表示形式便于建立因果知识网络；

步骤1.3：通过因果模式从文本语料库中抽取的因果知识构建因果知识网络，因果知识网络的结点为词项，边为有向带权边，权重为相应因果对在文本语料中所有因果模式下的共现次数总和。

所述步骤2中的因果推理算法包括：正向和反向两种因果推理，正向推理即给定前提作为原因返回给定的一系列结果的排名，反向推理即给定前提作为结果返回给定的一系列原因的排名。

所述步骤1.1中通过设置固定窗口大小，提取在匹配到因果模式原因和结果的文本段中的词项，两两配对形成提取的因果对。

所述步骤2中的因果推理算法如下：

从因果关系主要表现为充分性因果和必要性因果相结合的角度出发，分别对充分性因果关系和必要性因果关系强度进行建模；其中，

充分性因果强度的计算公式如下：

$>{\mathrm{CS}}_{suf}(i_c,j_e)=\frac{p\left(j_e\right|i_c)}{p^{\alpha }\left(j_e\right)}=\frac{p(i_c,j_e)}{p\left(i_c\right)p^{\alpha }\left(j_e\right)}$>

必要性因果的计算公式如下：

$>{\mathrm{CS}}_{nec}(i_c,j_e)=\frac{p\left(i_c\right|j_e)}{p^{\alpha }\left(i_c\right)}=\frac{p(i_c,j_e)}{p^{\alpha }\left(i_c\right)p\left(j_e\right)}$>

式中：i和j皆为词项，(i_c,j_e)为因果关系对，其中i_c表示词项i作为原因，j_e表示词项j作为结果。CS_suf(i_c,j_e)为因果关系对(i_c,j_e)所蕴含的充分性因果关系强度；CS_nec(i_c,j_e)为因果关系对(i_c,j_e)所蕴含的必要性因果关系的强度；其中，p(i_c)表示词项i作为原因的先验概率，p(j_e)表示词项j作为结果的先验概率，p(i_c,j_e)表示因果关系对(i_c,j_e)出现的先验概率；p(j_e|i_c)表示已知词项i作为原因其结果为词项j的条件概率；α为指数惩罚常数，用于惩罚语料中的高频词汇。

基于词项的因果度量CS(i_c,j_e)，用于表示因果词项对(i_c,j_e)蕴含的因果关系强度，将该因果关系对(i_c,j_e)蕴含的充分性因果强度和必要性因果强度有机结合在一起。

定义公式如下：

CS(i_c,j_e)＝CS_nec(i_c,j_e)^λCS_suf(i_c,j_e)^1-λ

将词项间因果强度的度量方法扩展到短文本间，需要考虑短文中包含的有效词汇，原因中的有效词和结果中的有效词形成因果对，将所有因果对蕴含的因果强度有效结合，短文本T₁和T₂间蕴含的因果关系强度CS_T(T₁,T₂)定义式如下：

$>{\mathrm{CS}}_T(T_1,T_2)=\frac{1}{\left|T_1\right|+\left|T_2\right|}{\Sigma }_{i\in T_1}{\Sigma }_{j\in T_2}CS(i_c,j_e);$>

式中：T₁和T₂均为短文本片段，包括词项、短语和句子，其中，T₁为原因，T₂为结果，|T₁|,|T₂|为相应的两个文本片段长度。引入的相关参数λ与提取因果知识的语料有关。

有效词汇包括除去停用词的动词、名词、形容词及副词。

具体地，本实施例的任务是给定一个前提P作为原因，并给出两个回答A1，A2作为结果，由系统选出哪一个回答作为结果更合理，更符合常识判断的回答。这是一个很好的常识性因果推理问题的实例描述。P，A1，A2如下：

P:The farmland needed irrigation.

What is the effect of this premise？

A1:A canal was constructed.

A2:A flood occurred.

在此，期望系统能够正确的选出A1作为答案。

首先，在进行因果推理之前，先要设计因果模式，构造常识性因果关系网络。本发明设计的因果模式分为句内因果模式和句间因果模式，如下表所示：

其中，A表示因果模式中原因出现的位置，B表示因果模式中结果出现的位置。

从文本语料的每个句子中，根据因果模式进行匹配，提取因果对并记录因果对在语料中被匹配到的频率，用于之后因果强度的计算，提取因果对时设置窗口长度L为10，避免引入过多非因果噪音。具体提取因果关系对的方法如图2所示，从图2例句中共提取出5个有效因果关系对，分别为：<storm_c，tremendous_e>(<暴风雨_c，惊人_e>)，<storm_c，amount_e>(<暴风雨_c，数量_e>)，<storm_c，damage_e>(<暴风雨_c，损害_e>)，<storm_c，landing_e>(<暴风雨_c，登陆_e>)，<storm_c，beach_e>(<暴风雨_c，海滩_e>。其中，因果对<storm_c，tremendous_e>表示词项storm作为tremendous的原因，tremendous作为storm的结果。处理完图2所示例句后，分别将这5个因果关系对的频率加1。得到各个因果对的最终频率后，按照本发明提出的因果关系强度计算方法，计算出各个因果对蕴含的因果强度，以备后续因果推理任务使用。

进行因果推理时，应用本发明中的方法能够识别出P，A1，A2的有效词，即存在于WordNet中的名词、动词、形容词和副词。如图3所示，P的有效词为：farmland，irrigation；A1的有效词为：canal，construct；A2的有效词为：flood，occur。图3也标明了该推理任务涉及到的因果关系网络片段，每个结点为词项，有向边代表因果关系，从原因词项指向结果词项。边的权重为词项将因果关系强度。例如，因果关系对<irrigation，canal>蕴含的因果关系强度为8.66，<irrigation，construct>蕴含的因果关系强度为0.54。P作为原因与A1作为结果共形成4个因果对，分别为：<farmland，canal>，<farmland，construct>，<irrigation，canal>和<irrigation，construct>。同样的，P作为原因与A2作为结果也形成了4个因果对，分别为：<farmland，flood>，<farmland，occur>，<irrigation，flood>和<irrigation，occur>。这些因果对蕴含的因果关系强度也如图3所示。

然后，可以按照本发明提出的短文本间因果推理算法分别计算出短文本P与A1和P与A2之间蕴含的因果强度CS_T(P,A₁)和CS_T(P,A₂)，比较它们的因果强度，因果强度大的更为合理，从而完成因果推理任务。

CS_T(P,A₁)＝1/4*(0.0+1.47+8.66+0.54)＝2.67

CS_T(P,A₂)＝1/4*(1.55+1.10+2.07+0.73)＝1.12

可看出系统分析得出P与A1的因果关系更强，所以选择A1作为答案，作出了正确因果推理判断。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。