候选搜索词的生成方法、装置、设备及介质

摘要

本申请公开了一种候选搜索词的生成方法、装置、设备及介质，涉及自然语言处理和知识图谱技术领域。具体实现方案为：获取目标事件的事件相关文本后，根据事件相关文本生成多个焦点概率向量，并根据目标事件的结构化信息，生成目标事件的事件语义表示向量，以根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。由此，通过引入多个焦点概率向量，多个焦点概率向量用于指导生成多个候选搜索词，不仅有效的提高了候选搜索词的生成效率和准确性，还提成了候选搜索词生成的多样性。

说明书

技术领域

本申请公开了一种候选搜索词的生成方法、装置、设备及介质，涉及深度学习技术领域，具体涉及自然语言处理和知识图谱技术领域。

背景技术

随着互联网发展，信息量大幅增加，为了提高信息获取效率，节约信息获取时间，用户可以在各类网站的搜索框中输入搜索词以获取相应的资源。例如，可以在百科类网站的搜索框中输入一个或多个搜索词以获取相应的百科内容。

但是，目前大部分事件都没有搜索词或者很少的搜索词，从而导致用户搜索时并未关注到该事件。为此，提供一种用于生成事件的搜索词的方法是至关重要的。

发明内容

本申请提供了一种候选搜索词的生成方法、装置、设备及介质。

本申请的一方面，提供了一种候选搜索词的生成方法，包括：

获取目标事件的事件相关文本，并根据所述事件相关文本生成多个焦点概率向量；

根据所述目标事件的结构化信息，生成所述目标事件的事件语义表示向量；

根据所述事件语义表示向量、所述事件相关文本的文本语义表示向量和所述多个焦点概率向量生成多个候选搜索词。

作为本申请一方面的一种可能的实现方式，所述根据所述事件相关文本生成多个焦点概率向量，包括：

将所述事件相关文本输入至多专家模型以生成多个专家向量，其中，所述多专家模型对所述事件相关文本的关注点不同；

将所述多个专家向量输入至连接层以生成所述多个焦点概率向量。

作为本申请一方面的另一种可能的实现方式，所述根据所述目标事件的结构化信息，生成所述目标事件的事件语义表示向量，包括：

从所述目标事件的结构化信息中提取论元信息，并根据所述论元信息生成论元语义表示向量；

根据所述论元语义表示向量生成所述目标事件的事件语义表示向量。

作为本申请一方面的另一种可能的实现方式，所述从所述目标事件的结构化信息中提取论元信息，并根据所述论元信息生成论元语义表示向量，包括：

从所述结构化信息中提取至少一组所述论元信息；其中，各组所述论元信息中包含论元角色和论元值；

将属于同一组所论元信息的所述论元角色和所述论元值输入第一双向LSTM模型以生成所述论元角色向量和论元值向量；

将所述论元角色向量和所述论元向量拼接以生成所述论元语义表示向量。

作为本申请一方面的另一种可能的实现方式，所述论元信息为多组，每一组所述论元信息具有对应的所述论元语义表示向量，所述根据所述论元语义表示向量生成所述目标事件的事件语义表示向量，包括：

将各组所述论元信息所对应的论元语义表示向量输入至第二双向LSTM模型以生成所述事件语义表示向量。

作为本申请一方面的另一种可能的实现方式，所述根据所述事件语义表示向量、所述事件相关文本的文本语义表示向量和所述多个焦点概率向量生成多个候选搜索词之前，还包括：

对所述事件相关文本进行分词以生成多个词，并获取所述多个词的多个词编码向量；

将所述多个词编码向量输入至第三双向LSTM模型以生成所述文本语义表示向量。

作为本申请一方面的另一种可能的实现方式，所述根据所述事件语义表示向量、所述事件相关文本的文本语义表示向量和所述多个焦点概率向量生成多个候选搜索词，包括：

将所述多个焦点概率向量中的一个焦点概率向量与所述事件语义向量和所述文本语义表示向量拼接，得到拼接向量；

将所述拼接向量输入解码器，以得到所述解码器输出的一个所述候选搜索词。

作为本申请一方面的另一种可能的实现方式，所述解码器，用于循环执行多次解码过程，每一次解码过程用于解码得到所述一个候选搜索词中的一个字符；

其中，所述解码器包括隐藏层和输出层；

所述隐藏层，用于根据所述拼接向量、隐状态指示向量，以及上一次解码过程中所述输出层的输出，生成本次解码过程的隐状态；所述隐状态指示向量，是根据上一次解码过程中所述隐藏层生成的隐状态生成的；

所述输出层，用于根据本次解码过程的隐状态，输出所述本次解码过程解码得到的字符。

作为本申请一方面的另一种可能的实现方式，所述隐状态指示向量，包括上一次解码过程中所述隐藏层生成的隐状态，以及用于指示采用复制机制或者生成机制的指示向量；

其中，在所述上一次解码过程中输出的字符处于所述事件相关文本和/或所述结构化信息中，则采用所述复制机制，所述指示向量取值，表征所述上一次解码过程中输出的字符的词向量，以及处于所述事件相关文本和/或所述结构化信息中的位置和上下文中的一个或多个组合；

在所述上一次解码过程中输出的字符未处于事件相关文本和/或所述结构化信息中，则采用所述生成机制，所述指示向量取值为零。

根据本申请的另一方面，提供了一种候选搜索词的生成装置，包括：

第一生成模块，用于获取目标事件的事件相关文本，并根据所述事件相关文本生成多个焦点概率向量；

第二生成模块，用于根据所述目标事件的结构化信息，生成所述目标事件的事件语义表示向量；

第三生成模块，用于根据所述事件语义表示向量、所述事件相关文本的文本语义表示向量和所述多个焦点概率向量生成多个候选搜索词。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例提出的候选搜索词的生成方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述实施例中所述的候选搜索词的生成方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例中所述的候选搜索词的生成方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种候选搜索词的生成方法的流程示意图；

图2为本申请实施例提供的另一种候选搜索词的生成方法的流程示意图；

图3为本申请实施例提供的一种用于生成事件语义表示向量的子流程示意图；

图4为本申请实施例提供的一种用于生成文本语义表示向量的子流程示意图；

图5为本申请实施例提供的一种用于生成候选搜索词的子流程示意图；

图6为本申请实施例提供的一种生成搜索词的模型示例图；

图7为本申请实施例提出的一种候选搜索词的生成示例图；

图8为本申请实施例提供的一种候选搜索词的生成装置的结构示意图；

图9是用来实现本申请实施例的候选搜索词的生成方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本申请实施例的候选搜索词的生成方法、装置、设备及存储介质。

图1为本申请实施例提供的一种候选搜索词的生成方法的流程示意图。

本申请实施例以该候选搜索词的生成方法被配置于候选搜索词的生成装置中来举例说明，该候选搜索词的生成装置可以应用于任一电子设备中，以使该电子设备可以执行候选搜索词的生成功能。

其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。

如图1所示，该候选搜索词的生成方法，可以包括以下步骤：

步骤101，获取目标事件的事件相关文本，并根据事件相关文本生成多个焦点概率向量。

本申请实施例中，可以通过在网站上抓取的方式获取目标事件的事件相关文本，也可以通过在事件数据库中获取的方式获取目标事件的事件相关文本，也可以在事件图谱中获取目标事件的事件相关文本，还可以根据实际的应用场景，采用其他方式获取目标事件的事件相关文本，本申请中在此不做限定。其中，事件，作为信息的一种表现形式，其定义为特定的人、物在特定时间和特定地点相互作用的客观事实，一般来说是句子级的。

其中，事件图谱是由多个事件构成的异构图，既包含有事件，也包含有实体的属性信息。

传统的端对端的生成方法是一对一的，只能生成一个候选搜索词，为了能生成多个候选搜索词，本申请中首先根据事件相关文本生成多个焦点概率向量。

作为一种可能的实现方式，可以采用hard mixture of experts(hard-MoE，混合专家系统)，引入一个多项式隐变量z∈{1,…,K}，包含K个专家(experts)，其中，每个experts关注事件相关文本的不同部分，共学习到K个焦点。experts用来生成不同的焦点概率向量，在模型中随机初始化，相同上下文与不同专家向量可以生成不同的焦点概率向量。

可选地，可以将目标事件的事件相关文本输入Bi-GRU(Bi-directional GatedRecurrent Unit，双向门控循环网络)中进行编码，然后将每个单词当前时间步的隐藏层状态、初始时刻和最后时刻的隐藏层状态、以及专家向量通过两层全连接层，最后通过sigmoid激活函数进行归一化处理，以得到多个焦点概率向量。

步骤102，根据目标事件的结构化信息，生成目标事件的事件语义表示向量。

其中，结构化信息是指信息经过分析后可分解成多个互相关联的组成部分，各组成部分间有明确的层次结构，其使用和维护通过数据库进行管理，并有一定的操作规范。无法完全数字化的信息称为非结构化信息，如文档文件、图片、图纸资料、缩微胶片等。互联网上出现的海量信息，大概分为结构化信息、半结构化信息和非结构化信息三种。

本申请实施例中，获取到目标事件后，可以对目标事件进行事件抽取，以抽取出事件的基本信息，例如，事件的触发词，事件的类型，事件的参与者，发生时间和地点等，并以结构化的形式呈现出来，从而得到目标事件的结构化信息。

作为一种可能的实现方式，获取到目标事件后，可以通过语法分析器生成工具，基于语法规则，生成用于分析目标事件的语法分析器，进而，通过语法分析器，对目标事件进行分析，以确定目标事件对应的语法分析树，以基于语法分析树，确定目标事件的结构化信息。

本申请实施例中，事件的结构化信息，可以包括事件的触发词，事件类型，论元以及对应的论元角色，等等。

其中，事件的触发词，是指事件发生的核心词，多为动词或者动名词。论元，是指事件的参与者，主要由实体、值、时间组成。论元角色，是指事件论元在事件中充当的角色，如攻击者、受害者、收购方、被收购方等。

作为一种示例，假设事件1为“A公司拟收购B公司”，对该事件1进行事件抽取得到事件1的结构化信息，事件的触发词为“拟购”，论元为“A公司和B公司”，论元角色为“收购方和被收购方”。

作为本申请实施例的一种可能的实现方式，目标事件的结构化信息可以包括论元信息，其中，论元信息可以包括论元角色和论元值。从目标事件的结构化信息中提取出论元信息后，可以采用编码器对提取得到的论元信息进行编码，以得到对应的论元语义表示向量。进一步地，可以采用编码器对论元语义表示向量进行编码，以生成目标事件的事件语义表示向量。

例如，获取到事件1的结构化信息后，可以从事件1的结构化信息中提出论元信息“收购方：A公司；被收购方：B公司”。

其中，论元角色和论元值体现了论元的属性信息，有利于生成候选搜索词中的主语和宾语部分。

作为一种可能的实现方式，可以采用Bi-LSTM(Bi-directional Long Short-TermMemory，双向长短记忆网络)模型对论元语义表示向量进行编码，以得到目标事件的事件语义表示向量。

需要说明的是，也可以采用其他深度学习模型对论元语义表示向量进行编码，在此不做限定。

步骤103，根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。

其中，事件相关文本的文本语义表示向量，是指对目标事件的事件相关文本进行语义编码后得到的文本语义表示向量。

本申请实施例中，根据事件相关文本生成多个焦点概率向量，根据目标事件的结构化信息生成目标事件的事件语义表示向量，以及对目标事件的事件相关文本进行语义编码后得到的文本语义表示向量后，可以将事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量共同输入到解码器中，以采用解码器进行解码，得到多个候选搜索词。

由此，通过生成目标事件的多个候选搜索词，将生成的多个候选搜索词推荐给不同的用户，增加了用户的关注度，有利于提高事件被关注的速度，进一步地可以提高用户的粘性。

作为本申请实施例的一种可能的情况，在根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词后，可以将生成的多个候选搜索词输入到基于句法依存树的评估器，该评估器使用了一种新的奖励机制，基于生成的搜索词和标准搜索词的句法依存树的相似性，评估当前搜索词的语法有效性，将奖励反馈到生成器中，从而优化了搜索词的生成过程，有利于提升候选搜索词的语法正确性和流畅性。

本申请实施例的候选搜索词的生成方法，在获取到目标事件的事件相关文本后，根据事件相关文本生成多个焦点概率向量，根据目标事件的结构化信息，生成目标事件的事件语义表示向量，进一步地，根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。由此，通过引入多个焦点概率向量，多个焦点概率向量用于指导生成多个候选搜索词，不仅有效的提高了候选搜索词的生成效率和准确性，还提成了候选搜索词生成的多样性。

在上述实施例的基础上，作为一种可能的实现方式，在根据事件相关文本生成多个焦点概率向量时，可以通过多专家模型关注事件相关文本中不同的内容，以指导生成多个焦点概率向量，进而使用多个焦点概率向量指导生成多个候选搜索词。下面结合图2对上述过程进行详细介绍，图2为本申请实施例提供的另一种候选搜索词的生成方法的流程示意图。

如图2所示，该候选搜索词的生成方法，可以包括以下步骤：

步骤201，获取目标事件的事件相关文本。

本申请实施例中，步骤201的实现过程，可以参见上述实施例中步骤101的实现过程，在此不再赘述。

步骤202，将事件相关文本输入至多专家模型以生成多个专家向量，其中，多专家模型对事件相关文本的关注点不同。

其中，多专家模型的原理是训练多个神经网络(也就是多个专家)，每个神经网络(专家)被指定应用于事件相关文本的不同部分。这就是说，事件相关文本可能有着多个不同的候选搜索词，不同候选搜索词的数据差距较大，因此我们为每一部分的内容通过指定的神经网络来处理，而且模型还有一个MNN(Managing Neural Net，管理神经网络)用来判断一个输入应该交给哪一个神经网络来处理。

本申请实施例中，获取到目标事件的事件相关文本后，将事件相关文本输入至多专家模型，由于多专家模型中引入了多个专家，每个专家对事件相关文本的关注点不同，从而可以生成多个专家向量。

本申请中的多专家模型是已经采用训练样本进行训练得到的模型，已经学习得到事件文本与专家向量之间的映射关系，因此，将事件相关文本输入至多专家模型后，可以生成多个专家向量。

步骤203，将多个专家向量输入至连接层以生成多个焦点概率向量。

本申请实施例中，将事件相关文本输入至多专家模型生成多个专家向量后，可以将多个专家向量输入至连接层，即采用神经网络对多个专家向量进一步抽取特征得到特征向量后通过激活函数进行激活，以生成多个焦点概率向量。

其中，激活函数，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。

步骤204，根据目标事件的结构化信息，生成目标事件的事件语义表示向量。

步骤205，根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。

本申请实施例中，步骤204和步骤205的实现过程，可以参见上述实施例中步骤102和103的实现过程，在此不再赘述。

本申请实施例的候选搜索词的生成方法，在获取目标事件的事件相关文本后，将事件相关文本输入至多专家模型以生成多个专家向量，将多个专家向量输入至连接层以生成多个焦点概率向量，在根据目标事件的结构化信息，生成目标事件的事件语义表示向量后，根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。由此，通过多专家模型关注事件相关文本中的不同内容生成多个焦点概率向量，进而，基于多个焦点概率向量指导生成多个候选搜索词，不仅有效的提高了候选搜索词的生成效率和准确性，还提成了候选搜索词生成的多样性。

在上述实施例的基础上，由于结构化信息包括论元信息，可以对论元信息进行编码以生成论元语义表示向量，进而根据论元语义表示向量生成目标事件的事件语义表示向量。下面结合图3对上述过程进行详细介绍，图3为本申请实施例提供的一种用于生成事件语义表示向量的子流程示意图。

如图3所示，生成事件语义表示向量的步骤如下：

步骤301，从目标事件的结构化信息中提取论元信息，并根据论元信息生成论元语义表示向量。

其中，论元信息可以包括论元角色和论元值。需要说明的是，从目标事件的结构化信息中提取的论元信息不限于一组，如，可以从目标事件的结构化信息中提取出两组论元信息，每一组论元信息中包含论元角色和对应的论元值。

本申请实施例中，获取到目标事件的结构化信息后，可以从目标事件的结构化信息中提取得到论元信息，进一步地，对论元信息进行编码以生成论元语义表示向量。其中，可以采用编码器对提取得到的论元信息进行编码，以得到对应的论元语义表示向量。

编码器是一种特殊的神经网络，用于特征提取和数据降维络。最简单的编码器由一个输入层，一个隐含层，一个输出层组成。编码器可以对输入向量进行映射，得到编码后的向量。

其中，编码器，可以为CNN(Convolutional Neural Network，卷积神经网络)，RNN(Recurrent Neural Network，循环神经网络)，BiRNN(Bi-directional Recurrent NeuralNetwork，双向循环神经网络)，GRU(Gated Recurrent Unit，门控复发网络)，LSTM(LongShort-Term Memory，长短期记忆网络)，等等。

作为一种可能的实现方式，可以从结构化信息中提取至少一组论元信息；其中，各组论元信息中包含论元角色和论元值。进一步地，将属于同一组论元信息的论元角色和论元值输入第一LSTM模型以生成论元角色向量和论元值向量。进一步地，将论元角色向量和论元向量拼接以生成论元语义表示向量。由此，采用LSTM模型生成论元角色向量和论元值向量，有利于提高向量生成的准确性。

为了便于区分，本申请中将对论元信息的论元角色和论元值进行编码的LSTM模型称为第一双向LSTM模型，将对论元语义表示向量进行编码的LSTM模型称为第二双向LSTM模型，对事件相关文本分词后的多个词编码向量进行编码的LSTM模型称为第三双向LSTM模型。

其中，LSTM模型，是RNN的一种，LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。双向LSTM模型，是由前向LSTM和后向LSTM组合而成。

需要说明的是，也可以采用其他深度学习模型对论元信息进行编码，在此不做限定。

步骤302，根据论元语义表示向量生成目标事件的事件语义表示向量。

本申请实施例中，对论元信息进行编码生成论元语义表示向量后，可以采用编码器对论元语义表示向量进行编码，以生成目标事件的事件语义表示向量。

作为本申请实施例的一种可能的情况，从目标事件的结构化信息中提取出的论元信息为多组时，每一组论元信息具有对应的论元语义表示向量时，可以将每一组论元信息所对应的论元语义表示向量输入至第二双向LSTM模型进行编码，以生成事件语义表示向量。由此，采用双向LSTM模型对各组论元信息所对应的论元语义表示向量进行编码时，需要由若干输入和若干输出共同决定模型的输出，有利于提高生成的事件语义表示向量的准确性。

需要说明的是，也可以采用其他深度学习模型对论元语义表示向量进行编码，在此不做限定。

本申请实施例中，从目标事件的结构化信息中提取论元信息，并根据论元信息生成论元语义表示向量，进一步地，根据论元语义表示向量生成目标事件的事件语义表示向量。由此，由于从结构化信息中提取出的论元信息中包括论元角色和和论元值能够体现出论元的属性信息，有利于生成候选搜索词中的主语和宾语部分，从而提高了事件语义表示向量生成的准确性。

作为一种可能的实现方式，在获取到事件相关文本后，需要对事件相关文本进行编码，以生成文本语义表示向量，下面结合图4对上述过程进行详细介绍，图4为本申请实施例提供的一种用于生成文本语义表示向量的子流程示意图。

如图4所示，生成文本语义表示向量的步骤如下：

步骤401，对事件相关文本进行分词以生成多个词，并获取多个词的多个词编码向量。

其中，分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。例如，假如文本为“张三来到A区”，对该文本进行分词后生成的多个词为“张三/来到/A区”。

本申请实施例中，在获取到目标事件的事件相关文本后，可以对事件相关文本进行预处理，也就是对事件相关文本进行分词以生成多个词。

可选地，可以采用基于词典的分词方法对事件相关文本进行分词以生成多个词。首先建立统一的词典表，当需要对目标事件相关文本进行分词时，首先将事件相关文本拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，则分词成功，否则继续拆分匹配直到成功。

可选地，还可以采用基于统计的中文分词方法对事件相关文本进行分词以生成多个词。统计学认为分词是一个概率最大化问题，即拆分句子，基于语料库，统计相邻的字组成的词语出现的概率，相邻的词出现的次数多，就出现的概率大，按照概率值进行分词，所以一个完整的语料库很重要。

进一步地，可以将对事件相关文本进行分词生成的多个词输入编码器，以对每个词进行语义编码，得到各个词对应的多个词编码向量。其中，词编码向量，能够指示相应词元素及其上下文的语义。

需要说明的是，获取多个词的词编码向量的方法有很多，但是这些方法都依照一个思想，即任一词的含义可以用它的周边词来表示。目前，生成词编码向量的方式可分为：基于统计的方法和基于语言模型的方法。其中，基于语言模型生成词向量的方法是通过训练的NNLM模型，词编码向量作为语言模型的附带产出。例如，可通过词袋模型对各词进行字符编码，得到各词对应的词编码向量。

作为一种可能的实现方式，将对事件相关文本进行分词后生成的多个词通过一层或者多层的RNN，进行语义编码，得到各词对应的词编码向量。使用RNN网络对各词的进行编码时，在每个时刻，其输出的词编码向量不仅要依赖于当前时刻的输入，还要考虑上一时刻的模型“状态”。通过对历史状态的依赖，RNN模型能够有效的表征文本数据的上下文依存信息。

作为另一种可能的实现方式，也可以采用CNN模型对对事件相关文本进行分词后生成的多个词进行编码，以得到各个词的词编码向量。

需要说明的是，获取多个词的词编码向量的方法有很多，例如，可以采用BiLSTM，Self Attention(自注意力机制)，CNN，等等。

本申请实施例中，对于编码器采用的编码技术不做任何限制。

步骤402，将多个词编码向量输入至第三双向LSTM模型以生成文本语义表示向量。

本申请实施例中，获取到多个词的多个词编码向量后，可以将多个词编码向量输入第三双向LSTM模型进行语义编码，以生成文本语义表示向量。

语义编码是通过词语对信息进行加工，按意义、系统分类或把言语材料用自己的语言形式加以组织和概括，找出材料的基本论点、论据、逻辑结构，按语义特征编码。

本申请中，通过对事件相关文本进行分词以生成多个词，并获取多个词的多个词编码向量，将多个词编码向量输入至第三双向LSTM模型以生成文本语义表示向量。由此，实现了将目标事件相关文本编码成计算机能够识别的文本语义表示向量，通过双线LSTM模型生成文本语义表示向量，提供了文本语义表示向量生成的准确性。

在上述实施例的基础上，在基于事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词时，可以采用解码器对事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量进行解码，以得到解码器输出的候选搜索词。下面结合图5对上述过程进行详细介绍，图5为本申请实施例提供的一种用于生成候选搜索词的子流程示意图。

如图5所示，该生成候选搜索词的方法可以包括以下步骤：

步骤501，将多个焦点概率向量中的一个焦点概率向量与事件语义向量和文本语义表示向量拼接，得到拼接向量。

可以理解的是，每一个焦点概率向量用于指导生成一个候选搜索词，可以将多个焦点概率向量中的一个焦点概率向量与事件语义向量和文本语义表示向量进行拼接，以得到拼接后的拼接向量。

作为一种可能的情况，可以将多个焦点概率向量中的每一个焦点概率向量与事件语义向量和文本语义表示向量进行拼接，分别得到拼接后对应的拼接向量。

步骤502，将拼接向量输入解码器，以得到解码器输出的一个候选搜索词。

本申请实施例中，将拼接向量输入解码器后，可以得到解码器输出的一个候选搜索词。

作为一种可能的情况，将对多个焦点概率向量中的每一个焦点概率向量与事件语义向量和文本语义表示向量进行拼接，得到的多个拼接向量分别输入解码器，可以得到解码器输出的多个候选搜索词。

例如，解码器可以为RNN，也可以为其他神经网络，在此不做限定。

本申请实施例中，解码器用于循环执行多次解码过程，每一次解码过程用于解码得到一个候选搜索词中的一个字符。可以理解为，将拼接向量输入解码器，解码器每执行一次解码过程得到一个候选搜索词中的一个字符，解码器循环执行多次解码过程，可以得到一个候选搜索词。

其中，解码器可以包括隐藏层和输出层。

其中，隐藏层，用于根据拼接向量、隐状态指示向量，以及上一次解码过程中输出层的输出，生成本次解码过程的隐状态。隐状态指示向量，是根据上一次解码过程中隐藏层生成的隐状态生成的。所谓隐状态，是指对拼接向量进行解码后，无法从解码的结果直接识别该词语，故称为隐状态。

输出层，用于根据本次解码过程的隐状态，输出本次解码过程解码得到的字符。隐状态指示向量，包括上一次解码过程中隐藏层生成的隐状态，以及用于指示采用复制机制或者生成机制的指示向量。

在一种可能的情况下，若在上一次解码过程中输出的字符处于事件相关文本和/或结构化信息中，则采用复制机制。其中，复制机制的指示向量取值，表征上一次解码过程中输出的字符的词向量，以及处于事件相关文本和/或结构化信息中的位置和上下文中的一个或多个组合。

可以理解的是，在自然语言处理或者文本处理的时候，我们通常会有一个字词库(vocabulary)。这个vocabulary要么是提前加载的，或者是自己定义的，或者是从当前数据集提取的。假设之后有了另一个的数据集，这个数据集中有一些词并不在你现有的vocabulary里，我们就说这些词汇是Out-of-vocabulary，简称OOV。OOV问题是对文本进行处理时的生成阶段常见的问题。本申请中，采用复制机制生成候选搜索词，不仅可以避免出现OOV问题，还有助于提升候选搜索词生成的流畅性和准确率。

在一种可能的情况下，若在上一次解码过程中输出的字符未处于事件相关文本和/或结构化信息中，则采用生成机制。其中，生成机制的指示向量取值为零。在采用生成机制生成字符时，可以从预设的词汇表中生成字符。

本申请实施例的候选词生成方法，通过将多个焦点概率向量中的一个焦点概率向量与事件语义向量和文本语义表示向量拼接，得到拼接向量，将拼接向量输入解码器，以得到解码器输出的一个候选搜索词。由于采用解码器对拼接向量进行解码时，使用了多源复制机制，有利于提高候选搜索词生成的准确度。

作为一种示例，参见图6，在获取到目标事件的事件相关文本后，可以采用多专家模型对事件相关文本中不同内容进行选择，将事件相关文本不同的内容对应的序列输入编码器-解码器模型，以得到多个候选搜索词。

作为一种示例，如图7所示，图7为本申请实施例提出的一种候选搜索词的生成示例图。如图7所示，获取到目标事件的事件相关文本后，可以对事件相关文本进行抽取得到目标事件的结构化信息，采用论元编码器将对目标事件的结构化信息进行编码，生成目标事件的事件语义表示向量。采用文本编码器对目标事件的事件相关文本进行编码，得到事件相关文本的文本语义表示向量。根据事件相关文本生成多个焦点概率向量后，基于事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。

将生成的多个候选搜索词输入到基于句法依存树的评估器，该评估器使用了一种新的奖励机制，基于生成的搜索词和标准搜索词的句法依存树的相似性，评估当前搜索词的语法有效性，将奖励反馈到生成器中，从而优化了搜索词的生成过程。

为了实现上述实施例，本申请提出了一种候选搜索词的生成装置。

图8为本申请实施例提供的一种候选搜索词的生成装置的结构示意图。

如图8所示，该候选搜索词的生成装置800，可以包括：第一生成模块810、第二生成模块820以及第三生成模块830。

其中，第一生成模块810，用于获取目标事件的事件相关文本，并根据事件相关文本生成多个焦点概率向量。

第二生成模块820，用于根据目标事件的结构化信息，生成目标事件的事件语义表示向量。

第三生成模块830，用于根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。

作为一种可能的情况，第一生成模块810，还可以用于：

将事件相关文本输入至多专家模型以生成多个专家向量，其中，多专家模型对事件相关文本的关注点不同；将多个专家向量输入至连接层以生成多个焦点概率向量。

作为另一种可能的情况，第二生成模块820，可以包括：

提取单元，用于从目标事件的结构化信息中提取论元信息，并根据论元信息生成论元语义表示向量；

生成单元，用于根据论元语义表示向量生成目标事件的事件语义表示向量。

作为另一种可能的情况，提取单元，还可以用于：

从结构化信息中提取至少一组论元信息；其中，各组论元信息中包含论元角色和论元值；将属于同一组论元信息的论元角色和论元值输入第一双向LSTM模型以生成论元角色向量和论元值向量；将论元角色向量和论元向量拼接以生成论元语义表示向量。

作为另一种可能的情况，论元信息为多组，每一组论元信息具有对应的论元语义表示向量，提取单元，还可以用于：

将各组论元信息所对应的论元语义表示向量输入至第二双向LSTM模型以生成事件语义表示向量。

作为另一种可能的情况，该候选搜索词的生成装置800，还可以包括：

获取模块，用于对事件相关文本进行分词以生成多个词，并获取多个词的多个词编码向量；

输入模块，用于将多个词编码向量输入至第三双向LSTM模型以生成文本语义表示向量。

作为另一种可能的情况，第三生成模块830，还可以用于：

将多个焦点概率向量中的一个焦点概率向量与事件语义向量和文本语义表示向量拼接，得到拼接向量；

将拼接向量输入解码器，以得到解码器输出的一个候选搜索词。

作为另一种可能的情况，解码器，用于循环执行多次解码过程，每一次解码过程用于解码得到一个候选搜索词中的一个字符；

其中，解码器包括隐藏层和输出层；

隐藏层，用于根据拼接向量、隐状态指示向量，以及上一次解码过程中输出层的输出，生成本次解码过程的隐状态；隐状态指示向量，是根据上一次解码过程中隐藏层生成的隐状态生成的；

输出层，用于根据本次解码过程的隐状态，输出本次解码过程解码得到的字符。

作为另一种可能的情况，隐状态指示向量，包括上一次解码过程中隐藏层生成的隐状态，以及用于指示采用复制机制或者生成机制的指示向量；

其中，在上一次解码过程中输出的字符处于事件相关文本和/或结构化信息中，则采用复制机制，指示向量取值，表征上一次解码过程中输出的字符的词向量，以及处于事件相关文本和/或结构化信息中的位置和上下文中的一个或多个组合；

在上一次解码过程中输出的字符未处于事件相关文本和/或结构化信息中，则采用生成机制，指示向量取值为零。

需要说明的是，前述对候选搜索词的生成方法实施例的解释说明也适用于该实施例的候选搜索词的生成装置，此处不再赘述。

本申请实施例的候选搜索词的生成装置，在获取目标事件的事件相关文本后，根据事件相关文本生成多个焦点概率向量，并根据目标事件的结构化信息，生成目标事件的事件语义表示向量，以根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。由此，通过引入多个焦点概率向量，多个焦点概率向量用于指导生成多个候选搜索词，不仅有效的提高了候选搜索词的生成效率和准确性，还提成了候选搜索词生成的多样性。

为了实现上述实施例，本申请还提出了一种电子设备。

本申请提出的电子设备，可以包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中的候选搜索词的生成方法。

为了实现上述实施例，本申请还提出了一种存储有计算机指令的非瞬时计算机可读存储介质。

本申请实施例提出的存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使所述计算机执行上述实施例中所述的候选搜索词的生成方法。

为了实现上述实施例，本申请还提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例中所述的候选搜索词的生成方法。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图9所示，是用了实现本申请实施例的候选搜索词的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的候选搜索词的生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的候选搜索词的生成方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的候选搜索词的生成方法对应的程序指令/模块(例如，附8所示的第一生成模块810、第二生成模块820以及第三生成模块830)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的候选搜索词的生成方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

候选搜索词的生成方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(Virtual Private Server，VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的技术方案，在获取目标事件的事件相关文本后，根据事件相关文本生成多个焦点概率向量，并根据目标事件的结构化信息，生成目标事件的事件语义表示向量，以根据事件语义表示向量、事件相关文本的文本语义表示向量和多个焦点概率向量生成多个候选搜索词。由此，通过引入多个焦点概率向量，多个焦点概率向量用于指导生成多个候选搜索词，不仅有效的提高了候选搜索词的生成效率和准确性，还提成了候选搜索词生成的多样性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。