计算机执行的、利用神经网络进行语言处理的方法及装置

摘要

本说明书实施例提供一种计算机执行的、利用神经网络进行语言处理的方法及装置。所述方法包括：在嵌入层，对当前输入进行嵌入处理，得到多个特征向量；在注意力层，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；在池化层，将所述P个中间向量合并为Q个输出向量，其中Q

说明书

技术领域

本说明书一个或多个实施例涉及计算机信息处理领域，尤其涉及一种计算机执行的、利用神经网络进行语言处理的方法及装置。

背景技术

在人工智能的多项应用场景中，都需要完成自然语言处理的任务，例如语义分析、意图识别、智能翻译等等。自然语言处理的基础是对语言客观事实的准确描述，例如将句子表征为句子特征向量，以便后续基于该句子特征向量对该句子进行分析处理。

人工智能自然语言处理的一个典型的应用是客服机器人。在线客服机器人的一个核心能力为判断文本相似度，以匹配用户问题和知识库中的标准问题，从而可从知识库中匹配到与该用户问题相似度最高的标准问题，进而可用该标准问题的答案来答复用户问题。因此，如何提高语言客观事实的描述的准确度，使该描述尽可能的反映客观事实，以及提高该描述的生成速度，对于能否准确、及时地答复用户问题至关重要。

因此，亟需一种计算机执行的可准确、快速地生成语言客观事实的描述的语言处理方法。

发明内容

本说明书一个或多个实施例描述了一种计算机执行的、利用神经网络进行语言处理的方法,可降低计算复杂度以及增加自注意力窗口的视野。

根据第一方面，提供了一种计算机执行的、利用神经网络进行语言处理的方法，所述神经网络包括嵌入层和至少一个transformer层，其中所述至少一个transformer层包括第一transformer层，所述第一transformer层包括注意力层和池化层；所述方法包括：

在所述嵌入层，对当前输入进行嵌入处理，得到多个特征向量；

在所述注意力层，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；

在所述池化层，将所述P个中间向量合并为Q个输出向量，其中Q<P；

其中，所述至少一个transformer层中最后一个transformer层得到的多个输出向量用作所述当前输入的特征表示。

在一个实施例中，所述第一transformer层为所述嵌入层的下一层；

所述从所述第一transformer层的上一层获取P个输入向量包括：

从所述嵌入层获取所述多个特征向量，作为所述P个输入向量。

在一个实施例中，所述至少一个transformer层还包括第二transformer层，所述第二transformer层为所述第一transformer层的上一层；

所述从所述第一transformer层的上一层获取P个输入向量包括：从所述第二transformer层获取所述第二transformer层的输出向量，作为所述P个输入向量。

在一个实施例中，所述至少一个transformer层为N个transformer层，所述第一transformer层为所述N个transformer层中的第n个transformer层；

所述Q个输出向量中Q的大小是根据所述多个特征向量中的特征向量个数、所述注意力窗口的覆盖半径的值、N、n，而确定的，其中，Q与n负相关。

在一个实施例中，所述Q的大小通过以下方式确定：

确定所述多个特征向量中的特征向量个数和所述覆盖半径的值的第一差值；

确定n与N的第一比例；

确定第一差值和所述第一比例的第一乘积的值；

基于所述多个特征向量中的特征向量个数和所述第一乘积的值，确定Q的大小。

在一个实施例中，Q与P的差值为预设的定值。

在一个实施例中，所述中间向量为H维度向量；

所述将所述P个中间向量合并为Q个输出向量包括：

固定所述P个中间向量的先后顺序，从P个中间向量在所述H维度中任意维度上的P个值中选取值较大的Q个值，按照所述先后顺序形成该维度上的值序列；

基于在所述H维度中各维度上的值序列依次排列所形成的H×Q矩阵，形成Q个输出向量。

在一个实施例中，所述将所述P个中间向量合并为Q个输出向量包括：

确定所述P个中间向量中的各中间向量的模；

固定所述P个中间向量的先后顺序，从所述P个中间向量的模中选取值较大的Q个模，按照所述先后顺序形成所述Q个输出向量。

在一个实施例中，所述嵌入层包括输入嵌入层和位置编码层；

所述对当前输入进行嵌入处理，得到多个特征向量，包括：

在输入嵌入层，对所述当前输入中的多个词进行词嵌入处理，得到多个词嵌入向量；

在位置编码层，基于所述多个词中各个词在所述当前输入中的位置，生成所述各个词的位置向量，并将所述各个词的位置向量和对应的词嵌入向量进行组合，得到所述多个特征向量。

根据第二方面提供了一种语言处理装置，包括：嵌入单元、至少一个自注意力单元，所述至少一个自注意力单元包括第一transformer单元、确定单元，所述第一transformer单元包括第一获取子单元和第一合并子单元；

嵌入单元，配置为对当前输入进行嵌入处理，得到多个特征向量；

第一获取子单元，配置为从所述第一transformer单元的上一单元获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；

第一合并子单元，配置为将所述P个中间向量合并为Q个输出向量，其中Q<P；

其中，所述至少一个transformer单元中最后一个transformer单元得到的多个输出向量用作所述当前输入的特征表示。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

根据第四方面，提供了一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

本说明书实施例提供的方法及装置，引入自注意力窗口，可以降低计算的复杂度；并且，当存在多个transformer层时，可以逐层减少每个transformer层的输入向量，增加了自注意力窗口的视野，解决了引入自注意力窗口后长程依赖的特征无法捕捉的问题。。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的神经网络模型的结构示意图；

图2示出根据一个实施例的语言处理方法的流程图；

图3示出根据一个实施例计算中间向量的示意图；

图4示出根据一个实施例合并向量的示意图；

图5示出根据一个实施例的语言处理装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

语言客观事实的描述，对于文本相似度、文本分类、阅读理解、机器翻译等自然语言处理(natural language processing，NLP)任务至关重要。可通过语言模型对语言客观事实进行描述。语言模型是一个单纯的、统一的、抽象的形式系统，其对语言客观事实的描述，比较适合于计算机自动处理。

根据一种方案，可通过BERT(bidirectional encoder representations fromtransformers，源于transformers的双向编码器)对文本数据进行处理。BERT为一种多层双向transformer网络结构，其是通过在海量的语料的基础上运行自监督学习方法，从而得到用于描述语言客观事实的特征表示。虽然通过BERT得到的特征表示大幅提高了自然语言处理任务的准确率，但是每一层都做自监督，使得整体复杂度为O(n²)，需要大量的机器资源。

根据另一种方案，可通过transformer-xl对文本数据进行处理。transformer-xl也为一种多层transformer网络结构，其通过固定注意力窗口，并通过传递隐状态来实现长程依赖。在该方案中，需要很大的注意力窗口，例如覆盖半径为160个词，才能得到较为准确的特征表示。而较大的注意力窗口同样导致整体复杂度较高，需要大量的机器资源。

本说明书实施例提供了一种计算机执行的、利用神经网络进行语言处理的方法。该方法可以应用于具有多个transformer层的神经网络。其中，在每一transformer层，可从其上一层获取输入向量；基于自注意力窗口对输入向量进行处理，得到中间向量；将中间向量进行合并，得到数量较少的输出向量，并作为其下一层的输入向量；依次类推，从而可以逐层减少需要处理的向量的数量，增加自注意力窗口的视野，在降低计算复杂度的同时保证了计算结果的准确度。

接下来，参考图1和图2，对本说明书实施例提供的计算机执行的、利用神经网络进行语言处理的方法进行具体介绍。如图1所示，所述神经网络包括嵌入层和至少一个transformer层，至少一个transformer层可以为N个transformer层(N大于0的整数)，其中，每个transformer层包括依次相邻的注意力层、加和与归一化(add&norm)层、前馈(feedforward)层、加和与归一化层和池化(pooling)层。

接下来，以所述至少一个transformer层包括的任意的第一transformer层为例，对本说明书实施例提供的语言处理方法进行介绍。所述方法可以由任何具有计算、处理能力的装置、设备、平台、设备集群执行。如图2所示，所述方法包括如下步骤：步骤200，在所述嵌入层，对当前输入进行嵌入处理，得到多个特征向量；步骤202，在所述注意力层，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；步骤204，在所述池化层，将所述P个中间向量合并为Q个输出向量，其中Q<P；其中，所述至少一个transformer层中最后一个transformer层得到的多个输出向量用作所述当前输入的特征表示。

接下来，结合具体例子对上述各步骤进行具体介绍。

首先，在步骤200中，在所述嵌入层，对当前输入进行嵌入处理，得到多个特征向量。

嵌入层可以称为输入嵌入(input embedding)层。当前输入可以为文本输入，例如可以为一段文本，也可以为一个句子。文本可以为中文文本，也可以为英文文本，还可以为其他语言文本。

嵌入层在获取当前输入后，可以对该当前输入中各个词进行嵌入处理，可得到各个词的特征向量。

在一些实施例中，如图1所示，所述嵌入层包括输入嵌入层和位置编码(positional encoding)层。

在输入嵌入层，可以对当前输入中的各个词进行词嵌入处理，从而得到各个词的词嵌入向量。

在位置编码层，可以获取各个词在该当前输入中的位置，进而对各个词的位置生成位置向量。

在一些示例中，各个词的位置可以为各个词在该当前输入中的绝对位置。以当前输入为“几号应还花呗”为例，其中的“几”的位置可以表示为第一位，“号”的位置可以表示为第二位，……。

在一些示例中，各个词的位置可以为各个词之间的相对位置。仍以当前输入为“几号应还花呗”为例，其中的“几”的位置可以表示为“号”之前，“号”的位置可以表示为“几”之后、“应”之前，……。

当得到当前输入中各个词的词嵌入向量和位置向量时，可以将各个词的位置向量和对应的词嵌入向量进行组合，得到各个词特征向量，即得到该当前输入对应的多个特征向量。

多个特征向量可以表示为具有预设维度的嵌入矩阵。可以设定该多个特征向量中的特征向量个数为M，预设维度为H维，则该多个特征向量可以表示为M×H的嵌入矩阵。

其次，在步骤202中，在第一transformer层的注意力层，从所述第一transformer层的上一层获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量。

注意力层也可以称为多头注意力(multi-head attention)层。在一个例子中，注意力层可以为固定窗口多头注意力(fixed window multi-head attention)层。

在一些实施例中，第一transformer层可以为上述嵌入层的下一层，P个输入向量为从嵌入层得到的所述多个特征向量。

在一些实施例中，本说明书实施例提供的神经网络中的至少一个transformer层还包括第二transformer层。该第二transformer层为第一自注意力的上一层，则P个输入向量为第二transformer层输出的P个输出向量。

在本说明书实施例中，注意力窗口范围可以用注意力窗口的覆盖半径来表示，覆盖半径可以用覆盖的向量个数来表示。可以设定覆盖半径为w。w可以为定值，也可以为可变值。当w为可变值，且所述至少一个transformer层包括多个transformer层时，w可以按照预设规律逐层变化。对于任意第一输入向量而言，在计算其中间向量时，以该输入向量为中心、预设的注意力窗口范围内的输入向量为该第一输入向量之前的w个输入向量和该第一输入向量之后的w个输入向量。在一个例子中，参阅图3，设定注意力层获取了输入向量C1、C2、C3、C4、C5、C6。该六个输入向量的先后顺序可以如图3所示。设定注意力窗口的覆盖半径w可以为1。参阅图3，以计算C2对应的中间向量E1为例。以C2为中心的注意力窗口范围内的特征向量为C1和C2，因此，可以基于C2与C1的之间的关联度、C2与C3之间的关联度，来计算中间向量E2。继续参阅图3，以计算C5对应的中间向量E5为例。以C5为中心的注意力窗口范围内的特征向量为C4和C5，因此，可以基于C5与C4之间的关联度、C5与C6之间的关联度，来计算中间向量E4。

在一些实施例中，在注意力层，对于P个输入向量中的任意输入向量Cp，Cp与以Cp为中心、预设的注意力窗口范围内的任意输入向量Ci之间的关联度A_p,i可通过公式(1)来计算。

A_p,i＝UC_p·KC_i>

其中，p表示输入向量Cp在P个输入向量中的位置。i表示输入向量Ci在P个输入向量中的位置，其中，i的取值在p+w和p-w之间。U、K均为线性变换矩阵。

为简化描述，可采用u_p表示UC_p，采用k_i表示KC_i。

在该实施例中，可以基于关联度A_p,i进一步计算Cp和Ci之间的权重因子a_p,i具体可以通过公式(2)来计算。

其中，j表示输入向量Cj在P个输入向量中的位置。

在一些实施例中，A_p,i还可以表示为exp(u_p·k_i)，相应地，Cp对应于Ci的权重因子a_p,i具体可以通过公式(3)来计算。

然后，可以基于Cp与其对应的各个输入向量之间的权重因子计算Cp对应的中间向量Ep。在一些实施例中，可以通过公式(4)计算Ep。

其中，V为线性变换矩阵。

如此，可以得到P个输入向量对应的P个中间向量。

接着，在步骤204中，在第一transformer层的池化层，将上述P个中间向量合并为Q个输出向量，其中，Q＜P。

在一些实施例中，可以根据预设差值，确定Q的大小。即P减去预设差值得到Q。该预设差值可以根据实验或经验设定。

在一些实施例中，本说明书实施例提供的神经网络中的至少一个transformer层具体为N个transformer层。N为大于或等于2的自然数。Q的大小与位于第一transformer层之上的transformer层的层数负相关，即第一transformer层之上的transformer层越多，Q越小。

在这些实施例的一个示例中，可以根据N、P、w以及嵌入层输出的特征向量的个数M，计算Q的大小，具体可以利用公式(5)进行计算。

在这些实施例的一个示例中，可以设定第一transformer层为N个transformer层中的第n个transformer层(第一transformer层之上有n-1个transformer层)，可以根据N、n、w、M，计算Q的大小。具体地，可以确定M和w第一差值；再确定n与N的第一比例；并确定第一差值和所述第一比例的第一乘积的值；然后，基于M和所述第一乘积的值，确定Q的大小。在一个例子中，可以利用公式(6)计算Q的大小。

在另一个例子中，可以利用公式(7)计算Q的大小。

其中，k＞0。

在一些实施例中，在说明书实施例中，中间向量可以为H维度向量，则P个中间向量可以表示为P×H的嵌入矩阵。具体可以参阅图4，其中的每一行表示一个维度，每一列表示一个输入向量。可以固定每一行中的元素的先后顺序，具体地，可以固定每一行中的各元素之间的相对位置关系。在将P个中间向量合并为Q个向量时，从每一行确定出Q个较大值，即确定出的Q个较大值中的最小值大于或等于第一值，该第一值为同一行中，除该Q个较大值之外的任意值。如此，从H行，即H维度上，各自确定出Q个较大值。对于任意行，保持其Q个较大值之间的相对位置不变。H行的Q个较大值，构成Q×H的嵌入矩阵。该Q×H的嵌入矩阵即为Q个输出向量的表示方式。具体可以参阅图4，以E1、E2、E3、E4、E5、E6这6个中间向量为例，设定Q为4。在维度1对应的行中，4个较大值依次为18、19、15、17。在维度2对应的行中，4个较大值依次为25、28、26、29。在维度H-1对应的行中，4个较大值依次为89、85、88、84。在维度H对应的行中，4个较大值为78、76、79、77。保持各行的较大值中各值相对位置不变，可合并成A1、A2、A3、A4四个输出向量。

在一些实施例中，可固定P个中间向量的先后顺序，具体地，可固定P个中间向量之间的相对位置关系。计算P个中间向量的模，然后从其中选取Q个较大模，如此，可从P个中间向量中确定Q个较大模各自对应的Q个中间向量，并保持该Q个中间向量的相对位置关系不变，以得到Q个输出向量。

通过步骤204，在本说明书实施例提供的语言处理方法应用于具有多个transformer层的神经网络时，可以逐层减少transformer层的输入向量的个数，相对应的，使得自注意力窗口的视野逐层增加或扩大。在一个例子中，可以设定多个transformer层为6个transformer层，当前输入具有40个词，注意力窗口覆盖范围为4个词，逐层减少9个输入向量。

对于6个transformer层中的第一层(最上层)，其输入向量为40个。因此，在计算40个输入向量中的一个输入向量对应的中间向量时，该输入向量对应的注意力窗口的视野为40个词中的4个词。

对于6个transformer层中的第二层，其输入向量为31个。因此，在计算各个输入向量对应的中间向量时，该输入向量对应的注意力窗口的视野为31个向量中的4个向量。

依次类推，输入向量的个数逐层减少，使得注意力窗口的视野逐层增大。并且，通过选取每一层得到的中间向量的各维度上的较大值合并为下一层的输入向量，或者选取每一层得到中间向量中模较大的中间向量作为下一层的输入向量，实现了在减少下一层的输入向量的个数的同时，保留了本层计算得到的向量的重要特征信息，从而可实现在减少计算复杂度的同时，通过增大注意力窗口的视野和保留重要特征信息，保证了计算结果的准确度。

在该神经网络中的最后一个transformer层，通过上述步骤的多个输出向量可用作当前输入的特征表示。该特征表示为为当前输入的一种适合计算机处理的特征表示，可用于文本相似度、文本分类、阅读理解、机器翻译等任务。

本说明书实施例提供的语言处理方法，引入自注意力窗口，可以降低计算的复杂度；并且，当存在多个transformer层时，可以逐层减少每个transformer层的输入向量，增加了自注意力窗口的视野，解决了引入自注意力窗口后长程依赖的特征无法捕捉的问题。

第二方面，本说明书的实施例提供了一种语言处理装置500，参阅图5，装置500包括：嵌入单元510、至少一个transformer单元，所述至少一个transformer单元包括第一transformer单元520，所述第一transformer单元包括第一获取子单元521和第一合并子单元522；

嵌入单元510，配置为对当前输入进行嵌入处理，得到多个特征向量；

第一获取子单元521，配置为从所述第一transformer单元520的上一单元获取P个输入向量，以P个输入向量中的任意的第一输入向量为中心，基于预设的注意力窗口范围内的各个输入向量与该第一输入向量之间的关联度，得到该第一输入向量对应的中间向量，如此确定出P个输入向量对应的P个中间向量；

第一合并子单元522，配置为将所述P个中间向量合并为Q个输出向量，其中Q<P；

其中，所述至少一个transformer单元中最后一个transformer单元得到的多个输出向量用作所述当前输入的特征表示。

在一个实施例中，所述嵌入单元520和所述第一获取子单元521连接；所述第一获取子单元521还配置为从所述嵌入单元520获取所述多个特征向量，作为所述P个输入向量。

在一个实施例中，所述至少一个transformer单元还包括第二transformer单元，所述第二transformer单元和所述第一获取子单元521连接；所述第一获取子单元521还配置为从所述第二transformer单元获取所述第二transformer单元的输出向量，作为所述P个输入向量。

在一个实施例中，所述至少一个transformer单元为N个transformer单元，所述第一transformer单元520为所述N个transformer单元中的第n个transformer单元；所述Q个输出向量中Q的大小是根据所述多个特征向量中的特征向量个数、所述注意力窗口的覆盖半径的值、N、n，而确定的，其中，Q与n负相关。

在一个实施例中，所述装置500还包括第一确定单元、第二确定单元、第三确定单元、第四确定单元；所述第一确定单元配置为确定所述多个特征向量中的特征向量个数和所述覆盖半径的值的第一差值；所述第二确定单元配置为确定n与N的第一比例；所述第三确定单元配置为确定第一差值和所述第一比例的第一乘积的值；所述第四确定单元配置为基于所述多个特征向量中的特征向量个数和所述第一乘积的值，确定Q的大小。

在一个实施例中，Q与P的差值为预设的定值。

在一个实施例中，所述中间向量为H维度向量；所述第一合并子单元522包括选取模块和排列模块；所述选取模块配置为固定所述P个中间向量的先后顺序，从P个中间向量在所述H维度中任意维度上的P个值中选取值较大的Q个值，按照所述先后顺序形成该维度上的值序列；所述排列模块配置为基于在所述H维度中各维度上的值序列依次排列所形成的H×Q矩阵，形成Q个输出向量。

在一个实施例中，所述第一合并子单元522包括确定模块和选取模块；所述确定模块配置为确定所述P个中间向量中的各中间向量的模；所述选取模块配置为固定所述P个中间向量的先后顺序，从所述P个中间向量的模中选取值较大的Q个模，按照所述先后顺序形成所述Q个输出向量。

在一个实施例中，所述嵌入单元510包括输入嵌入子单元和位置编码子单元；所述输入嵌入子单元配置为对所述当前输入中的多个词进行词嵌入处理，得到多个词嵌入向量；所述位置编码子单元配置为基于所述多个词中各个词在所述当前输入中的位置，生成所述各个词的位置向量，并将所述各个词的位置向量和对应的词嵌入向量进行组合，得到所述多个特征向量。

本说明书实施例提供的语言处理方法，引入自注意力窗口，可以降低计算的复杂度；并且，当存在多个transformer层时，可以逐层减少每个transformer层的输入向量，增加了自注意力窗口的视野，解决了引入自注意力窗口后长程依赖的特征无法捕捉的问题。

另一方面，本说明书的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行图2所示的方法。

另一方面，本说明书的实施例提供了一种计算终端，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现图2所示的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。