文摘自动生成方法、装置、电子设备及存储介质

摘要

本发明公开了一种文摘自动生成方法、装置、电子设备和存储介质，该方法将原始文本和原始文本中的命名实体分别基于两个训练好的嵌入向量模型计算得到各单字的第一字符向量和第二字符向量并通过拼接得到各单字的词向量；通过训练好的Transformer编解码模型对各单字的词向量编解码处理得到多个生成词的词向量，可以增强多个生成词的词向量的特征表示能力，将每个生成词分为第一类生成词或第二类生成词，对第一类生成词和第二类生成词分别采用训练好的指针网络和记忆网络计算分别得到第一类输出词和第二类输出词，由多个第一类输出词和/或多个第二类输出词组成目标文摘，可以有效解决生僻的命名实体无法生成的问题。

说明书

技术领域

本发明涉及自然语言处理领域，尤其涉及一种文摘自动生成方法、装置、电子设备及存储介质。

背景技术

自动文摘指的是对于一段原始文本通过算法的方式自动生成能概括原始文本的短文本。目前自动文摘算法主要分为抽取式自动文摘和生成式自动文摘。抽取式自动文摘指的是以句子为单位去抽取原始文本中有概括能力的一句或多句句子作为文摘，但该方法难以适应多变的原始文本内容。生成式自动文摘通过挖掘更深层次的语义信息对原始文本的中心思想进行转述、概括而生成文摘，文摘的内容不限于原始文本中的句子词汇，可以是原始文本外更加精炼的词汇以及语言的组织，可以应用与各种原始文本。

目前通常采用基于Seq2Seq+Attention机制的深度学习模型实现生成式自动文摘，难以解决原始文本中重要但比较生僻的人名、地名、时间或机构名等命名实体无法生成在文摘中的问题，并且Seq2Seq单元一般采用LSTM、GRU等轻量级模型对原始文本进行编码，对开放领域的原始文本来说其编码本身的表达能力不够。在文摘自动生成中存在难以自动生成生僻的、具有重要意义的命名实体问题，目前尚未提出有效的解决方案。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种文摘自动生成方法，其通过训练好的Transformer编解码模型对各单字的词向量进行编解码处理得到多个生成词的词向量，可以增强多个生成词的词向量的特征表示能力，将每个生成词分为第一类生成词或第二类生成词，对第一类生成词采用训练好的指针网络计算得到第一类输出词，对第二类生成词采用训练好的记忆网络计算得到第二类输出词，可以有效解决生僻的命名实体无法生成的问题，提高文摘的准确性。

本发明的目的之一采用以下技术方案实现：

根据原始文本和所述原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到所述原始文本中各单字的第一字符向量和所述命名实体中各单字的第二字符向量，并将各单字的第一字符向量和第二字符向量进行拼接得到各所述单字的词向量；

根据各所述单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量；

基于多个所述生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词；

将多个所述第一类输出词和/或多个所述第二类输出词组成目标文摘，其中，所述第一类输出词是根据第一类生成词的词向量基于所述训练好的指针网络计算得到的，所述第二类输出词是根据第二类生成词的词向量和命名实体中各单字的词向量基于所述训练好的记忆网络计算得到的。

进一步地，根据原始文本和所述原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到所述原始文本中各单字的第一字符向量和所述命名实体中各单字的第二字符向量之前，还包括：

获取原始文本；

根据所述原始文本基于Stanford NLP工具进行识别得到所述原始文本中的命名实体。

进一步地，所述训练好的Transformer编解码模型包括位置编码层、编码器和解码器，根据各所述单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量，包括：

将各所述单字的词向量输入所述位置编码层进行位置编码得到各所述单字的位置向量；

将各所述单字的词向量和位置向量通过加法计算得到各所述单字的嵌入向量；

将各所述单字的嵌入向量输入所述编码器进行编码处理得到所述原始文本的编码矩阵；

根据所述编码矩阵基于所述解码器进行多次循环解码分别得到多个生成词的词向量，其中，每进行一次循环解码得到一个生成词的词向量。

进一步地，所述训练好的分类模型包括归一化指数函数，基于多个所述生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词，包括：将各所述生成词的词向量输入下述归一化指数函数进行计算得到各所述生成词的评分向量：

Score

其中，V

若所述评分向量Score

若所述评分向量Score

进一步地，所述训练好的指针网络包括线性变换层、归一化层和概率分布计算函数，所述第一类输出词通过下述方式得到：

将所述第一类生成词的词向量通过线性变换层和归一化层进行处理得到第一分布概率序列，其中，所述第一分布概率表示词典中每个词语为第一类生成词的概率；

根据所述第一分布概率序列基于下述概率分布计算函数进行计算得到第一类生成词的分布概率序列，其中，所述分布概率表示扩展词典中每个字词为第一类生成词的概率，所述扩展词典包括所述词典和所述原始文本：

P(w)＝P

其中，P

根据所述分布概率序列中值最大的分布概率查询扩展词典中对应的字词作为所述第一类输出词。

进一步地，所述训练好的记忆网络包括归一化指数函数，所述第二类输出词通过下述方式得到：

将所述命名实体中多个单字的词向量进行取平均处理得到平均向量；

将所述平均向量和所述第二类生成词的词向量进行拼接得到候选词向量；

将所述候选词向量输入下述归一化指数函数计算得到候选词评分序列：

Score

其中，V表示所述候选词向量，W

根据所述候选词评分序列中值最大的评分查询得到对应的候选词作为所述第二类输出词。

本发明的目的之二在于提供一种文摘自动生成装置，其包括：

词向量提取模块，用于根据原始文本和所述原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到所述原始文本中各单字的第一字符向量和所述命名实体中各单字的第二字符向量，并将各单字的第一字符向量和第二字符向量进行拼接得到各所述单字的词向量；

编解码模块，用于根据各所述单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量；

分类模块，用于基于多个所述生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词；

文摘生成模块，用于将多个所述第一类输出词和/或多个所述第二类输出词组成目标文摘，其中，所述第一类输出词是根据第一类生成词的词向量基于所述训练好的指针网络计算得到的，所述第二类输出词是根据第二类生成词的词向量和命名实体中各单字的词向量基于所述训练好的记忆网络计算得到的。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时本发明目的之一的文摘自动生成方法。

本发明的目的之四在于提供存储发明目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明目的之一的文摘自动生成方法。

相比现有技术，本发明的有益效果在于：

本发明通过两个训练好的嵌入向量模型使得原始文本中各单字的词向量包含了命名实体信息与原始文本各字符信息，然后利用训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量，可以增强多个生成词的词向量的特征表示能力，每个生成词的词向量基于训练好的指针网络计算得到第一类输出词或基于训练好的记忆网络计算得到第二类输出词，最终将多个第一类输出词和/或多个第二类输出词组成目标文摘，可以有效解决生僻的命名实体无法生成的问题，提高文摘的准确性。

附图说明

图1为本发明实施例一的文摘自动生成方法流程图；

图2为本发明实施例五的文摘自动生成装置的结构框图；

图3为本发明实施例六的电子设备的结构框图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

实施例一

实施例一提供了一种文摘自动生成方法，请参照图1所示，包括以下步骤：

S110、根据原始文本和原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到原始文本中各单字的第一字符向量和命名实体中各单字的第二字符向量，并将各单字的第一字符向量和第二字符向量进行拼接得到各单字的词向量。

命名实体的信息非常重要，原始文本中的人名、地名、时间或机构名等命名实体字词很大概率会出现在对应的文摘中，因此通过将各单字的第一字符向量和第二字符向量进行拼接使原始文本中每个单字的词向量包含了命名实体信息与原始文本各字符信息。

两个训练好的嵌入向量模型可以分别是word2vec模型、GloVe(Global Vectorsfor Word Representation)模型、ELMo(Embedding from Language Models)模型、BERT模型中的任一种。word2vec模型通过词的上下文得到词的向量化表示，但是word2vec模型只考虑词的局部信息，没有考虑到词与局部窗口外词的联系。GloVe模型利用共现矩阵同时考虑了词的局部信息和整体的信息，使得向量之间尽可能多的蕴含语义和语法的信息。word2vec模型和GloVe模型对每个词对应获得一个词向量，无法表达同一个词在不同语境下的不同含义，ELMo模型能够学习到单词用法的复杂特性和复杂特征在不同上下文的变化。BERT(Bidirectional Encoder Representations from Transformers)模型是一个用Transformer模型作为特征抽取器的深度双向预训练语言理解模型，本质上是通过在海量语料的基础上运行自监督学习方法为单词学习一个可以拥有全局信息的特征表示。本实施例中两个训练好的嵌入向量模型均使用BRET模型。

S120、根据各单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量。

Transformer模型由论文《Attention is All You Need》提出，利用自注意力机制实现快速并行训练，由编码器和解码器两个部分组成，编码器和解码器分别包含预设个数的编码器模块和解码器模块。

编码器模块包括多头注意力层，多头注意力层是由多个自注意力头通过叠加组成的，每一个自注意力头为一个自注意力层。多头注意力层体现了多个表示子空间，通过多头注意力层计算使各单字的词向量投影到不同的表示子空间中，可以扩大特征标注空间，增强特征表示能力。各单字的词向量在每个注意力头的输出可以通过下述自注意力分数计算公式得到：

head

其中，Q、K和V相同，均为由原始文本中各单字的词向量组成的矩阵，Q、K和V中的每一行对应一个单字的词向量，d

各注意力头的输出在多头注意力层的输出可以通过下述公式计算得到：

MultiHead(Q,K,V)＝Concat(head

其中，W

将多头注意力层的输出与由原始文本中各单字的词向量组成的矩阵相加实现残差传播，并使用下述批归一化公式进行归一化处理：

BN(x)＝αx'+β， (5)

其中，x为将多头注意力层的输出与由原始文本中各单字的词向量组成的矩阵相加得到的矩阵，mean(x)和var(x)分别表示矩阵x对应的均值矩阵和标准差矩阵，α和β均为训练好的参数。

通过上述归一化处理得到的矩阵再经过前向传播、残差连接及归一化处理得到编码器模块的输出，即将多头注意力层的输出通过激化函数计算后，与由原始文本中各单字的词向量组成的矩阵相加，然后进行归一化处理得到编码器模块的输出：

Output＝BN(X+Relu(WX+b))， (6)

其中，X表示通过上述归一化处理得到的矩阵，W和b均为训练好的参数，为，Relu(·)表示ReLU激活函数，BN(·)即归一化公式(5)。

解码器中的每个解码器模块结构相同，每个解码器模块与如上述结构的编码器模块结构相似，两者的区别仅在于，多了一层连接上一个编码器模块的多头注意力层，考虑到原始文本中前面的字不应该提前与后面的字产生关系，这层多头注意力层使用[mask]符号遮住自注意力过程中多个单字的一半，使原始文本中前面的字无法与后面的字通过自注意力分数计算公式进行计算。将原始文本右移一位后基于两个训练好的嵌入向量模型计算得到右移一位的原始文本中各单字的词向量，即解码器每一次解码的输入是原始文本中上一个字的向量或者它的编码即自注意力分数计算公式中的Q。同时，自注意力分数计算公式中的K和V不等于Q，而是通过预设个数的如上述结构的编码器模块处理输出的矩阵，经过多次循环解码后可以得到多个生成词的词向量。

作为可选的技术方案，编码器模块和解码器模块可以都为LSTM(Long Short-TermMemory，即长短期记忆人工神经网络)模型、RNN(Recurrent Neural Network，即循环神经网络)模型或GRU(Gated RNN，即门控循环单元网络)模型中的一种。

S130、基于多个生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词。

S140、将多个第一类输出词和/或多个第二类输出词组成目标文摘，其中，第一类输出词是根据第一类生成词的词向量基于训练好的指针网络计算得到的，第二类输出词是根据第二类生成词的词向量和命名实体中各单字的词向量基于训练好的记忆网络计算得到的。

步骤S130使得在文摘输出过程中，每个生成词都会进行分类，相当于用一个开关控制使用训练好的指针网络或是训练好的记忆网络来进行计算以获得相应的输出词。

指针网络(Pointer Networks)来自发表在机器学习顶级会议NIPS 2015上的一篇文章，可以克服seq2seq模型中“输出严重依赖输入”的问题。根据每个第一类生成词的词向量基于训练好的指针网络计算得到一个第一类输出词，使第一类生成词的分布概率能同时考虑到词典以及原始文本中的词，从而避免生僻冷门的如人名、地名等词的命名实体因无法通过词典枚举而导致无法生成的情况。

记忆网络(Memory Networks)由Facebook AI在2015年提出，通过利用记忆组件保存场景信息，以实现长期记忆的功能。根据每个第二类生成词的词向量和命名实体中各单字的词向量基于训练好的记忆网络计算得到一个第二类输出词，通过记忆组件可以存放命名实体进而解决命名实体无法生成的问题，也可以存放第二类生成词以适用于中长篇文摘的生成。

该方法通过两个训练好的嵌入向量模型使得原始文本中各单字的词向量包含了命名实体信息与原始文本各字符信息，然后使用训练好的Transformer编解码模型对各单字的词向量进行编解码处理得到多个生成词的词向量，可以增强多个生成词的词向量的特征表示能力，每个生成词的词向量基于训练好的指针网络计算得到第一类输出词或基于训练好的记忆网络计算得到第二类输出词，最终将多个第一类输出词和/或多个第二类输出词组成目标文摘，可以有效解决生僻的命名实体无法生成的问题，提高文摘的准确性。

在一些实施例中，根据原始文本和原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到原始文本中各单字的第一字符向量和命名实体中各单字的第二字符向量之前，还包括：获取原始文本；根据原始文本基于Stanford NLP工具进行识别得到原始文本中的命名实体，可以准确地识别出原始文本中的命名实体。

作为可选的技术方案，可以根据训练好的实体识别模型对原始文本进行识别得到原始文本中的命名实体，训练好的实体识别模型不限于卷积神经网络模型、混合神经网络模型中的一种。

实施例二

实施例二是在实施例一基础上的改进，训练好的Transformer编解码模型包括位置编码层、编码器和解码器，由于Transformer模型全部依靠注意力机制来进行编码解码，而不像传统方法一样靠序列模型，时间特征无法从模型的输入角度体现出来。因此，将各单字的词向量通过位置编码层得到的位置向量添加到各单字的嵌入向量中，有助于确定每个单字的位置，或序列中各单字之间的距离，进而更好地表达字与字之间的关系。具体包括以下步骤：

将各单字的词向量输入位置编码层进行位置编码得到各单字的位置向量；将各单字的词向量和位置向量通过加法计算得到各单字的嵌入向量；将各单字的嵌入向量输入编码器进行编码处理得到原始文本的编码矩阵；根据编码矩阵基于解码器进行多次循环解码分别得到多个生成词的词向量，每进行一次循环解码得到一个生成词的词向量。

具体地，将各单字的词向量输入位置编码层中的下述位置编码公式得到各单字的位置向量：

其中，pos表示单字在原始文本中的位置，pos＝0,...,L-1，L表示原始文本的长度，d

在一些实施例中，训练好的分类模型包括归一化指数函数，将各生成词的词向量输入下述归一化指数函数进行计算得到各生成词的评分向量：

Score

其中，V

若评分向量Score

实施例三

实施例三是在实施例二基础上的改进，指针网络使用概率分布计算函数连接训练好的Transformer编解码模型中的解码器输出与编码器输出，通过指针机制解决没有出现在词典中的命名实体无法生成的问题，并且具备有效处理长距离依赖的能力和可并行计算特性。

训练好的指针网络包括线性变换层、归一化层和概率分布计算函数。线性变换层是一个简单的全连接神经网络，它可以把解码器产生的词向量投射到一个比它大得多的、被称作对数几率(logits)的向量里。假设从训练集中学习词典中一万个不同的英语单词，对数几率向量为一万个单元格长度的向量——每个单元格对应某一个单词的分数。接下来的归一化层会把这些分数变成概率(都为正数、上限1.0)。

根据第一类生成词的词向量基于训练好的指针网络计算得到第一类输出词，包括以下步骤：将第一类生成词的词向量通过线性变换层和归一化层进行处理得到第一分布概率序列，第一分布概率表示词典中每个词语为第一类生成词的概率。根据第一分布概率序列基于下述概率分布计算函数进行计算得到第一类生成词的分布概率序列，分布概率表示扩展词典中每个字词为第一类生成词的概率，扩展词典包括词典和原始文本。

P(w)＝P

其中，P

根据分布概率序列中值最大的分布概率查询扩展词典中对应的字词作为第一类输出词，该第一类输出词可以是通过第一类生成词从词典中拷贝的字词，也可以是通过指针机制从原始文本中拷贝的字词，进而解决没有出现在词典中的命名实体的生成问题。

实施例四

实施例四是在实施例一至三中一个或多个的基础上的改进，训练好的记忆网络包括归一化指数函数，对命名实体中多个单字的词向量对应的位取平均处理得到平均向量，将平均向量和第二类生成词的词向量进行拼接得到候选词向量，将候选词向量输入下述归一化指数函数计算得到候选词评分序列：

Score

其中，V表示候选词向量，V∈[candidate_word_num,hidden_dim]，其中candidate_word_num表示候选词的个数，候选词为命名实体中的多个单字或第二类生成词，hidden_dim表示向量维度，W

根据候选词评分序列中值最大的评分查询得到对应的候选词作为第二类输出词。通过将原始文本中的命名实体加入记忆网络中以解决没有出现在词典中的命名实体无法生成的问题，并将第二类生成词不停地加入记忆网络中以适用于中长篇文摘的生成。

实施例五

实施例五公开了一种对应上述实施例的一种文摘自动生成装置，为上述实施例的虚拟装置结构，请参照图2所示，包括：

词向量提取模块210，用于根据原始文本和所述原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到所述原始文本中各单字的第一字符向量和所述命名实体中各单字的第二字符向量，并将各单字的第一字符向量和第二字符向量进行拼接得到各所述单字的词向量；

编解码模块220，用于根据各所述单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量；

分类模块230，用于基于多个所述生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词；

文摘生成模块240，用于将多个所述第一类输出词和/或多个所述第二类输出词组成目标文摘，其中，所述第一类输出词是根据第一类生成词的词向量基于所述训练好的指针网络计算得到的，所述第二类输出词是根据第二类生成词的词向量和命名实体中各单字的词向量基于所述训练好的记忆网络计算得到的。

该文摘自动生成装置还包括命名实体识别模块200，用于获取原始文本；根据所述原始文本基于Stanford NLP工具进行识别得到所述原始文本中的命名实体。

实施例六

图3为本发明实施例六提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的文摘自动生成方法对应的程序指令/模块(例如，文摘自动生成装置中的命名实体识别模块200、词向量提取模块210、编解码模块220、分类模块230和文摘生成模块240)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述实施例一至实施例四的文摘自动生成方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收原始文本等。输出装置340可包括显示屏等显示设备。

实施例七

本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行文摘自动生成方法，该方法包括：

根据原始文本和所述原始文本中的命名实体分别基于两个训练好的嵌入向量模型进行计算分别得到所述原始文本中各单字的第一字符向量和所述命名实体中各单字的第二字符向量，并将各单字的第一字符向量和第二字符向量进行拼接得到各所述单字的词向量；

根据各所述单字的词向量基于训练好的Transformer编解码模型进行编解码处理得到多个生成词的词向量；

基于多个所述生成词的词向量和训练好的分类模型将多个生成词分别分为第一类生成词或第二类生成词；

将多个所述第一类输出词和/或多个所述第二类输出词组成目标文摘，其中，所述第一类输出词是根据第一类生成词的词向量基于所述训练好的指针网络计算得到的，所述第二类输出词是根据第二类生成词的词向量和命名实体中各单字的词向量基于所述训练好的记忆网络计算得到的。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的文摘自动生成方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述文摘自动生成装置实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。