一种基于神经主题记忆的预训练文本摘要生成方法

摘要

本发明公开了一种基于神经主题记忆的预训练文本摘要生成方法，根据完整的输入序列，使用BERT预训练的上下文建模能力，对序列进行编码，完成文本嵌入；将输出的序列表示，使用主题记忆网络编码潜在的主题表示；根据主题表示、推理与经过编码的序列表示进行匹配，形成最终编码表示，再使用解码器来生成初步输出序列；将输出的序列中每一个单词进行掩码喂入BERT并结合输入序列，使用基于transformer和LSTM的解码器来预测每个掩码位置的细化单词，实现微调。本发明通过双向上下文的BERT和LSTM层进行特征的深层捕捉，喂入掩码后的摘要，对参数进行微调，细化每一个摘要单词，使得生成更加流畅、信息量高的文本摘要。