基于多任务学习的单文档摘要生成模型构建方法及装置

摘要

本发明公开了一种基于多任务学习的单文档摘要生成模型构建方法及装置，设计的模型结构采用了Transformer基础模型，并且在编码器的输出端，增加了一个编码器和分类器。其中两个编码器分为单词级别的解码器分别为，单词级别的编码器、句子级别的编码器；使得多任务训练成为可能；解码器的注意力分配会更加合理，因为加入根据解码器注意力权重与句子的重要性权重计算得到的正则项，能够倾向于更适合作为摘要的句子分配更多的权重；并且通过不同任务发掘模型潜力，从而提高了生成的摘要句子的可读性以及信息量。