基于双向编码文本摘要-长短期记忆-注意力的检察建议文本自动生成模型

摘要

针对诉讼案件文档包含句子较多导致模型实时性较差且无法保证文本生成质量的问题,提出一种基于BERTSUM-LSTM-attention的检察建议文本自动生成方法.首先,通过基于双向编码表示的文本摘要模型(bidirectional encoder representa-tions from transformer for summarization,BERTSUM)对句子的首端标识符[cls]进行编码获取不同长度句子的特征;其次,采用长短期记忆(long short term memory,LSTM)网络对长句子特征进行深层次编码来获取长距离句子的依赖关系;最后,引入注意力(attention)机制来捕捉对文本生成起重要作用的关键信息,通过分配不同权重来区分信息的不同作用.在公益诉讼案件的环境保护领域数据上进行测试,实验结果表明,所提方法相比其他模型,在ROGUE-1、ROGUE-2、ROGUE-L的F1指标上均有不同程度的提升,相比最优模型BERT+transformer,参数量比其少11 M,训练和测试时间在每百个步长较后者分别少15 s和4 s,在提高模型实时性的基础上确保了文本生成质量.且所提方法相比其他所有方法,在ROGUE-1、ROGUE-2、ROGUE-L的召回率指标上取得最高值,说明所提方法对关键句更敏感,对关键句的查全效果更好.